scorable-skills
为LLM应用集成自动化评估与生产监控能力
安装使用
复制下面这段提示词发给你的 AI（Claude / Cursor / TRAE / Codex / WorkBuddy 等），它会自动帮你完成安装：
帮我安装这个 AI Skill：scorable-skills。 它的用途是：为LLM应用集成自动化评估与生产监控能力 完整的 Skill 内容见：https://321skill.com/skills/scorable-skills/raw/index.md 请读取该页面内容，如果是 SKILL.md 格式直接安装，如果是 README 提炼核心 prompt 后安装。
提示词包含完整的 Skill 内容链接，AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。
使用示例
“我需要为我的客服聊天机器人设置自动化质量评估，请帮我集成Scorable。” 它会引导你选择适合的集成方式（API或OTEL），并根据你的技术栈提供具体的配置步骤和代码示例。或者，你可以说：“我的Pydantic-AI智能体已经上线，想对10%的生产流量进行自动评估。” 技能会指导你配置OpenTelemetry追踪，并设置Scorable的服务器端过滤器来实现这一目标。
介绍
Scorable Skills 解决了在开发和部署基于大语言模型（LLM）的应用时，如何系统性地评估输出质量、安全性和合规性的难题。它提供了两种核心集成方式：一种是通过API直接调用Scorable的“法官”模型进行逐条评估，另一种是利用OpenTelemetry进行端到端链路追踪，并将生产环境的流量自动发送至Scorable进行抽样评分，实现生产可观测性与自动化评估的结合。
使用方式非常便捷，在AI对话中提及“评估”、“法官”或“Scorable”等关键词时，该技能便会自动激活。它支持LangChain、PydanticAI、Mastra等主流Agent框架，开发者只需通过简单的自然语言指令，即可获得针对特定框架的集成指导或生产部署方案。
该技能非常适合需要对其LLM应用进行质量保障、风险管控和持续优化的开发及运维团队。无论是正在快速迭代新功能的智能体开发者，还是负责将LLM应用部署上线的运维工程师，都能通过它建立标准化的评估流程。
建议根据项目阶段选择集成方式：在开发测试阶段，可使用scorable-integration进行精准的API调用评估；在线上生产环境，则推荐使用scorable-otel-evaluation，通过采样策略在不影响性能的前提下，实现对生产流量的持续监控和自动评估，从而及时发现并修复问题。
核心特点
与仅提供本地评估脚本或简单提示词模板的技能不同，Scorable Skills 深度整合了专业的LLM-as-a-Judge评估平台（Scorable），并提供了从开发期SDK集成到生产期基于OpenTelemetry的自动化评估与监控的完整解决方案。其OTEL方案能实现无侵入式的生产流量采样与评估，这是大多数同类工具所不具备的。
注意事项
该技能主要服务于需要集成第三方评估服务（Scorable）的场景，不适合仅需进行简单规则匹配或完全离线、本地化评估的需求。
常见问题
如何为我的LangChain应用添加Scorable评估？
在对话中直接提出需求，例如“帮我把Scorable评估集成到我的LangChain应用里”，技能会引导你完成API集成或OTEL配置。
生产环境如何设置采样评估而不影响性能？
使用`scorable-otel-evaluation`技能，它可以配置服务器端过滤器，仅对特定比例（如10%）的生产请求轨迹进行自动评分。
给 AI 助手的安装指引
如果你的 AI 编程助手（Claude Code、Cursor、TRAE 等）能看到这个页面，把下面这段发给它即可自动完成安装：
请访问 https://321skill.com/skills/scorable-skills/raw/index.md 读取 scorable-skills 的原始 Skill 定义（Markdown 格式），按其中说明在我的环境里完成安装和配置。
AI 可直接读取的原始 Markdown 地址：/skills/scorable-skills/raw/index.md（查看排版版本）