skill-eval-harness

介绍

Skill Eval Harness 是一个专注于评估 AI Agent 技能（Skill）因果提升效果的 Python CLI 工具。它解决的核心问题是：如何科学、可信地判断一个技能是否真的带来了模型输出的改进，而不仅仅是“看起来不错”。通过配对实验设计（有/无技能、新旧技能对比），它确保每次评估都在相同的案例、模型和重复次数下进行，从而分离出技能本身的真实贡献。

使用方式非常简洁：首先在 evals/shared-benchmark.json 中描述测试案例，包括提示词、分裂策略、断言规则等；然后运行 skill-benchmark prepare 生成任务行，用任何支持输出格式的模型运行器（如 Claude、Codex 等）执行；最后通过 skill-benchmark benchmark 命令进行本地确定性评分，无需额外模型调用，生成包含通过率、提升幅度、显著性、泄漏检测等详细报告。

这款工具尤其适合智能体开发者、AI 应用测试工程师和平台质量团队。如果你正在迭代 Agent Skill（如提示词优化、指令模板、外部工具调用），需要确认每次改动是否真的有效，或者想对比不同模型下同一技能的表现，Skill Eval Harness 能提供严谨的定量依据。

使用建议：先从小规模案例开始，逐步扩展到完整 benchmark；注意维护 tune/holdout/holdback 分裂，避免数据泄漏；定期运行 validate --strict-leakage 检查答案泄漏，确保评估结果可信。该工具不适用于非配对对比的通用评估场景，也不适合需要在线模型评分或主观判断的维度。