pi-modelbench
Pi 编码代理的确定性模型基准测试工具
安装使用
复制下面这段提示词发给你的 AI（Claude / Cursor / TRAE / Codex / WorkBuddy 等），它会自动帮你完成安装：
帮我安装这个 AI Skill：pi-modelbench。 它的用途是：Pi 编码代理的确定性模型基准测试工具 完整的 Skill 内容见：https://321skill.com/skills/pi-modelbench/raw/index.md 请读取该页面内容，如果是 SKILL.md 格式直接安装，如果是 README 提炼核心 prompt 后安装。
提示词包含完整的 Skill 内容链接，AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。
使用示例
'对 Pi 编码代理进行模型基准测试，使用 pi-modelbench 运行默认基准集。' 它会自动安装依赖，执行预设的代码生成、代码修复等测试用例，然后输出每个模型的通过率、平均耗时等指标，并生成可视化对比报告。
介绍
pi-modelbench 解决的是 Pi 编码代理在模型对比时结果不可复现、评估标准不统一的问题。它提供一套确定性优先的基准测试流程，确保每次运行结果一致，让开发者能够客观、可靠地比较不同模型在代码生成、推理等任务上的表现。
使用方式非常简单：通过 npm 全局安装后，运行 pi-modelbench 命令即可执行默认基准测试集，工具会自动输出各模型的性能指标（如通过率、耗时等），并支持自定义测试用例和模型配置，方便集成到 CI/CD 流程中。
适合智能体开发者、AI 应用评测人员以及需要为 Pi 编码代理做模型选型的技术团队。无论你是正在调试 Agent 行为，还是需要对多个模型做横向对比，这款工具都能帮你节省大量手动测试和结果整理的时间。
建议在干净的环境（如 Docker 容器）中运行，以确保测试结果不受外部因素干扰。同时注意，基准测试结果仅反映当前测试集下的相对表现，实际生产效果还需结合具体业务场景综合评估。
核心特点
其他通用模型基准测试工具往往忽略结果可复现性，而 pi-modelbench 以确定性优先为设计原则，专为 Pi 编码代理优化，确保同一测试用例在不同时间、不同机器上得到一致结果，避免随机性带来的误判。
注意事项
仅适用于 Pi 编码代理的模型评估，无法直接用于其他编码代理或通用 LLM 的基准测试。
常见问题
如何安装 pi-modelbench？
在终端运行 `npm install -g pi-modelbench` 即可全局安装。
支持哪些模型？
支持通过配置文件指定任意模型，默认包含 Pi 官方推荐模型列表，你可以自定义添加。
给 AI 助手的安装指引
如果你的 AI 编程助手（Claude Code、Cursor、TRAE 等）能看到这个页面，把下面这段发给它即可自动完成安装：
请访问 https://321skill.com/skills/pi-modelbench/raw/index.md 读取 pi-modelbench 的原始 Skill 定义（Markdown 格式），按其中说明在我的环境里完成安装和配置。
AI 可直接读取的原始 Markdown 地址：/skills/pi-modelbench/raw/index.md（查看排版版本）