pi-bench
pi coding agent 的 LLM 模型基准测试与智能选型工具
安装使用
复制下面这段提示词发给你的 AI（Claude / Cursor / TRAE / Codex / WorkBuddy 等），它会自动帮你完成安装：
帮我安装这个 AI Skill：pi-bench。 它的用途是：pi coding agent 的 LLM 模型基准测试与智能选型工具 完整的 Skill 内容见：https://321skill.com/skills/pi-bench/raw/index.md 请读取该页面内容，如果是 SKILL.md 格式直接安装，如果是 README 提炼核心 prompt 后安装。
提示词包含完整的 Skill 内容链接，AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。
使用示例
“运行一次完整的模型基准测试，比较延迟和成本。”，它会自动调用配置中的所有模型API，执行标准测试任务，并生成一份包含排名、详细指标和推荐使用链表的报告，帮助你做出数据驱动的决策。
介绍
pi-bench 是一个专为 pi coding agent 设计的 LLM 基准测试工具包。它解决了开发者在集成不同大语言模型时面临的选型难题，即如何在实际使用场景中，平衡模型的响应速度、调用成本和输出质量。
该工具通过真实调用各模型供应商的流式 API，对模型进行探测和评估。它会自动收集并分析每次调用的延迟、费用和输出结果，最终生成一个综合排名。开发者可以基于这个排名，为不同的任务选择最合适的模型。
它非常适合需要集成多个 LLM 的 AI Agent 开发者、项目维护者以及对模型成本与性能敏感的技术团队。无论是构建像 pi-recap 这样的总结插件，还是其他需要智能调用 LLM 的扩展，pi-bench 都能提供数据驱动的选型依据。
使用建议是，在项目初期或引入新模型时运行基准测试，以建立性能基线。注意事项包括：测试会消耗 API 额度产生费用，建议在测试环境中使用；同时，模型的输出质量评估可能需要结合具体业务场景进行人工校验。
核心特点
与仅提供静态模型列表或理论性能对比的工具不同，pi-bench 通过真实、持续的流式 API 调用进行动态测评，并直接生成可用于生产环境的优选模型链和黑名单，实现智能、自适应的模型调度。
注意事项
不适合仅使用单一固定模型或无成本控制需求的简单实验性项目。
常见问题
pi-bench 测试一次要花多少钱？
费用取决于测试的模型数量和调用次数，会真实消耗各 API 提供商的额度，建议在测试账户下进行。
测试结果包含哪些模型？
涵盖 pi coding agent 支持接入的主流模型，具体列表需查看工具文档或配置。
给 AI 助手的安装指引
如果你的 AI 编程助手（Claude Code、Cursor、TRAE 等）能看到这个页面，把下面这段发给它即可自动完成安装：
请访问 https://321skill.com/skills/pi-bench/raw/index.md 读取 pi-bench 的原始 Skill 定义（Markdown 格式），按其中说明在我的环境里完成安装和配置。
AI 可直接读取的原始 Markdown 地址：/skills/pi-bench/raw/index.md（查看排版版本）