pi-speedometer

用于测量Pi模型单轮对话性能指标的测速器

安装使用

复制下面这段提示词发给你的 AI(Claude / Cursor / TRAE / Codex / WorkBuddy 等),它会自动帮你完成安装:

帮我安装这个 AI Skill:pi-speedometer。
它的用途是:用于测量Pi模型单轮对话性能指标的测速器
完整的 Skill 内容见:https://321skill.com/skills/pi-speedometer/raw/index.md
请读取该页面内容,如果是 SKILL.md 格式直接安装,如果是 README 提炼核心 prompt 后安装。

提示词包含完整的 Skill 内容链接,AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。

使用示例

‘帮我分析一下当前Pi模型在这个对话回合的性能表现。’,它会自动调用pi-speedometer,并输出包含TTFT、prefill tok/s、decode tok/s和总耗时的详细报告,让你清晰了解模型在生成当前回复时的效率瓶颈在哪里。

介绍

pi-speedometer 是一个专为 Pi 模型设计的性能监控工具,它解决了开发者在评估模型推理效率时缺乏直观、细粒度数据的问题。通过在每个对话回合(turn)中自动测量并输出关键性能指标,帮助开发者量化模型响应速度。

使用时,开发者只需在项目中安装并集成该工具,它便能在每次与Pi模型的交互中,自动计算并展示时间消耗。其输出通常包括首字时间(TTFT)、预填充阶段的令牌生成速度(prefill tok/s)、解码阶段的令牌生成速度(decode tok/s)以及该轮对话的总耗时(total wall time)。

这个工具非常适合AI应用开发者、模型性能优化工程师以及对大语言模型推理延迟有严格要求的研究人员。他们可以利用这些数据来定位性能瓶颈,比较不同配置或硬件下的模型表现,从而进行有针对性的优化。

在使用建议上,建议在模型推理的基准测试、A/B测试或持续集成(CI)流程中集成此工具,以获得稳定、可比较的性能数据。需要注意的是,测量结果会受到运行环境(如CPU/GPU、网络、负载)的影响,建议在相同条件下进行对比分析。

核心特点

与通用性能监控工具不同,它专门针对Pi模型单轮对话的完整生命周期进行细粒度计时,并区分了预填充和解码这两个关键阶段的令牌生成速度,提供了更精确的性能剖析。

注意事项

该工具仅适用于Pi模型,不适用于其他大语言模型或通用的系统性能监控。

常见问题

pi-speedometer 能测量哪些指标?

能测量单轮对话的首字时间(TTFT)、预填充令牌速度、解码令牌速度和总耗时。

这个工具需要如何集成?

通常通过npm安装,并在调用Pi模型的代码中引入并配置即可自动测量。

给 AI 助手的安装指引

如果你的 AI 编程助手(Claude Code、Cursor、TRAE 等)能看到这个页面,把下面这段发给它即可自动完成安装:

请访问 https://321skill.com/skills/pi-speedometer/raw/index.md 读取 pi-speedometer 的原始 Skill 定义(Markdown 格式),按其中说明在我的环境里完成安装和配置。