@artale/pi-eval
评估AI Agent会话表现的工具套件
安装使用
复制下面这段提示词发给你的 AI（Claude / Cursor / TRAE / Codex / WorkBuddy 等），它会自动帮你完成安装：
帮我安装这个 AI Skill：@artale/pi-eval。 它的用途是：评估AI Agent会话表现的工具套件 详细介绍见：https://321skill.com/skills/artale-pi-eval/ 请根据该页面的说明完成安装。
使用示例
“用Pi-Eval分析一下刚才客服Agent处理用户退货请求的会话记录。”，它会加载会话日志，并从任务是否解决、工具调用是否必要、步骤是否高效等维度生成一份详细的评估报告，指出Agent在流程引导上的不足。
介绍
Pi-Eval 是一个专为评估AI Agent（智能体）会话表现而设计的工具套件。它旨在解决开发者和研究者难以系统、客观地衡量Agent在真实交互中表现的问题，帮助量化Agent的执行能力。
使用上，开发者可以将其集成到自己的Agent测试流程中。通过提供会话记录或实时交互数据，Pi-Eval能够从任务成功率、工具调用合理性、执行效率和方法论等多个维度给出评分和详细分析报告。
这个工具非常适合AI Agent的开发者、研究人员以及进行人机交互评估的团队。他们可以利用Pi-Eval在Agent开发迭代、算法对比研究或产品上线前的质量验收等环节，获得标准化的性能反馈。
建议在使用前明确定义评估的维度和标准，并准备足够多样化的测试用例。注意，评估结果的准确性高度依赖于输入数据的质量，建议结合人工复核来解读自动化报告。
核心特点
与仅关注任务成功与否的简单评估器不同，Pi-Eval受OpenCC启发，提供了对工具使用、效率和方法论的多维度、结构化评估框架，能生成更深入的分析报告。
注意事项
不适合对评估标准模糊或仅需简单通过/失败判定的快速原型验证场景。
常见问题
Pi-Eval能评估哪些类型的Agent？
适用于使用工具、进行多轮对话的任务型Agent，如基于Claude、GPT的助手。
评估需要准备什么数据？
需要提供完整的Agent会话记录，包括用户查询、Agent的回复和工具调用详情。