@artale/pi-arena
模型性能评测与幻觉追踪工具
安装使用
复制下面这段提示词发给你的 AI（Claude / Cursor / TRAE / Codex / WorkBuddy 等），它会自动帮你完成安装：
帮我安装这个 AI Skill：@artale/pi-arena。 它的用途是：模型性能评测与幻觉追踪工具 详细介绍见：https://321skill.com/skills/artale-pi-arena/ 请根据该页面的说明完成安装。
使用示例
“使用PI Arena，在Python算法编码任务上对比GPT-4和Claude-3。”，它会自动运行预设的编码测试集，分别调用两个模型的API，并生成一份包含代码正确率、执行速度、以及可能出现的逻辑幻觉等指标的详细对比报告。
介绍
PI Arena 是一个专注于大语言模型（LLM）性能评测的Skill，旨在解决开发者和研究者难以系统、客观地评估不同模型在特定领域表现的问题。它通过标准化的任务模板和测试集，对模型在代码生成、逻辑推理、常识问答等领域的输出速度、质量和通过率进行量化评估。
使用方式非常直接，用户可以通过简单的命令安装此Skill，然后配置需要评测的模型列表和对应的任务模板。PI Arena 会自动运行预设的测试用例，生成包含详细指标（如响应时间、准确率、幻觉率）的评测报告，并支持创建可视化的排行榜，方便横向比较。
这个Skill非常适合AI应用开发者、模型研究者以及技术决策者。开发者可以用它来为项目选择最合适的底层模型；研究者可以将其作为验证模型改进效果的基准测试工具；技术负责人则可以依据客观数据来做技术选型。
在使用时，建议用户先从小规模、定义清晰的任务集开始，以确保评测环境的稳定和结果的可复现。同时，需要注意评测结果高度依赖于所选择的任务模板和测试数据，因此确保这些材料能代表你的实际应用场景至关重要。
核心特点
其核心区别在于提供了“领域感知的幻觉追踪”功能，能深入分析模型在特定领域（如代码、推理）产生幻觉的模式，而不仅仅是笼统的准确率；同时，它内置了可复用的任务模板和按模型分类的排行榜，使评测过程更标准化、结果更直观可比。
注意事项
不适合需要快速、交互式调试单次模型对话或进行非结构化探索性测试的场景。
常见问题
PI Arena 能测试哪些模型？
支持通过API调用的主流大语言模型，如GPT、Claude、Gemini及一些开源模型。
评测一次需要多久？
时间取决于任务集大小和模型数量，可从几分钟到数小时，支持异步和批量测试。