agent-eval
一个用于测试和评估AI编码智能体在你框架上表现的实验框架。
安装使用
复制下面这段提示词发给你的 AI（Claude / Cursor / TRAE / Codex / WorkBuddy 等），它会自动帮你完成安装：
帮我安装这个 AI Skill：agent-eval。 它的用途是：一个用于测试和评估AI编码智能体在你框架上表现的实验框架。 完整的 Skill 内容见：https://321skill.com/skills/agent-eval/raw/index.md 请读取该页面内容，如果是 SKILL.md 格式直接安装，如果是 README 提炼核心 prompt 后安装。
提示词包含完整的 Skill 内容链接，AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。
使用示例
“我想验证我们新发布的UI框架文档，看AI智能体能否正确生成一个带样式的按钮组件。” 它会引导你创建包含PROMPT.md和EVAL.ts的评估任务，然后自动调用配置的AI模型执行代码生成，并运行你的测试来验证生成代码的正确性和可构建性，最终给出成功率报告。
介绍
当你开发一个前端框架时，如何确保AI智能体能很好地使用它？@vercel/agent-eval 正是为了解决这个问题而生。它允许你创建受控实验，量化智能体在你框架上的成功率和表现，从而科学地评估文档质量、API变更或不同模型的影响。
使用上，你只需通过简单的CLI命令初始化项目、创建具体的评估任务（Eval），然后运行实验即可。每个评估任务包含一个给智能体的提示（PROMPT.md）和一套验证成功与否的测试（EVAL.ts）。框架会自动运行实验、收集结果并支持结果复用，帮你节省成本。
这个工具非常适合框架开发者、技术布道师或任何需要系统性验证AI智能体与其技术栈兼容性的团队。它能帮你从模糊的猜测转向数据驱动的决策，例如验证新发布的MCP服务器是否真的提升了智能体的代码生成准确率。
建议从 --dry 和 --smoke 参数开始预览和快速验证，避免不必要的API调用成本。同时，充分利用其指纹缓存机制，在迭代实验设计时复用已有结果，提升效率。
核心特点
与通用的AI智能体测试工具不同，它深度集成了前端框架的评估场景，允许通过编写具体的测试代码（EVAL.ts）来精准验证智能体生成的代码是否符合框架规范、能否成功构建，提供了从提示到验证的完整闭环评估方案。
注意事项
主要专注于评估AI智能体在特定框架下的编码能力，不适合用于测试智能体的通用对话、创意写作或其他非代码生成类任务。
常见问题
这个工具能测试哪些AI模型？
理论上可以测试任何能通过API调用的编码智能体，如Claude、GPT等，具体取决于你的实验配置。
运行实验的成本高吗？
成本取决于你运行的实验数量、调用的模型以及是否启用了结果缓存。使用 `--dry` 预览和指纹缓存复用可以显著控制成本。
给 AI 助手的安装指引
如果你的 AI 编程助手（Claude Code、Cursor、TRAE 等）能看到这个页面，把下面这段发给它即可自动完成安装：
请访问 https://321skill.com/skills/agent-eval/raw/index.md 读取 agent-eval 的原始 Skill 定义（Markdown 格式），按其中说明在我的环境里完成安装和配置。
AI 可直接读取的原始 Markdown 地址：/skills/agent-eval/raw/index.md（查看排版版本）