deepeval
专为LLM应用设计的开源评估框架，类似Pytest。
安装使用
复制下面这段提示词发给你的 AI（Claude / Cursor / TRAE / Codex / WorkBuddy 等），它会自动帮你完成安装：
帮我安装这个 AI Skill：deepeval。 它的用途是：专为LLM应用设计的开源评估框架，类似Pytest。 完整的 Skill 内容见：https://321skill.com/skills/deepeval/raw/index.md 请读取该页面内容，如果是 SKILL.md 格式直接安装，如果是 README 提炼核心 prompt 后安装。
提示词包含完整的 Skill 内容链接，AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。
使用示例
“为我的客服聊天机器人写一个DeepEval测试，检查回答是否相关且没有幻觉。” 它会引导你创建一个测试用例，使用`answer_relevancy`和`hallucination`等指标，运行后给出评分和详细分析，帮助你量化机器人的表现并定位问题。
介绍
DeepEval 是一个简单易用的开源LLM评估框架，旨在解决开发者在构建和优化大型语言模型（LLM）应用时，缺乏标准化、自动化评估工具的痛点。无论是AI智能体、RAG检索增强生成系统还是聊天机器人，开发者都需要可靠的方法来衡量其输出质量、检测幻觉或评估任务完成度，DeepEval为此而生。
使用上，它借鉴了Pytest的设计理念，允许开发者像编写单元测试一样为LLM应用创建评估用例。框架内置了多种先进的评估指标，如G-Eval、答案相关性、幻觉检测等，这些评估主要利用LLM-as-a-judge（LLM作为裁判）或其他NLP模型在本地运行，无需依赖外部API，保障了评估的隐私性和可控性。
该工具非常适合AI工程师、机器学习研究员以及任何使用LangChain、LlamaIndex或直接调用OpenAI、Claude等API构建LLM应用的开发者。它帮助团队在调整提示词、切换底层模型或优化系统架构时，进行数据驱动的决策，确保应用质量。
与许多同类评估工具相比，DeepEval的定位更接近于一个专为LLM定制的“测试框架”，而非单纯的评估库。它提供了从编写测试、运行评估到结果分析的完整工作流，并且强调在本地环境运行核心评估逻辑，这为注重数据安全和需要高频迭代的团队提供了独特价值。
核心特点
核心区别在于它将LLM评估“单元测试化”，提供了类似Pytest的完整测试框架体验，并且其核心评估指标（如G-Eval）主要依赖本地运行的LLM或模型，减少了对外部评估API的依赖。
注意事项
对于需要复杂、定制化评估逻辑或完全依赖人类反馈进行评估的场景可能不够灵活。
常见问题
DeepEval和Pytest有什么区别？
DeepEval是专为评估LLM应用输出质量设计的框架，内置LLM特定评估指标；Pytest是通用Python测试框架。
DeepEval评估需要联网吗？
核心评估指标利用本地LLM或模型，通常无需联网调用外部API，但部分功能或模型下载可能需要网络。
给 AI 助手的安装指引
如果你的 AI 编程助手（Claude Code、Cursor、TRAE 等）能看到这个页面，把下面这段发给它即可自动完成安装：
请访问 https://321skill.com/skills/deepeval/raw/index.md 读取 deepeval 的原始 Skill 定义（Markdown 格式），按其中说明在我的环境里完成安装和配置。
AI 可直接读取的原始 Markdown 地址：/skills/deepeval/raw/index.md（查看排版版本）