braintrust-claude-plugin
为Claude Code提供LLM评估、日志记录与会话追踪的Braintrust插件市场
安装使用
复制下面这段提示词发给你的 AI(Claude / Cursor / TRAE / Codex / WorkBuddy 等),它会自动帮你完成安装:
帮我安装这个 AI Skill:braintrust-claude-plugin。 它的用途是:为Claude Code提供LLM评估、日志记录与会话追踪的Braintrust插件市场 完整的 Skill 内容见:https://321skill.com/skills/braintrust-claude-plugin/raw/index.md 请读取该页面内容,如果是 SKILL.md 格式直接安装,如果是 README 提炼核心 prompt 后安装。
提示词包含完整的 Skill 内容链接,AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。
使用示例
“使用Braintrust插件,帮我评估刚才这段代码生成任务的响应质量和Token效率。”,它会调用Braintrust SDK记录本次交互的输入、输出和元数据,并生成可查询的评估日志。或者说:“启动自动追踪,开始调试这个客服机器人的对话流程。”,Claude Code会将后续所有对话轮次和工具调用自动记录为Braintrust追踪,方便你事后复盘分析。
介绍
Braintrust Claude Code Marketplace 旨在解决开发者在构建和评估AI应用时,缺乏标准化、可观测的评估与追踪工具的痛点。通过将Braintrust的LLM评估、日志记录和会话追踪能力集成到Claude Code中,它帮助开发者量化模型表现、调试AI行为并保障项目质量。
使用方式非常直接:首先在环境中配置Braintrust API密钥,然后通过Claude Code的插件市场添加此仓库并安装所需插件。核心插件包括用于通用Braintrust操作的braintrust插件,以及能自动追踪Claude Code整个对话过程的trace-claude-code插件。后者可以将会话、对话轮次和工具调用以分层追踪的形式自动发送到Braintrust平台。
这个Skill非常适合正在使用Claude Code进行AI应用开发、需要对其AI代理的行为进行系统化评估和监控的开发者。无论是全栈开发、智能体开发者,还是负责AI项目交付的项目经理,都可以利用它来获得模型性能的量化指标、分析对话流程、排查问题,并为项目复盘提供数据支持。
在使用时,建议开发者先明确评估目标,例如是追踪Token消耗、分析特定任务的完成质量,还是监控AI响应的稳定性。对于trace-claude-code插件,请注意其Token统计基于Claude Code的对话记录,因此一些内部后台调用(如自动生成会话标题)的Token消耗可能无法被完全捕获,这会导致追踪的总Token数略低于Claude Code /usage命令显示的实际用量,在非交互式会话中则不存在此差异。
核心特点
与仅提供简单日志或基础追踪的插件不同,它深度集成了专业的LLM评估平台Braintrust,提供了从实验管理、数据集对比到细粒度会话追踪的完整可观测性解决方案,并能将Claude Code的会话无缝嵌入到已有的Braintrust追踪链路中。
注意事项
该Skill主要服务于需要深度LLM评估和可观测性的开发场景,对于仅需简单日志记录或一次性测试的用户可能过于复杂。
常见问题
如何将Claude Code的会话追踪关联到我已有的Braintrust实验?
可以通过设置环境变量`CC_PARENT_SPAN_ID`、`CC_ROOT_SPAN_ID`和`CC_EXPERIMENT_ID`,将Claude Code会话作为子追踪附加到指定的Braintrust实验追踪中。
追踪到的Token用量和Claude Code后台显示的不一致?
这是已知情况。由于Claude Code内部后台调用(如自动生成标题)的Token数据未暴露,插件无法捕获这部分消耗,因此追踪总量可能略低于实际用量,但主要交互会话的Token统计是准确的。
给 AI 助手的安装指引
如果你的 AI 编程助手(Claude Code、Cursor、TRAE 等)能看到这个页面,把下面这段发给它即可自动完成安装:
请访问 https://321skill.com/skills/braintrust-claude-plugin/raw/index.md 读取 braintrust-claude-plugin 的原始 Skill 定义(Markdown 格式),按其中说明在我的环境里完成安装和配置。
AI 可直接读取的原始 Markdown 地址:/skills/braintrust-claude-plugin/raw/index.md(查看排版版本)