langsmith-skills

为AI编程助手提供LangSmith的观测与评估能力

安装使用

复制下面这段提示词发给你的 AI(Claude / Cursor / TRAE / Codex / WorkBuddy 等),它会自动帮你完成安装:

帮我安装这个 AI Skill:langsmith-skills。
它的用途是:为AI编程助手提供LangSmith的观测与评估能力
完整的 Skill 内容见:https://321skill.com/skills/langsmith-skills/raw/index.md
请读取该页面内容,如果是 SKILL.md 格式直接安装,如果是 README 提炼核心 prompt 后安装。

提示词包含完整的 Skill 内容链接,AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。

使用示例

“帮我查询一下过去24小时内‘客服机器人’项目的所有运行追踪,并分析其中失败请求的常见错误类型。”,它会调用 `langsmith-trace` 技能,自动连接你的LangSmith账户,获取数据并生成分析报告。或者,你可以说:“基于最近的用户对话追踪,创建一个评估数据集,用来测试模型回复的准确性和友好度。”,它会使用 `langsmith-dataset` 技能来构建数据集。

介绍

LangSmith Skills 是一套为AI编程助手设计的技能包,旨在帮助开发者便捷地集成LangSmith平台的功能。它解决了在开发LLM应用时,需要手动查询追踪数据、构建评估集和创建评估器的繁琐问题,将复杂的观测与评估流程自动化。

使用方式非常简单,通过一行npx命令即可将技能包安装到Claude Code、Cursor等主流AI编程助手中。安装后,开发者可以直接在代码编辑器中,通过自然语言指令调用技能,例如查询特定项目的运行追踪、基于历史数据生成测试集,或创建自定义的质量评估函数。

这套技能非常适合正在使用LangChain、LangGraph等框架构建LLM应用,并希望借助LangSmith进行应用监控和性能优化的开发者。无论是调试复杂的Agent行为,还是需要为模型输出建立系统的评估体系,它都能提供直接的代码级支持。

需要注意的是,该项目仍处于早期开发阶段,API和技能内容可能发生变化。使用前请确保已获取LangSmith API密钥,并根据评估需求配置好相应的模型API密钥(如OpenAI或Anthropic)。

核心特点

这是首个将LangSmith平台的观测与评估能力直接封装为AI编程助手可调用技能的工具包,允许开发者在编码环境中无缝查询追踪、构建数据集和创建评估器,而无需离开编辑器或编写复杂的集成代码。

注意事项

该项目处于早期开发阶段,API和技能内容可能发生变化,不适合用于生产环境的关键路径。

常见问题

这个技能包支持哪些AI编程助手?

支持所有被 skills.sh 兼容的助手,包括 Claude Code、Deep Agents CLI、Cursor、Windsurf、Goose 等。

使用前需要准备什么?

需要一个 LangSmith API 密钥,如果评估器需要使用特定模型(如GPT-4、Claude),还需准备对应的模型API密钥。

给 AI 助手的安装指引

如果你的 AI 编程助手(Claude Code、Cursor、TRAE 等)能看到这个页面,把下面这段发给它即可自动完成安装:

请访问 https://321skill.com/skills/langsmith-skills/raw/index.md 读取 langsmith-skills 的原始 Skill 定义(Markdown 格式),按其中说明在我的环境里完成安装和配置。