KoboldCPP

将KoboldAI本地模型集成到MCP生态,提供OpenAI兼容API的文本生成服务器。

安装使用

复制下面这段提示词发给你的 AI(Claude / Cursor / TRAE / Codex / WorkBuddy 等),它会自动帮你完成安装:

帮我安装这个 AI Skill:KoboldCPP。
它的用途是:将KoboldAI本地模型集成到MCP生态,提供OpenAI兼容API的文本生成服务器。
详细介绍见:https://321skill.com/skills/koboldcpp/
请根据该页面的说明完成安装。

使用示例

“请用我的本地模型,为这段代码生成注释。”,它会通过配置好的KoboldCPP服务器,将请求发送给你的本地大模型,并将生成的注释返回给你。或者,你可以说:“用本地模型总结这篇论文的摘要。”,AI助手会利用此Skill调用你的私有模型处理文档。

介绍

KoboldCPP Skill 解决了开发者在MCP生态中无法直接调用本地部署的KoboldAI模型进行文本生成的问题。它作为一个MCP服务器,将KoboldAI的推理能力封装成标准接口,使得支持MCP的AI助手(如Claude Desktop)能够无缝调用本地大模型。

使用时,你需要先在本地部署KoboldCPP(一个集成了KoboldAI的C++推理后端),然后配置此MCP服务器指向本地服务地址。配置完成后,你的AI助手即可通过标准的MCP协议,像调用云端API一样调用你的本地模型进行对话、续写、摘要等各种文本生成任务。

这个Skill非常适合那些已经拥有本地高性能模型(如通过KoboldCPP运行的Llama、Mistral等系列模型),并希望将其能力整合进现有AI工作流的开发者、研究者和高级用户。它让你能在享受Claude等AI助手的交互便利性的同时,充分利用本地模型的私有化、可控性优势。

使用建议:请确保你的本地KoboldCPP服务已正确启动且网络可达。由于调用的是本地资源,生成速度和质量完全取决于你的本地硬件(GPU/CPU)和所加载的模型,建议根据任务复杂度选择合适的模型尺寸。注意,此Skill本身不包含模型,你需要自行准备模型文件。

核心特点

核心区别在于它专为MCP协议设计,是连接KoboldAI本地推理后端与MCP兼容AI助手的桥梁,实现了在Claude等助手内部直接、安全地调用私有化部署的大模型,而非提供另一个独立的AI聊天前端或通用的API转发工具。

注意事项

不适合没有本地部署KoboldCPP服务或不愿自行管理模型文件的用户。

常见问题

KoboldCPP是什么?和这个Skill有什么关系?

KoboldCPP是一个本地模型推理引擎,这个Skill是让MCP工具能调用它的服务器。

我需要自己准备模型吗?

是的,你需要自行下载并加载模型文件到本地的KoboldCPP服务中。