private-gpt

为本地模型提供生产级API层,快速构建私有AI应用。

安装使用

复制下面这段提示词发给你的 AI(Claude / Cursor / TRAE / Codex / WorkBuddy 等),它会自动帮你完成安装:

帮我安装这个 AI Skill:private-gpt。
它的用途是:为本地模型提供生产级API层,快速构建私有AI应用。
完整的 Skill 内容见:https://321skill.com/skills/private-gpt/raw/index.md
请读取该页面内容,如果是 SKILL.md 格式直接安装,如果是 README 提炼核心 prompt 后安装。

提示词包含完整的 Skill 内容链接,AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。

使用示例

“分析我上传的这份销售数据PDF,总结上季度的趋势并指出潜在问题。” PrivateGPT会先通过RAG从文档中检索相关信息,然后调用本地模型生成带有数据引用的分析报告。或者,开发者可以直接调用其API,为内部系统集成一个能查询知识库、执行代码工具或访问数据库的私有AI助手。

介绍

PrivateGPT 解决了开发者在本地部署大模型后,如何快速构建功能完整、生产就绪的AI应用的核心难题。它并非一个模型本身,而是一个开源的API层,能够连接任何兼容OpenAI API的本地推理服务器(如Ollama、llama.cpp),并提供文件处理、RAG检索、内置工具、数据库访问等高级功能。

使用PrivateGPT时,开发者只需先启动一个本地LLM服务器,然后通过简单的命令安装并运行PrivateGPT服务。它会自动提供一个标准化的API端点(兼容Anthropic API规范)和一个内置的Web工作台(/ui),开发者可以立即开始调用API或通过UI测试各种AI功能,如聊天、文件分析、知识库问答等。

这个工具非常适合希望在本地或私有环境中构建AI应用,但又不想从零开始实现RAG、工具调用、文件解析等复杂后端逻辑的开发者和技术团队。无论是开发内部智能助手、数据分析工具,还是需要严格数据隐私的客户服务应用,PrivateGPT都能大幅降低开发门槛。

需要注意的是,PrivateGPT本身不运行模型,它完全依赖外部提供的兼容OpenAI的推理服务。因此,在使用前,用户需要自行准备并运行LLM和嵌入模型服务器。其性能和功能上限也取决于所连接的底层模型的能力。

核心特点

与单纯提供模型API封装的工具不同,PrivateGPT提供了一套完整的、生产验证过的AI应用后端原语,包括开箱即用的Agentic RAG(带引用)、内置工具(网页搜索、代码执行等)、MCP连接器以及对数据库的结构化访问,其API设计遵循Claude API模型,让开发者能像使用云端API一样轻松构建本地私有应用。

注意事项

不适合仅需要简单模型调用,或无法自行部署和维护本地LLM/嵌入模型服务器的场景。

常见问题

PrivateGPT和Ollama有什么区别?

Ollama是运行和管理本地模型的工具,而PrivateGPT是构建在模型之上的应用层API,提供RAG、工具、文件处理等高级功能,需要连接Ollama等服务器才能工作。

PrivateGPT支持哪些模型?

支持任何提供兼容OpenAI的 `/v1/chat/completions` 和 `/v1/models` 端点的推理服务器,如通过Ollama、llama.cpp、vLLM部署的模型。

给 AI 助手的安装指引

如果你的 AI 编程助手(Claude Code、Cursor、TRAE 等)能看到这个页面,把下面这段发给它即可自动完成安装:

请访问 https://321skill.com/skills/private-gpt/raw/index.md 读取 private-gpt 的原始 Skill 定义(Markdown 格式),按其中说明在我的环境里完成安装和配置。