private-gpt
为本地模型提供生产级API层,快速构建私有AI应用。
安装使用
复制下面这段提示词发给你的 AI(Claude / Cursor / TRAE / Codex / WorkBuddy 等),它会自动帮你完成安装:
帮我安装这个 AI Skill:private-gpt。 它的用途是:为本地模型提供生产级API层,快速构建私有AI应用。 完整的 Skill 内容见:https://321skill.com/skills/private-gpt/raw/index.md 请读取该页面内容,如果是 SKILL.md 格式直接安装,如果是 README 提炼核心 prompt 后安装。
提示词包含完整的 Skill 内容链接,AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。
使用示例
“分析我上传的这份销售数据PDF,总结上季度的趋势并指出潜在问题。” PrivateGPT会先通过RAG从文档中检索相关信息,然后调用本地模型生成带有数据引用的分析报告。或者,开发者可以直接调用其API,为内部系统集成一个能查询知识库、执行代码工具或访问数据库的私有AI助手。
介绍
PrivateGPT 解决了开发者在本地部署大模型后,如何快速构建功能完整、生产就绪的AI应用的核心难题。它并非一个模型本身,而是一个开源的API层,能够连接任何兼容OpenAI API的本地推理服务器(如Ollama、llama.cpp),并提供文件处理、RAG检索、内置工具、数据库访问等高级功能。
使用PrivateGPT时,开发者只需先启动一个本地LLM服务器,然后通过简单的命令安装并运行PrivateGPT服务。它会自动提供一个标准化的API端点(兼容Anthropic API规范)和一个内置的Web工作台(/ui),开发者可以立即开始调用API或通过UI测试各种AI功能,如聊天、文件分析、知识库问答等。
这个工具非常适合希望在本地或私有环境中构建AI应用,但又不想从零开始实现RAG、工具调用、文件解析等复杂后端逻辑的开发者和技术团队。无论是开发内部智能助手、数据分析工具,还是需要严格数据隐私的客户服务应用,PrivateGPT都能大幅降低开发门槛。
需要注意的是,PrivateGPT本身不运行模型,它完全依赖外部提供的兼容OpenAI的推理服务。因此,在使用前,用户需要自行准备并运行LLM和嵌入模型服务器。其性能和功能上限也取决于所连接的底层模型的能力。
核心特点
与单纯提供模型API封装的工具不同,PrivateGPT提供了一套完整的、生产验证过的AI应用后端原语,包括开箱即用的Agentic RAG(带引用)、内置工具(网页搜索、代码执行等)、MCP连接器以及对数据库的结构化访问,其API设计遵循Claude API模型,让开发者能像使用云端API一样轻松构建本地私有应用。
注意事项
不适合仅需要简单模型调用,或无法自行部署和维护本地LLM/嵌入模型服务器的场景。
常见问题
PrivateGPT和Ollama有什么区别?
Ollama是运行和管理本地模型的工具,而PrivateGPT是构建在模型之上的应用层API,提供RAG、工具、文件处理等高级功能,需要连接Ollama等服务器才能工作。
PrivateGPT支持哪些模型?
支持任何提供兼容OpenAI的 `/v1/chat/completions` 和 `/v1/models` 端点的推理服务器,如通过Ollama、llama.cpp、vLLM部署的模型。
给 AI 助手的安装指引
如果你的 AI 编程助手(Claude Code、Cursor、TRAE 等)能看到这个页面,把下面这段发给它即可自动完成安装:
请访问 https://321skill.com/skills/private-gpt/raw/index.md 读取 private-gpt 的原始 Skill 定义(Markdown 格式),按其中说明在我的环境里完成安装和配置。
AI 可直接读取的原始 Markdown 地址:/skills/private-gpt/raw/index.md(查看排版版本)