llama.cpp
高性能的C/C++本地大语言模型推理框架
安装使用
复制下面这段提示词发给你的 AI（Claude / Cursor / TRAE / Codex / WorkBuddy 等），它会自动帮你完成安装：
帮我安装这个 AI Skill：llama.cpp。 它的用途是：高性能的C/C++本地大语言模型推理框架 完整的 Skill 内容见：https://321skill.com/skills/llama-cpp/raw/index.md 请读取该页面内容，如果是 SKILL.md 格式直接安装，如果是 README 提炼核心 prompt 后安装。
提示词包含完整的 Skill 内容链接，AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。
使用示例
“帮我把这个中文问题翻译成英文，并用llama.cpp命令行格式调用7B模型来回答。”，它会生成相应的命令，例如 `./main -m models/llama-2-7b.Q4_K_M.gguf -p "Translate the following Chinese to English: '你好，世界'"`。或者，你可以说：“我想在树莓派上部署一个轻量级聊天助手，请给出使用llama.cpp的步骤和模型选择建议。”
介绍
llama.cpp是一个用C/C++编写的轻量级、高性能大语言模型（LLM）推理框架。它解决了开发者和研究者希望在个人电脑、边缘设备或服务器上高效、低成本地运行开源大模型（如Llama系列）的核心需求。
通过将模型转换为GGUF格式，llama.cpp可以在CPU或GPU上实现高效的推理，支持多种量化级别以平衡性能与精度。用户可以通过命令行工具直接与模型交互，也可以通过其提供的C API、Python绑定或REST API将其集成到自己的应用程序中，甚至可以使用Docker快速部署。
这个工具非常适合对性能、资源消耗和隐私有要求的开发者、研究人员以及技术爱好者。无论是想离线研究模型特性，还是希望将AI能力嵌入到资源受限的本地应用中，llama.cpp都是一个强大的基础工具。
使用建议：初次使用时，建议从官方提供的预量化模型开始，并根据你的硬件（CPU核心数、内存大小、是否支持GPU）选择合适的量化版本。注意，其核心是推理引擎，不提供模型训练功能，且对多模态等高级功能的支持可能仍在完善中。
核心特点
核心区别在于其极致的性能优化和广泛的硬件兼容性，能够在普通CPU上流畅运行百亿参数模型，并支持从x86、ARM到WebGPU等多种后端，是本地部署和边缘计算场景下的首选推理方案。
注意事项
不适合需要在线训练模型、使用非GGUF格式模型或追求开箱即用、交互式AI助手的普通用户。
常见问题
如何选择适合我电脑的模型量化版本？
根据你的硬件内存大小选择，内存较小（如8GB）可选Q4_K_M或更低量化级别，内存充足则可选更高精度如Q6_K或Q8_0以获得更好效果。
llama.cpp能用来训练模型吗？
不能，llama.cpp是一个专门的推理（Inference）框架，只负责加载和运行已训练好的模型，不包含训练功能。
给 AI 助手的安装指引
如果你的 AI 编程助手（Claude Code、Cursor、TRAE 等）能看到这个页面，把下面这段发给它即可自动完成安装：
请访问 https://321skill.com/skills/llama-cpp/raw/index.md 读取 llama.cpp 的原始 Skill 定义（Markdown 格式），按其中说明在我的环境里完成安装和配置。
AI 可直接读取的原始 Markdown 地址：/skills/llama-cpp/raw/index.md（查看排版版本）