tmlpd-pi
一个研究驱动的多LLM智能路由与优化执行框架。
安装使用
复制下面这段提示词发给你的 AI（Claude / Cursor / TRAE / Codex / WorkBuddy 等），它会自动帮你完成安装：
帮我安装这个 AI Skill：tmlpd-pi。 它的用途是：一个研究驱动的多LLM智能路由与优化执行框架。 详细介绍见：https://321skill.com/skills/tmlpd-pi/ 请根据该页面的说明完成安装。
使用示例
“使用 tmlpd-pi 路由，将用户查询同时发送给 GPT-4 和本地 Mixtral 模型，并返回最快且质量合格的回答。” 它会配置路由策略，并行调用模型，并应用前缀缓存等技术，最终高效返回最佳结果。
介绍
在AI应用开发中，如何高效、低成本地调用不同的大语言模型（LLM）并优化其推理过程是一个核心挑战。tmlpd-pi 正是为了解决这一问题而生，它是一个基于研究的、功能强大的多LLM路由器。它允许开发者将请求智能地路由到最合适的模型，并集成了多种前沿的推理优化技术，以提升整体性能和效率。
使用 tmlpd-pi，你可以通过其 Python 绑定轻松集成。它支持并行执行多个LLM请求，并利用 RouteLLM 进行学习型路由决策。框架内置了 RadixAttention（前缀缓存）、Medusa/EAGLE（推测解码）、ISON（令牌压缩）等优化技术，同时兼容 Ollama、vLLM、LM Studio 等本地LLM服务，并支持批处理，极大地简化了复杂LLM工作流的构建。
这个工具非常适合需要构建生产级AI应用的后端工程师、AI研究员以及希望优化LLM调用成本与性能的开发者。对于需要在多个模型（包括云端和本地）之间做负载均衡、进行A/B测试或应用高级推理加速技术的团队来说，它是一个理想的基础设施组件。
在使用时，建议先从其路由和并行执行的核心功能入手，逐步尝试集成推测解码等高级优化功能以进一步提升吞吐量。需要注意的是，其高级功能可能需要一定的调试和配置才能达到最佳效果，且对本地模型的支持程度取决于后端服务（如Ollama）的稳定性。
常见问题
tmlpd-pi 支持哪些本地大模型？
支持通过 Ollama、vLLM 和 LM Studio 部署的本地模型。
RouteLLM 是什么？
RouteLLM 是其内置的、基于学习（可能基于模型性能或成本数据）的智能路由模块，用于自动选择最合适的LLM处理请求。