tmlpd-pi
一个研究驱动的多LLM智能路由与优化执行框架。
安装使用
复制下面这段提示词发给你的 AI（Claude / Cursor / TRAE / Codex / WorkBuddy 等），它会自动帮你完成安装：
帮我安装这个 AI Skill：tmlpd-pi。 它的用途是：一个研究驱动的多LLM智能路由与优化执行框架。 详细介绍见：https://321skill.com/skills/tmlpd-pi/ 请根据该页面的说明完成安装。
使用示例
“使用 tmlpd-pi 路由，将用户查询同时发送给 GPT-4 和本地 Mixtral 模型，并返回最快且质量合格的回答。” 它会配置路由策略，并行调用模型，并应用前缀缓存等技术，最终高效返回最佳结果。
介绍
在AI应用开发中，如何高效、低成本地调用不同的大语言模型（LLM）并优化其推理过程是一个核心挑战。tmlpd-pi 正是为了解决这一问题而生，它是一个基于研究的、功能强大的多LLM路由器。它允许开发者将请求智能地路由到最合适的模型，并集成了多种前沿的推理优化技术，以提升整体性能和效率。
使用 tmlpd-pi，你可以通过其 Python 绑定轻松集成。它支持并行执行多个LLM请求，并利用 RouteLLM 进行学习型路由决策。框架内置了 RadixAttention（前缀缓存）、Medusa/EAGLE（推测解码）、ISON（令牌压缩）等优化技术，同时兼容 Ollama、vLLM、LM Studio 等本地LLM服务，并支持批处理，极大地简化了复杂LLM工作流的构建。
这个工具非常适合需要构建生产级AI应用的后端工程师、AI研究员以及希望优化LLM调用成本与性能的开发者。对于需要在多个模型（包括云端和本地）之间做负载均衡、进行A/B测试或应用高级推理加速技术的团队来说，它是一个理想的基础设施组件。
在使用时，建议先从其路由和并行执行的核心功能入手，逐步尝试集成推测解码等高级优化功能以进一步提升吞吐量。需要注意的是，其高级功能可能需要一定的调试和配置才能达到最佳效果，且对本地模型的支持程度取决于后端服务（如Ollama）的稳定性。
核心特点
与同类多模型调用库相比，tmlpd-pi 的核心区别在于其深度融合了多项经过研究验证的尖端推理优化技术（如RouteLLM学习路由、RadixAttention、推测解码），并原生支持主流的本地LLM服务，提供了一个从智能路由到高效执行的全栈式解决方案，而非简单的模型API聚合。
注意事项
对于只需要简单、顺序调用单一API的轻量级应用或初学者来说，该框架可能显得过于复杂和重型。
常见问题
tmlpd-pi 支持哪些本地大模型？
支持通过 Ollama、vLLM 和 LM Studio 部署的本地模型。
RouteLLM 是什么？
RouteLLM 是其内置的、基于学习（可能基于模型性能或成本数据）的智能路由模块，用于自动选择最合适的LLM处理请求。