Sage Router

本地优先的AI模型路由,统一端点,自动调度

安装使用

复制下面这段提示词发给你的 AI(Claude / Cursor / TRAE / Codex / WorkBuddy 等),它会自动帮你完成安装:

帮我安装这个 AI Skill:Sage Router。
它的用途是:本地优先的AI模型路由,统一端点,自动调度
完整的 Skill 内容见:https://321skill.com/skills/sage-router-x/raw/index.md
请读取该页面内容,如果是 SKILL.md 格式直接安装,如果是 README 提炼核心 prompt 后安装。

提示词包含完整的 Skill 内容链接,AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。

使用示例

'使用Sage Router调用GPT-4生成一篇1000字的技术博客,要求成本优先,延迟不超过2秒。' 路由器会自动将请求发送到当前成本最低且满足延迟的提供商(可能是Claude或本地模型),并返回结果,同时记录Token消耗和费用明细。

介绍

解决什么问题:开发者在使用多个AI模型提供商(如OpenAI、Anthropic、本地模型等)时,往往需要管理多个API端点、密钥和配置,不仅繁琐,还容易因调用不当导致Token浪费和成本失控。Sage Router提供单一的本地优先路由端点,自动根据模型能力、成本、延迟等因素将请求分发到最合适的提供商,让开发者无需关心底层细节。

怎么用:安装后,只需配置一个通用端点,并在路由器中注册各提供商的API密钥。调用时发送标准化的请求(如指定模型家族或任务类型),路由器会自动评估并选择最优提供商,返回结果。支持本地模型和云端模型混合使用,且所有路由决策在本地完成,保障数据隐私。

适合谁:主要面向智能体开发者、后端开发者和全栈开发者,特别是那些需要同时调用多个AI模型来优化成本、提升响应速度或实现冗余的场景。也适合希望在本地优先环境中管理多模型调用的团队。

使用建议:建议先配置好各提供商的API密钥和预算上限,并定期检查路由日志以调整权重。注意路由器自动决策可能无法满足某些需要精确指定提供商的场景,此时可手动覆盖路由规则。另外,本地模型需要额外资源,请确保机器性能足够。

核心特点

与OpenRouter、LiteLLM等云路由服务不同,Sage Router是本地优先的,所有路由决策在本地执行,不依赖外部服务,同时支持任意提供商(包括本地模型),自动平衡成本与性能。

注意事项

不适合需要完全控制每个请求精确路由到某个特定提供商(如强制使用GPT-4)的场景,因为路由器自动决策可能优先选择成本更低的模型。

常见问题

支持哪些AI提供商?

支持OpenAI、Anthropic、Google、本地模型(如Ollama、vLLM)等常见提供商,也可通过插件扩展自定义提供商。

如何配置路由规则?

通过配置文件或API设置各提供商的权重、成本上限、延迟阈值等,路由器会据此动态选择最优路径。

给 AI 助手的安装指引

如果你的 AI 编程助手(Claude Code、Cursor、TRAE 等)能看到这个页面,把下面这段发给它即可自动完成安装:

请访问 https://321skill.com/skills/sage-router-x/raw/index.md 读取 Sage Router 的原始 Skill 定义(Markdown 格式),按其中说明在我的环境里完成安装和配置。