@artale/pi-infer

极简免费LLM网关,纯Python实现无需Docker与第三方依赖

安装使用

复制下面这段提示词发给你的 AI(Claude / Cursor / TRAE / Codex / WorkBuddy 等),它会自动帮你完成安装:

帮我安装这个 AI Skill:@artale/pi-infer。
它的用途是:极简免费LLM网关,纯Python实现无需Docker与第三方依赖
详细介绍见:https://321skill.com/skills/artale-pi-infer/
请根据该页面的说明完成安装。

使用示例

'帮我启动本地pi-infer网关,配置转发到我常用的开源大模型接口',它会自动生成适配的配置文件,指引你完成服务启动与连通性测试。

对AI说:'给pi-infer添加简单的API密钥鉴权逻辑',它会基于现有极简代码结构,快速补充符合需求的鉴权模块代码。

介绍

当前不少LLM网关存在依赖繁重、部署流程复杂的问题,要么需要预装大量第三方组件,要么强制依赖Docker环境,用户想要快速搭建轻量的LLM调用中转服务时,往往要耗费大量时间处理环境配置、依赖兼容问题,难以快速落地临时或自用的转发需求。 这款工具完全基于Python标准库开发,无需额外安装任何第三方依赖,也不需要Docker运行环境,用户完成安装后仅需简单配置目标LLM接口信息,即可启动网关服务,对外提供兼容通用大模型调用格式的接口,实现请求转发、基础路由等核心网关能力。 它非常适合个人开发者快速搭建自用的LLM调用中转节点,也适合小型技术团队搭建内部轻量的LLM统一调用入口,同时也适合想要学习LLM网关底层实现逻辑的技术入门者,无需复杂运维知识即可快速上手。 由于它是最小可行版本,仅包含网关核心能力,若要用于半生产或团队共享场景,建议自行补充鉴权、限流、日志审计等必要能力,部署前也建议先梳理自身的接口转发规则,匹配实际调用需求调整配置。

核心特点

相较于同类功能繁杂的LLM网关,它仅用约700行代码实现,无第三方依赖与Docker要求,是极致轻量的最小可用免费LLM网关。

注意事项

仅包含网关核心基础能力,缺少鉴权、限流、负载均衡等生产级特性,不适合直接用于高并发、高安全要求的正式生产环境。

常见问题

运行pi-infer需要安装Docker吗?

不需要,它无Docker依赖,配置完成后即可直接启动服务。

pi-infer需要安装额外的Python依赖吗?

不需要,它完全基于Python标准库开发,无需额外安装第三方包。