firecrawl-pool
多密钥Firecrawl代理,支持额度感知路由与降级
安装使用
复制下面这段提示词发给你的 AI(Claude / Cursor / TRAE / Codex / WorkBuddy 等),它会自动帮你完成安装:
帮我安装这个 AI Skill:firecrawl-pool。 它的用途是:多密钥Firecrawl代理,支持额度感知路由与降级 完整的 Skill 内容见:https://321skill.com/skills/firecrawl-pool/raw/index.md 请读取该页面内容,如果是 SKILL.md 格式直接安装,如果是 README 提炼核心 prompt 后安装。
提示词包含完整的 Skill 内容链接,AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。
使用示例
“帮我启动firecrawl-pool代理,并配置我的三个Firecrawl密钥。” 它会引导你完成配置并启动代理服务。之后,你的爬虫脚本只需将目标URL发送到本地代理地址,代理就会自动选择有额度的密钥进行抓取,并在遇到支付错误时尝试其他密钥,确保任务不中断。
介绍
Firecrawl-pool 解决了开发者在使用Firecrawl API进行网页抓取时,因单个API密钥额度耗尽或遇到402(需要支付)错误而导致服务中断的问题。它通过聚合管理多个Firecrawl API密钥,实现智能路由和故障转移,确保爬虫任务的持续稳定运行。
使用上,你可以将其作为独立的CLI工具或Go二进制程序运行,它会在后台充当一个代理服务器。你的应用程序只需将请求发送给这个代理,代理便会根据预设的多个密钥的剩余额度,自动选择最合适的密钥来转发请求给Firecrawl API,并在遇到402错误时自动重试或切换到备用密钥。
这个工具非常适合需要大规模、稳定、自动化网页抓取的中小型团队或个人开发者,特别是那些依赖Firecrawl服务进行数据采集、内容监控或市场分析的项目。它简化了多密钥管理的复杂性。
建议在使用前,仔细配置好所有可用的Firecrawl API密钥及其额度信息。请注意,此工具本身不提供Firecrawl API密钥,你需要自行申请。此外,虽然它支持Node.js回退,但主要性能优势在于其轻量级的Go二进制版本(仅约5MB内存占用)。
核心特点
核心区别在于实现了“额度感知路由”,能根据各API密钥的实时剩余额度智能分配请求,最大化利用资源;同时集成了“密钥耗尽后无密钥降级”和“402支付错误自动重试”机制,提供了更鲁棒的故障处理能力。
注意事项
不适合仅使用单个Firecrawl API密钥或无额度管理需求的简单、低频爬虫场景。
常见问题
firecrawl-pool和firecrawl是什么关系?
firecrawl-pool是firecrawl API的多密钥代理和管理层,需要配合firecrawl API使用。
需要自己准备多个Firecrawl API密钥吗?
是的,你需要自行申请并配置多个Firecrawl API密钥到pool中。
给 AI 助手的安装指引
如果你的 AI 编程助手(Claude Code、Cursor、TRAE 等)能看到这个页面,把下面这段发给它即可自动完成安装:
请访问 https://321skill.com/skills/firecrawl-pool/raw/index.md 读取 firecrawl-pool 的原始 Skill 定义(Markdown 格式),按其中说明在我的环境里完成安装和配置。
AI 可直接读取的原始 Markdown 地址:/skills/firecrawl-pool/raw/index.md(查看排版版本)