agent-fetch
为AI智能体提供完整、准确的网页内容抓取工具。
安装使用
复制下面这段提示词发给你的 AI（Claude / Cursor / TRAE / Codex / WorkBuddy 等），它会自动帮你完成安装：
帮我安装这个 AI Skill：agent-fetch。 它的用途是：为AI智能体提供完整、准确的网页内容抓取工具。 完整的 Skill 内容见：https://321skill.com/skills/agent-fetch/raw/index.md 请读取该页面内容，如果是 SKILL.md 格式直接安装，如果是 README 提炼核心 prompt 后安装。
提示词包含完整的 Skill 内容链接，AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。
使用示例
“请帮我获取并总结https://example.com/tech-news这篇文章的主要内容。”，AI会调用agent-fetch获取该页面的完整Markdown内容，确保总结基于全文而非被截断的预览。或者，在Cursor中开发时，可以直接在终端运行 `npx agent-fetch <URL>` 来快速测试内容提取效果。
介绍
agent-fetch 解决了AI智能体在抓取网页内容时遇到的普遍问题：由于服务器会检测客户端指纹，使用标准HTTP工具（如curl或智能体内置的抓取功能）常常只能获得被截断或不完整的响应。这导致智能体无法获取完整的文章信息，影响了后续的分析和处理。
该工具通过模拟真实浏览器的网络指纹，欺骗服务器返回完整的页面内容，然后运用多种提取策略（如Readability、JSON-LD、Next.js、RSC等）来获取结构化的完整文章，包括所有段落、标题和链接。它支持本地运行，无需API密钥或云端依赖，可以直接通过npm安装或使用npx命令执行。
agent-fetch 非常适合需要处理网页内容的AI智能体开发者、RAG（检索增强生成）管道构建者，以及任何需要在LLM对话或知识库中注入完整、干净网页内容的用户。例如，当NotebookLM无法直接添加URL作为来源时，可以用它提取内容后粘贴为文本。
使用建议是，对于需要高保真、结构化网页内容的自动化工作流，优先使用agent-fetch替代内置抓取功能。注意事项包括，虽然它支持自定义超时和Cookie，但在处理极其复杂或动态加载的页面时，可能仍需结合其他工具。
核心特点
与同类工具相比，agent-fetch的核心区别在于其本地运行、无需API密钥，并集成了多达七种内容提取策略（如Readability、WP API、文本密度分析等），能更可靠地从各种现代网站框架（如Next.js, RSC）中提取完整、结构化的Markdown内容，而非简单的文本摘要或杂乱的HTML。
注意事项
对于高度依赖客户端JavaScript渲染的动态单页应用（SPA），可能需要结合无头浏览器才能获取最终渲染内容。
常见问题
agent-fetch和直接curl有什么区别？
agent-fetch模拟浏览器指纹，能绕过服务器对机器流量的限制，获取更完整、未被截断的页面内容，而curl可能只收到摘要或移动端版本。
需要付费或申请API密钥吗？
完全不需要。它是一个开源工具，本地运行，无任何付费或API密钥要求。
给 AI 助手的安装指引
如果你的 AI 编程助手（Claude Code、Cursor、TRAE 等）能看到这个页面，把下面这段发给它即可自动完成安装：
请访问 https://321skill.com/skills/agent-fetch/raw/index.md 读取 agent-fetch 的原始 Skill 定义（Markdown 格式），按其中说明在我的环境里完成安装和配置。
AI 可直接读取的原始 Markdown 地址：/skills/agent-fetch/raw/index.md（查看排版版本）