Claw Web Fetch

抓取网页、GitHub README和Reddit帖子转为Markdown

安装使用

复制下面这段提示词发给你的 AI(Claude / Cursor / TRAE / Codex / WorkBuddy 等),它会自动帮你完成安装:

帮我安装这个 AI Skill:Claw Web Fetch。
它的用途是:抓取网页、GitHub README和Reddit帖子转为Markdown
完整的 Skill 内容见:https://321skill.com/skills/claw-web-fetch-x-3/raw/index.md
请读取该页面内容,如果是 SKILL.md 格式直接安装,如果是 README 提炼核心 prompt 后安装。

提示词包含完整的 Skill 内容链接,AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。

使用示例

‘请帮我抓取这个GitHub仓库的README并保存为Markdown文件’,AI会调用Claw Web Fetch工具,输入仓库URL,返回格式化的Markdown内容,包含代码块、标题和列表。或者

对AI说:‘抓取Reddit上某个热门帖子,把回复整理成Markdown格式’,它会自动提取楼层结构并输出。

介绍

Claw Web Fetch 是一个轻量级的命令行工具,专为 AI Agent 和开发者设计,用于快速抓取网页、GitHub 仓库 README 以及 Reddit 讨论帖子的内容,并自动转换为结构清晰的 Markdown 格式。它解决了从公开网页中提取文本信息时面临的格式混乱、需要手动清理的问题,让 AI 能够直接消费标准化的文本输入。

使用方式非常简单:在终端中运行 clawfetch <url> 即可。工具会智能识别链接类型(普通网页、GitHub 项目、Reddit 帖子),并针对性地优化输出——例如 GitHub README 会保留代码块和标题层级,Reddit 帖子会保留楼层和回复结构。你也可以在 AI 对话中通过 MCP 协议调用它,让智能体自动获取外部信息。

适合智能体开发者(需要为 AI 提供实时网页数据)、内容创作者(从网络上收集素材并整理成文档)、数据分析师(批量抓取网页信息进行后续分析)以及任何需要将网页内容结构化存储或输入 AI 模型的用户。

建议使用时注意:该工具仅获取静态 HTML 内容,无法执行 JavaScript 渲染,因此对于单页应用(SPA)或需要动态加载的页面,可能无法完整抓取。对于需要登录认证的页面,只能获取公开部分。建议配合浏览器扩展或无头浏览器工具处理复杂页面。

核心特点

专为 AI Agent 场景优化,自动识别 GitHub、Reddit 等平台并输出适配其结构的 Markdown,而通用抓取工具通常只返回原始 HTML 或纯文本,需要额外处理才能被 AI 有效消费。

注意事项

无法抓取需要 JavaScript 渲染的 SPA 页面或需要登录认证的受保护页面。

常见问题

能否抓取需要登录的页面?

不能,该工具仅抓取公开可访问的静态内容,不支持 cookie 或 session 认证。

是否支持动态渲染的网页?

不支持,它只获取 HTML 源码,不会执行 JavaScript。如需抓取 SPA 页面,请先使用无头浏览器渲染后再提供 URL。

给 AI 助手的安装指引

如果你的 AI 编程助手(Claude Code、Cursor、TRAE 等)能看到这个页面,把下面这段发给它即可自动完成安装:

请访问 https://321skill.com/skills/claw-web-fetch-x-3/raw/index.md 读取 Claw Web Fetch 的原始 Skill 定义(Markdown 格式),按其中说明在我的环境里完成安装和配置。