Claw Web Fetch

将网页、GitHub README和Reddit帖子抓取为Markdown

文档写作 文档工程师内容创作者 抓取网页内容 通用 ★ 1.1k 更新于 2026-07-31

安装使用

复制下面这段提示词发给你的 AI(Claude / Cursor / TRAE / Codex / WorkBuddy 等),它会自动帮你完成安装:

帮我安装这个 AI Skill:Claw Web Fetch。
它的用途是:将网页、GitHub README和Reddit帖子抓取为Markdown
完整的 Skill 内容见:https://321skill.com/skills/claw-web-fetch-x-2/raw/index.md
请读取该页面内容,如果是 SKILL.md 格式直接安装,如果是 README 提炼核心 prompt 后安装。

提示词包含完整的 Skill 内容链接,AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。

使用示例

'用 Claw Web Fetch 抓取 https://github.com/facebook/react 的 README 并转为 Markdown',它会自动调用 clawfetch 命令获取 React 仓库的 README 内容,并返回结构清晰的 Markdown 格式文本,包含标题、代码块、列表等,方便你直接粘贴到文档或笔记中。

介绍

Claw Web Fetch 解决的是从网页、GitHub 仓库 README 和 Reddit 讨论串中快速提取正文内容并转换为 Markdown 格式的需求。它基于开源的 clawfetch npm CLI 封装,提供更简洁的调用接口,让你无需手动处理 HTML 解析、Markdown 转换等繁琐步骤,直接获得结构清晰的纯文本内容。

使用方式极为简单:通过命令行或集成到 AI 代理中,指定目标 URL 即可自动抓取并输出 Markdown。例如,输入一个 GitHub 仓库链接,它会自动提取 README 并转换为 Markdown;输入 Reddit 帖子链接,它会抓取帖子正文和评论线程并格式化输出。整个过程无需浏览器或复杂配置。

适合需要频繁引用网页内容进行文档编写、知识整理、学术研究或内容创作的用户。文档工程师可以用它快速将技术文档网页转为本地 Markdown;内容创作者可抓取 Reddit 热门讨论作为素材;学术研究者能批量获取 GitHub 项目 README 用于文献综述。

建议搭配 AI 代码编辑器或智能体使用,在对话中直接调用该工具获取最新内容。注意该工具仅抓取静态 HTML 页面,无法处理需要登录、JavaScript 渲染或反爬虫验证的网站。对于简单的信息采集场景,它能大幅提升效率。

核心特点

相比通用网页抓取工具,Claw Web Fetch 专门针对 GitHub README 和 Reddit 线程做了内容提取优化,输出为干净、结构化的 Markdown,而非杂乱 HTML,且无需手工配置选择器。

注意事项

无法抓取需要登录、动态渲染(JavaScript)或存在反爬虫机制(如 Cloudflare)的网页。

常见问题

支持哪些网站?

主要支持普通静态网页、GitHub 仓库 README 页面和 Reddit 帖子,其他网站会尽量提取主体内容,但无法保证格式完美。

如何安装?

运行 npm install -g clawfetch 全局安装,之后即可通过 clawfetch <url> 命令使用。

给 AI 助手的安装指引

如果你的 AI 编程助手(Claude Code、Cursor、TRAE 等)能看到这个页面,把下面这段发给它即可自动完成安装:

请访问 https://321skill.com/skills/claw-web-fetch-x-2/raw/index.md 读取 Claw Web Fetch 的原始 Skill 定义(Markdown 格式),按其中说明在我的环境里完成安装和配置。