Claw Web Fetch
将网页、GitHub README和Reddit帖子抓取为Markdown
安装使用
复制下面这段提示词发给你的 AI(Claude / Cursor / TRAE / Codex / WorkBuddy 等),它会自动帮你完成安装:
帮我安装这个 AI Skill:Claw Web Fetch。 它的用途是:将网页、GitHub README和Reddit帖子抓取为Markdown 完整的 Skill 内容见:https://321skill.com/skills/claw-web-fetch-x-2/raw/index.md 请读取该页面内容,如果是 SKILL.md 格式直接安装,如果是 README 提炼核心 prompt 后安装。
提示词包含完整的 Skill 内容链接,AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。
使用示例
'用 Claw Web Fetch 抓取 https://github.com/facebook/react 的 README 并转为 Markdown',它会自动调用 clawfetch 命令获取 React 仓库的 README 内容,并返回结构清晰的 Markdown 格式文本,包含标题、代码块、列表等,方便你直接粘贴到文档或笔记中。
介绍
Claw Web Fetch 解决的是从网页、GitHub 仓库 README 和 Reddit 讨论串中快速提取正文内容并转换为 Markdown 格式的需求。它基于开源的 clawfetch npm CLI 封装,提供更简洁的调用接口,让你无需手动处理 HTML 解析、Markdown 转换等繁琐步骤,直接获得结构清晰的纯文本内容。
使用方式极为简单:通过命令行或集成到 AI 代理中,指定目标 URL 即可自动抓取并输出 Markdown。例如,输入一个 GitHub 仓库链接,它会自动提取 README 并转换为 Markdown;输入 Reddit 帖子链接,它会抓取帖子正文和评论线程并格式化输出。整个过程无需浏览器或复杂配置。
适合需要频繁引用网页内容进行文档编写、知识整理、学术研究或内容创作的用户。文档工程师可以用它快速将技术文档网页转为本地 Markdown;内容创作者可抓取 Reddit 热门讨论作为素材;学术研究者能批量获取 GitHub 项目 README 用于文献综述。
建议搭配 AI 代码编辑器或智能体使用,在对话中直接调用该工具获取最新内容。注意该工具仅抓取静态 HTML 页面,无法处理需要登录、JavaScript 渲染或反爬虫验证的网站。对于简单的信息采集场景,它能大幅提升效率。
核心特点
相比通用网页抓取工具,Claw Web Fetch 专门针对 GitHub README 和 Reddit 线程做了内容提取优化,输出为干净、结构化的 Markdown,而非杂乱 HTML,且无需手工配置选择器。
注意事项
无法抓取需要登录、动态渲染(JavaScript)或存在反爬虫机制(如 Cloudflare)的网页。
常见问题
支持哪些网站?
主要支持普通静态网页、GitHub 仓库 README 页面和 Reddit 帖子,其他网站会尽量提取主体内容,但无法保证格式完美。
如何安装?
运行 npm install -g clawfetch 全局安装,之后即可通过 clawfetch <url> 命令使用。
给 AI 助手的安装指引
如果你的 AI 编程助手(Claude Code、Cursor、TRAE 等)能看到这个页面,把下面这段发给它即可自动完成安装:
请访问 https://321skill.com/skills/claw-web-fetch-x-2/raw/index.md 读取 Claw Web Fetch 的原始 Skill 定义(Markdown 格式),按其中说明在我的环境里完成安装和配置。
AI 可直接读取的原始 Markdown 地址:/skills/claw-web-fetch-x-2/raw/index.md(查看排版版本)