Claw Web Fetch

将网页/Reddit/GitHub README 转为 Markdown 的抓取工具

安装使用

复制下面这段提示词发给你的 AI(Claude / Cursor / TRAE / Codex / WorkBuddy 等),它会自动帮你完成安装:

帮我安装这个 AI Skill:Claw Web Fetch。
它的用途是:将网页/Reddit/GitHub README 转为 Markdown 的抓取工具
完整的 Skill 内容见:https://321skill.com/skills/claw-web-fetch/raw/index.md
请读取该页面内容,如果是 SKILL.md 格式直接安装,如果是 README 提炼核心 prompt 后安装。

提示词包含完整的 Skill 内容链接,AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。

使用示例

‘请帮我抓取 https://github.com/example/project 的 README 并保存为 Markdown。’它会执行 `clawfetch https://github.com/example/project > readme.md`,自动将仓库的 README 文件转换为 Markdown 格式并输出到本地文件。如果要抓取 Reddit 帖子,可以说:‘抓取 https://www.reddit.com/r/rust/comments/xxxx 的讨论内容,保留所有评论。’工具会提取帖子正文和所有可见评论,以 Markdown 列表形式呈现。

介绍

Claw Web Fetch 是一个轻量级的命令行工具,它封装了 OpenClaw 和 ClawHub 的能力,专注于将网页内容、GitHub 仓库的 README 文件以及 Reddit 帖子抓取并转换为结构清晰的 Markdown 格式。对于需要大量获取网络文本信息、进行二次整理或知识库构建的用户来说,它能大幅减少手动复制粘贴和格式调整的重复劳动。

使用方式非常简单:安装后通过一条命令即可完成抓取。例如输入 clawfetch https://example.com,工具会自动分析网页结构,提取正文内容并输出 Markdown。对于 GitHub 仓库,可以直接指定仓库地址,自动抓取 README;对于 Reddit 帖子,也能保留评论层级,方便后续分析。

适合内容创作者、学术研究者、数据分析师等需要频繁从网络获取结构化文本的用户。比如做竞品分析时批量抓取多个产品页面,做文献调研时整理技术博客,或者运营社媒时收集 Reddit 热门讨论。

建议配合本地知识库或个人笔记系统使用,将抓取到的 Markdown 文件直接导入 Obsidian、Notion 等工具。注意该工具仅抓取公开可访问的网页内容,不支持需要登录的页面或动态渲染的 SPA 站点。

核心特点

相比同类抓取工具,Claw Web Fetch 专为 GitHub README 和 Reddit 线程做了深度适配,能自动识别评论区结构并以 Markdown 列表呈现,同时保持代码块和链接的完整性。

注意事项

不支持需要登录认证的页面、JavaScript 动态渲染的单页应用以及需要模拟用户交互的复杂网页。

常见问题

能否抓取需要登录的网页?

不能,该工具仅处理公开可访问的静态页面,无法处理登录态和 Cookie 验证。

输出格式只有 Markdown 吗?

是的,默认输出为 Markdown,适合直接用于笔记、文档和知识库。

给 AI 助手的安装指引

如果你的 AI 编程助手(Claude Code、Cursor、TRAE 等)能看到这个页面,把下面这段发给它即可自动完成安装:

请访问 https://321skill.com/skills/claw-web-fetch/raw/index.md 读取 Claw Web Fetch 的原始 Skill 定义(Markdown 格式),按其中说明在我的环境里完成安装和配置。