Claw Web Fetch

一个将网页、GitHub README和Reddit帖子抓取为Markdown的命令行工具。

安装使用

复制下面这段提示词发给你的 AI(Claude / Cursor / TRAE / Codex / WorkBuddy 等),它会自动帮你完成安装:

帮我安装这个 AI Skill:Claw Web Fetch。
它的用途是:一个将网页、GitHub README和Reddit帖子抓取为Markdown的命令行工具。
完整的 Skill 内容见:https://321skill.com/skills/claw-web-fetch-x-4/raw/index.md
请读取该页面内容,如果是 SKILL.md 格式直接安装,如果是 README 提炼核心 prompt 后安装。

提示词包含完整的 Skill 内容链接,AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。

使用示例

‘帮我把这个GitHub仓库的README抓取成Markdown文件,保存到本地。’ 它会指导你运行类似 `clawfetch https://github.com/username/repo -o readme.md` 的命令,快速将在线文档离线保存。或者,当你想研究Reddit上某个热门技术讨论时,可以让AI帮你生成抓取该帖子全部内容的命令,方便后续仔细阅读和分析。

介绍

Claw Web Fetch 解决了开发者、内容创作者和研究人员需要快速、结构化地获取网页内容的问题。它提供了一个命令行工具,能够将网页、GitHub仓库的README文件以及Reddit讨论串直接抓取并转换为格式清晰的Markdown文档,便于离线阅读、内容整理或进一步处理。

使用方式非常简单,通过npm全局安装后,即可在终端中使用clawfetch命令,后接目标URL,即可将对应内容抓取并输出为Markdown。它封装了OpenClaw和ClawHub的能力,提供了开箱即用的便捷性。

这个工具非常适合需要批量收集资料、分析竞品文档、存档在线讨论或构建个人知识库的用户。无论是前端开发者需要研究某个UI库的文档,还是学术研究者需要整理相关论文的GitHub项目信息,都能从中受益。

建议在需要处理大量网页内容时使用此工具,可以结合脚本实现自动化抓取。但请注意,频繁或大量抓取单一网站可能触发反爬机制,使用时请遵守目标网站的robots.txt协议,并尊重版权。

核心特点

它专精于将网页、GitHub README和Reddit线程这三种特定且常见的内容源,一站式转换为纯净的Markdown格式,而非通用的网页抓取或格式转换工具。

注意事项

不适合需要抓取动态渲染(大量JavaScript生成)的网页内容,或需要处理复杂登录验证的私有页面。

常见问题

clawfetch 能抓取需要登录的页面吗?

不能,它主要用于抓取公开可访问的网页内容。

抓取的Markdown格式干净吗?

是的,它旨在提取核心内容并转换为结构良好的Markdown,但复杂页面的转换效果可能因网站结构而异。

给 AI 助手的安装指引

如果你的 AI 编程助手(Claude Code、Cursor、TRAE 等)能看到这个页面,把下面这段发给它即可自动完成安装:

请访问 https://321skill.com/skills/claw-web-fetch-x-4/raw/index.md 读取 Claw Web Fetch 的原始 Skill 定义(Markdown 格式),按其中说明在我的环境里完成安装和配置。