Claw Web Fetch

一个命令行工具,可将网页、GitHub README 和 Reddit 帖子抓取为 Markdown 格式。

安装使用

复制下面这段提示词发给你的 AI(Claude / Cursor / TRAE / Codex / WorkBuddy 等),它会自动帮你完成安装:

帮我安装这个 AI Skill:Claw Web Fetch。
它的用途是:一个命令行工具,可将网页、GitHub README 和 Reddit 帖子抓取为 Markdown 格式。
完整的 Skill 内容见:https://321skill.com/skills/claw-web-fetch-x-5/raw/index.md
请读取该页面内容,如果是 SKILL.md 格式直接安装,如果是 README 提炼核心 prompt 后安装。

提示词包含完整的 Skill 内容链接,AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。

使用示例

‘帮我把这个 GitHub 项目的 README 抓取成 Markdown 文件,我想离线阅读。’,它会调用 Claw Web Fetch,获取指定仓库的 README 内容并转换为格式清晰的 Markdown 文档。或者,

对AI说:‘我需要把这篇 Reddit 的热门讨论保存下来做素材。’,它会抓取该 Reddit 帖子的主帖和回复,并整理成结构化的 Markdown 文本。

介绍

Claw Web Fetch 解决了开发者和内容创作者需要快速、结构化地获取网页内容的痛点。无论是为了研究、存档还是内容整合,手动复制粘贴网页内容不仅效率低下,还容易丢失格式和结构。

该工具通过封装 clawfetch npm CLI,提供了一个简洁的命令行接口。用户只需输入目标 URL,它就能自动将网页、GitHub 仓库的 README 文件或 Reddit 主题讨论抓取下来,并转换为干净、易读的 Markdown 格式,方便后续编辑、归档或集成到文档中。

它非常适合需要频繁从网络收集信息的前后端开发者、内容创作者、学术研究者以及数据分析师。例如,开发者可以快速获取开源项目的文档,内容创作者可以整理网络素材,研究者可以存档参考资料。

使用建议:由于依赖外部网络服务,请确保在稳定的网络环境下使用,并遵守目标网站的 robots.txt 协议和版权规定。对于需要登录才能访问的页面或动态加载内容丰富的单页应用,其抓取效果可能有限。

核心特点

与通用爬虫工具相比,它专门针对网页、GitHub README 和 Reddit 这三种常见且格式相对固定的内容源进行了优化,能生成更干净、结构更清晰的 Markdown 输出。同时,作为 npm CLI 的封装,它比自行编写爬虫脚本更便捷,比一些重量级的爬虫框架更轻量、易上手。

注意事项

不适合抓取需要复杂交互(如登录、执行JavaScript)的动态网页内容。

常见问题

Claw Web Fetch 能抓取需要登录的网站吗?

不能,它主要用于抓取公开可访问的网页内容。

抓取的 Markdown 格式干净吗?

是的,它针对目标源进行了优化,能生成结构清晰、去除了大量无关样式的 Markdown。

给 AI 助手的安装指引

如果你的 AI 编程助手(Claude Code、Cursor、TRAE 等)能看到这个页面,把下面这段发给它即可自动完成安装:

请访问 https://321skill.com/skills/claw-web-fetch-x-5/raw/index.md 读取 Claw Web Fetch 的原始 Skill 定义(Markdown 格式),按其中说明在我的环境里完成安装和配置。