Claw Web Fetch
一个命令行工具,可将网页、GitHub README 和 Reddit 帖子抓取为 Markdown 格式。
安装使用
复制下面这段提示词发给你的 AI(Claude / Cursor / TRAE / Codex / WorkBuddy 等),它会自动帮你完成安装:
帮我安装这个 AI Skill:Claw Web Fetch。 它的用途是:一个命令行工具,可将网页、GitHub README 和 Reddit 帖子抓取为 Markdown 格式。 完整的 Skill 内容见:https://321skill.com/skills/claw-web-fetch-x-5/raw/index.md 请读取该页面内容,如果是 SKILL.md 格式直接安装,如果是 README 提炼核心 prompt 后安装。
提示词包含完整的 Skill 内容链接,AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。
使用示例
‘帮我把这个 GitHub 项目的 README 抓取成 Markdown 文件,我想离线阅读。’,它会调用 Claw Web Fetch,获取指定仓库的 README 内容并转换为格式清晰的 Markdown 文档。或者,
对AI说:‘我需要把这篇 Reddit 的热门讨论保存下来做素材。’,它会抓取该 Reddit 帖子的主帖和回复,并整理成结构化的 Markdown 文本。
介绍
Claw Web Fetch 解决了开发者和内容创作者需要快速、结构化地获取网页内容的痛点。无论是为了研究、存档还是内容整合,手动复制粘贴网页内容不仅效率低下,还容易丢失格式和结构。
该工具通过封装 clawfetch npm CLI,提供了一个简洁的命令行接口。用户只需输入目标 URL,它就能自动将网页、GitHub 仓库的 README 文件或 Reddit 主题讨论抓取下来,并转换为干净、易读的 Markdown 格式,方便后续编辑、归档或集成到文档中。
它非常适合需要频繁从网络收集信息的前后端开发者、内容创作者、学术研究者以及数据分析师。例如,开发者可以快速获取开源项目的文档,内容创作者可以整理网络素材,研究者可以存档参考资料。
使用建议:由于依赖外部网络服务,请确保在稳定的网络环境下使用,并遵守目标网站的 robots.txt 协议和版权规定。对于需要登录才能访问的页面或动态加载内容丰富的单页应用,其抓取效果可能有限。
核心特点
与通用爬虫工具相比,它专门针对网页、GitHub README 和 Reddit 这三种常见且格式相对固定的内容源进行了优化,能生成更干净、结构更清晰的 Markdown 输出。同时,作为 npm CLI 的封装,它比自行编写爬虫脚本更便捷,比一些重量级的爬虫框架更轻量、易上手。
注意事项
不适合抓取需要复杂交互(如登录、执行JavaScript)的动态网页内容。
常见问题
Claw Web Fetch 能抓取需要登录的网站吗?
不能,它主要用于抓取公开可访问的网页内容。
抓取的 Markdown 格式干净吗?
是的,它针对目标源进行了优化,能生成结构清晰、去除了大量无关样式的 Markdown。
给 AI 助手的安装指引
如果你的 AI 编程助手(Claude Code、Cursor、TRAE 等)能看到这个页面,把下面这段发给它即可自动完成安装:
请访问 https://321skill.com/skills/claw-web-fetch-x-5/raw/index.md 读取 Claw Web Fetch 的原始 Skill 定义(Markdown 格式),按其中说明在我的环境里完成安装和配置。
AI 可直接读取的原始 Markdown 地址:/skills/claw-web-fetch-x-5/raw/index.md(查看排版版本)