Claw Web Fetch

一个将网页、GitHub README和Reddit帖子抓取为Markdown的工具。

安装使用

复制下面这段提示词发给你的 AI(Claude / Cursor / TRAE / Codex / WorkBuddy 等),它会自动帮你完成安装:

帮我安装这个 AI Skill:Claw Web Fetch。
它的用途是:一个将网页、GitHub README和Reddit帖子抓取为Markdown的工具。
完整的 Skill 内容见:https://321skill.com/skills/claw-web-fetch-x-6/raw/index.md
请读取该页面内容,如果是 SKILL.md 格式直接安装,如果是 README 提炼核心 prompt 后安装。

提示词包含完整的 Skill 内容链接,AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。

使用示例

'帮我把这个GitHub仓库的README抓取成Markdown文件,URL是 https://github.com/username/repo',它会调用 Claw Web Fetch 工具,执行抓取命令,并将获取到的纯净Markdown内容返回给你,方便你直接复制或保存。

介绍

Claw Web Fetch 是一个专为开发者设计的网页内容抓取工具,它封装了开源的 clawfetch npm CLI,能够高效地将网页、GitHub README 文件和 Reddit 讨论串转换为纯净的 Markdown 格式。

该工具通过简单的命令行调用,即可快速获取指定URL的Markdown内容,省去了手动复制粘贴和格式转换的繁琐步骤。它支持多种常见网页类型,并能处理一些基础的页面渲染,确保提取出的文本结构清晰、易于后续处理。

它非常适合需要批量收集网络资料、进行内容分析或构建知识库的开发者、内容创作者和研究人员。无论是为了技术调研、竞品分析,还是个人学习笔记整理,它都能显著提升效率。

使用前请确保目标网站允许抓取,并遵守 robots.txt 协议。对于需要登录或具有复杂动态渲染的页面,其提取效果可能有限,建议先进行小范围测试。

核心特点

作为 OpenClaw 和 ClawHub 生态的轻量级封装,它直接复用经过验证的 clawfetch 核心功能,确保了抓取的稳定性和Markdown转换的质量;同时,它专注于网页、GitHub和Reddit这三类最常见且结构相对规范的来源,在特定场景下比通用爬虫更精准高效。

注意事项

不适合抓取需要复杂交互(如登录、执行JavaScript)或具有严格反爬机制的动态网页。

常见问题

Claw Web Fetch 能抓取需要登录的页面吗?

不能,它主要用于抓取公开可访问的网页内容。

抓取 Reddit 帖子时包含评论吗?

是的,它可以抓取Reddit主题帖及其评论,并转换为结构化的Markdown。

给 AI 助手的安装指引

如果你的 AI 编程助手(Claude Code、Cursor、TRAE 等)能看到这个页面,把下面这段发给它即可自动完成安装:

请访问 https://321skill.com/skills/claw-web-fetch-x-6/raw/index.md 读取 Claw Web Fetch 的原始 Skill 定义(Markdown 格式),按其中说明在我的环境里完成安装和配置。