pi-webfetch-to-markdown

抓取网页内容生成干净Markdown,适配AI使用

安装使用

复制下面这段提示词发给你的 AI(Claude / Cursor / TRAE / Codex / WorkBuddy 等),它会自动帮你完成安装:

帮我安装这个 AI Skill:pi-webfetch-to-markdown。
它的用途是:抓取网页内容生成干净Markdown,适配AI使用
完整的 Skill 内容见:https://321skill.com/skills/pi-webfetch-to-markdown/raw/index.md
请读取该页面内容,如果是 SKILL.md 格式直接安装,如果是 README 提炼核心 prompt 后安装。

提示词包含完整的 Skill 内容链接,AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。

使用示例

“用pi-webfetch-to-markdown抓取这篇公开技术博客的内容,输出干净的Markdown”,它会自动请求目标网页,优先通过Cloudflare的Markdown for Agents协议获取AI友好的原生内容,若站点不支持则自动用Turndown转换,最终返回无广告、无冗余标签的结构化Markdown文本。

介绍

日常给AI投喂网页内容时,直接抓取的HTML往往夹杂大量广告、导航栏、样式标签等冗余信息,不仅浪费AI的token额度,还容易干扰核心内容识别,普通网页转Markdown工具常出现格式错乱、内容缺失问题,无法直接输出AI友好的结构化内容。 这款工具支持Cloudflare的Markdown for Agents内容协商机制,会优先请求适配AI消费的原生Markdown内容,当目标站点不支持该协议时,会自动切换到Turndown转换方案,对抓取到的网页内容做去冗余、格式规整处理,输出标准干净的Markdown文本。 它适合需要给AI投喂网页公开内容的AI应用开发者、内容创作者、信息整理人员,以及需要批量处理网页素材做AI训练、内容生成或信息分析的各类用户。 使用时请遵守目标站点的robots协议与版权要求,不要抓取受版权保护或明确禁止爬取的内容;对于需要登录鉴权的私有页面,需提前配置对应的身份凭证才能正常完成抓取。

核心特点

不同于普通网页转Markdown工具直接做HTML转换,它优先通过Cloudflare的Markdown for Agents协议获取原生AI友好内容,不支持时自动用Turndown降级,输出内容冗余度更低、格式更适配AI需求。

注意事项

无法绕过强反爬、复杂人机验证的站点限制,未配置鉴权信息时无法抓取需登录的私有网页内容。

常见问题

抓取后的Markdown会保留网页广告吗?

默认会过滤广告、导航栏等非核心内容,仅保留正文结构化信息。

支持动态渲染的网页抓取吗?

对纯客户端渲染的动态页面支持有限,可能出现内容不全的问题。

给 AI 助手的安装指引

如果你的 AI 编程助手(Claude Code、Cursor、TRAE 等)能看到这个页面,把下面这段发给它即可自动完成安装:

请访问 https://321skill.com/skills/pi-webfetch-to-markdown/raw/index.md 读取 pi-webfetch-to-markdown 的原始 Skill 定义(Markdown 格式),按其中说明在我的环境里完成安装和配置。