pi-webfetch-to-markdown
抓取网页内容生成干净Markdown,适配AI使用
安装使用
复制下面这段提示词发给你的 AI(Claude / Cursor / TRAE / Codex / WorkBuddy 等),它会自动帮你完成安装:
帮我安装这个 AI Skill:pi-webfetch-to-markdown。 它的用途是:抓取网页内容生成干净Markdown,适配AI使用 完整的 Skill 内容见:https://321skill.com/skills/pi-webfetch-to-markdown/raw/index.md 请读取该页面内容,如果是 SKILL.md 格式直接安装,如果是 README 提炼核心 prompt 后安装。
提示词包含完整的 Skill 内容链接,AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。
使用示例
“用pi-webfetch-to-markdown抓取这篇公开技术博客的内容,输出干净的Markdown”,它会自动请求目标网页,优先通过Cloudflare的Markdown for Agents协议获取AI友好的原生内容,若站点不支持则自动用Turndown转换,最终返回无广告、无冗余标签的结构化Markdown文本。
介绍
日常给AI投喂网页内容时,直接抓取的HTML往往夹杂大量广告、导航栏、样式标签等冗余信息,不仅浪费AI的token额度,还容易干扰核心内容识别,普通网页转Markdown工具常出现格式错乱、内容缺失问题,无法直接输出AI友好的结构化内容。 这款工具支持Cloudflare的Markdown for Agents内容协商机制,会优先请求适配AI消费的原生Markdown内容,当目标站点不支持该协议时,会自动切换到Turndown转换方案,对抓取到的网页内容做去冗余、格式规整处理,输出标准干净的Markdown文本。 它适合需要给AI投喂网页公开内容的AI应用开发者、内容创作者、信息整理人员,以及需要批量处理网页素材做AI训练、内容生成或信息分析的各类用户。 使用时请遵守目标站点的robots协议与版权要求,不要抓取受版权保护或明确禁止爬取的内容;对于需要登录鉴权的私有页面,需提前配置对应的身份凭证才能正常完成抓取。
核心特点
不同于普通网页转Markdown工具直接做HTML转换,它优先通过Cloudflare的Markdown for Agents协议获取原生AI友好内容,不支持时自动用Turndown降级,输出内容冗余度更低、格式更适配AI需求。
注意事项
无法绕过强反爬、复杂人机验证的站点限制,未配置鉴权信息时无法抓取需登录的私有网页内容。
常见问题
抓取后的Markdown会保留网页广告吗?
默认会过滤广告、导航栏等非核心内容,仅保留正文结构化信息。
支持动态渲染的网页抓取吗?
对纯客户端渲染的动态页面支持有限,可能出现内容不全的问题。
给 AI 助手的安装指引
如果你的 AI 编程助手(Claude Code、Cursor、TRAE 等)能看到这个页面,把下面这段发给它即可自动完成安装:
请访问 https://321skill.com/skills/pi-webfetch-to-markdown/raw/index.md 读取 pi-webfetch-to-markdown 的原始 Skill 定义(Markdown 格式),按其中说明在我的环境里完成安装和配置。
AI 可直接读取的原始 Markdown 地址:/skills/pi-webfetch-to-markdown/raw/index.md(查看排版版本)