xfetch
专为LLM设计的网页内容获取与转换工具
安装使用
复制下面这段提示词发给你的 AI(Claude / Cursor / TRAE / Codex / WorkBuddy 等),它会自动帮你完成安装:
帮我安装这个 AI Skill:xfetch。 它的用途是:专为LLM设计的网页内容获取与转换工具 完整的 Skill 内容见:https://321skill.com/skills/xfetch/raw/index.md 请读取该页面内容,如果是 SKILL.md 格式直接安装,如果是 README 提炼核心 prompt 后安装。
提示词包含完整的 Skill 内容链接,AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。
使用示例
“帮我抓取并总结一下GitHub上关于MCP的最新趋势文章。”,它会通过xfetch获取指定网页的正文内容,去除广告和导航等干扰信息,将核心内容转换为清晰的文本格式,然后为你生成一份简洁的摘要。
介绍
xfetch 是一个专为大型语言模型设计的MCP工具,主要解决LLM在获取和处理网页内容时遇到的障碍。许多网页设有反爬虫机制或采用复杂的前端渲染,导致LLM难以直接读取有效信息,xfetch通过其内置的解析和转换能力,能够突破这些防护,稳定地提取网页的文本、结构化数据等内容。
使用xfetch时,你只需通过MCP协议将其集成到你的AI开发环境中,然后向你的AI助手发出获取网页内容的指令即可。它作为后端服务运行,处理复杂的网络请求和内容解析,并将清洗后的、适合LLM处理的格式(如Markdown、纯文本或JSON)返回给你的AI应用。
这个工具非常适合需要让AI自动处理网络信息的开发者,例如构建需要实时分析新闻、监控竞品网站、或从网页中抽取数据用于分析的智能体。它降低了开发此类功能的技术门槛。
建议在使用前了解目标网站的服务条款,避免高频请求。对于需要登录或高度动态交互的网页(如单页应用),可能需要结合其他工具或配置更复杂的抓取策略。
核心特点
与通用爬虫库不同,xfetch专为LLM场景优化,内置了内容清洗和格式转换功能,能将网页内容转换为更适合LLM理解和消耗的格式(如精简的Markdown),同时其“突破防护”的特性针对常见的反爬措施进行了适配。
注意事项
不适合需要模拟完整用户交互(如点击、滚动)或处理需要复杂JavaScript渲染才能显示内容的动态网页。
常见问题
xfetch能抓取需要登录的网页吗?
通常不支持,它主要针对公开可访问的网页内容获取。
xfetch提取的内容格式是什么?
默认会转换为适合LLM处理的格式,如Markdown或纯文本,以减少无关噪音。
给 AI 助手的安装指引
如果你的 AI 编程助手(Claude Code、Cursor、TRAE 等)能看到这个页面,把下面这段发给它即可自动完成安装:
请访问 https://321skill.com/skills/xfetch/raw/index.md 读取 xfetch 的原始 Skill 定义(Markdown 格式),按其中说明在我的环境里完成安装和配置。
AI 可直接读取的原始 Markdown 地址:/skills/xfetch/raw/index.md(查看排版版本)