mcp
基于Node.js undici库的网页内容获取MCP工具。
安装使用
复制下面这段提示词发给你的 AI(Claude / Cursor / TRAE / Codex / WorkBuddy 等),它会自动帮你完成安装:
帮我安装这个 AI Skill:mcp。 它的用途是:基于Node.js undici库的网页内容获取MCP工具。 详细介绍见:https://321skill.com/skills/mcp-mcp-node-fetch/ 请根据该页面的说明完成安装。
使用示例
“帮我抓取一下科技新闻网站首页的今日头条标题和摘要。”,它会调用此Skill,访问指定URL,解析HTML结构,并返回格式化后的新闻标题和摘要文本。或者
对AI说:“获取某电商平台页面上的前10个商品名称和价格。”,它会执行抓取任务,并将结果以结构化的数据列表形式呈现给你。
介绍
这个Skill解决了AI智能体在开发或数据分析过程中,需要便捷、高效地从互联网获取结构化网页内容的痛点。它通过MCP协议,将基于Node.js undici库的强大网页抓取能力封装成一个标准化的工具,让AI可以直接调用。
使用时,AI智能体可以通过简单的指令,指定目标URL和需要提取的内容结构(如标题、正文、特定数据字段),该Skill便会执行抓取并返回清晰、格式化的结果,省去了手动编写和调试爬虫脚本的麻烦。
它非常适合需要集成实时网络数据源的智能体开发者、数据分析师以及进行市场调研或竞品分析的内容创作者。无论是构建需要外部数据输入的AI应用,还是快速搜集行业报告、新闻资讯进行分析,这个工具都能显著提升效率。
建议在使用前明确目标网站的可访问性和Robots协议,避免对目标服务器造成过大压力。对于需要登录或具有复杂反爬机制的网站,可能需要配合其他工具或进行额外配置。
核心特点
核心区别在于其专为MCP协议设计,能无缝集成到支持MCP的AI工作流中,提供标准化的网页内容获取接口;同时底层采用高性能的undici库,相比传统HTTP客户端在Node.js环境下有更好的请求效率和并发处理能力。
注意事项
不适合抓取需要复杂交互(如登录、执行JavaScript)的动态网页内容。
常见问题
这个工具能抓取需要登录才能查看的网页吗?
不能,它主要用于抓取公开可访问的静态网页内容。
抓取速度如何?会不会被封IP?
基于高性能undici库,速度较快,但请合理设置请求频率,遵守robots.txt,避免被封。