Scraper.is MCP
支持多格式输出与进度更新的网页抓取工具
安装使用
复制下面这段提示词发给你的 AI(Claude / Cursor / TRAE / Codex / WorkBuddy 等),它会自动帮你完成安装:
帮我安装这个 AI Skill:Scraper.is MCP。 它的用途是:支持多格式输出与进度更新的网页抓取工具 完整的 Skill 内容见:https://321skill.com/skills/scraper-is-mcp-scaperis-mcp/raw/index.md 请读取该页面内容,如果是 SKILL.md 格式直接安装,如果是 README 提炼核心 prompt 后安装。
提示词包含完整的 Skill 内容链接,AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。
使用示例
“帮我抓取这个竞品分析文章页面的主要内容,并整理成Markdown格式的要点摘要。”,它会调用Scraper.is MCP工具访问指定URL,解析页面正文,过滤广告和导航元素,然后将核心内容转换为结构清晰的Markdown文档并呈现给您,过程中还会显示抓取进度。
介绍
Scraper.is MCP 是一个专为AI Agent设计的网页抓取工具集成包,它解决了开发者和内容工作者在自动化流程中高效、结构化获取网页信息的核心需求。通过集成MCP(Model Context Protocol)协议,它允许AI助手直接调用强大的网页抓取能力,将任意网页内容转化为结构化数据。
使用时,您只需在支持的AI平台(如Claude Desktop)中配置好该MCP工具,即可在对话中直接发出抓取指令。工具会处理复杂的网页解析、反爬虫绕过和内容清洗工作,并以您指定的格式(如Markdown、JSON、纯文本)返回结果,同时提供实时进度反馈,让您清晰了解抓取状态。
它非常适合需要频繁从网页提取数据进行分析、创作或归档的各类专业人士,例如数据分析师、内容创作者、学术研究者和电商运营。无论是监控竞品信息、搜集行业报告,还是批量下载文章进行摘要,都能大幅提升效率。
建议在合法合规的前提下使用,尊重网站的Robots协议和版权。对于需要登录或具有复杂交互(如大量JavaScript渲染)的网页,可能需要配合其他工具或进行额外配置。定期检查工具的更新,以获取更好的兼容性和反反爬虫能力。
核心特点
与同类网页抓取工具相比,其核心优势在于原生支持MCP协议,能与Claude等AI助手深度集成,实现对话式抓取;同时提供多格式输出选项和实时进度更新功能,让数据获取过程更可控、结果更易用。
注意事项
不适合抓取需要复杂交互(如模拟登录、执行大量前端脚本)或受严格反爬机制保护的动态网页内容。
常见问题
支持抓取需要登录的网页吗?
不支持直接处理登录会话,抓取公开可访问的内容是其主要场景。
输出格式有哪些?
支持Markdown、JSON、纯文本等多种结构化格式,方便后续处理。
给 AI 助手的安装指引
如果你的 AI 编程助手(Claude Code、Cursor、TRAE 等)能看到这个页面,把下面这段发给它即可自动完成安装:
请访问 https://321skill.com/skills/scraper-is-mcp-scaperis-mcp/raw/index.md 读取 Scraper.is MCP 的原始 Skill 定义(Markdown 格式),按其中说明在我的环境里完成安装和配置。
AI 可直接读取的原始 Markdown 地址:/skills/scraper-is-mcp-scaperis-mcp/raw/index.md(查看排版版本)