Scraper.is MCP

支持多格式输出与进度更新的网页抓取工具

安装使用

复制下面这段提示词发给你的 AI(Claude / Cursor / TRAE / Codex / WorkBuddy 等),它会自动帮你完成安装:

帮我安装这个 AI Skill:Scraper.is MCP。
它的用途是:支持多格式输出与进度更新的网页抓取工具
完整的 Skill 内容见:https://321skill.com/skills/scraper-is-mcp-scaperis-mcp/raw/index.md
请读取该页面内容,如果是 SKILL.md 格式直接安装,如果是 README 提炼核心 prompt 后安装。

提示词包含完整的 Skill 内容链接,AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。

使用示例

“帮我抓取这个竞品分析文章页面的主要内容,并整理成Markdown格式的要点摘要。”,它会调用Scraper.is MCP工具访问指定URL,解析页面正文,过滤广告和导航元素,然后将核心内容转换为结构清晰的Markdown文档并呈现给您,过程中还会显示抓取进度。

介绍

Scraper.is MCP 是一个专为AI Agent设计的网页抓取工具集成包,它解决了开发者和内容工作者在自动化流程中高效、结构化获取网页信息的核心需求。通过集成MCP(Model Context Protocol)协议,它允许AI助手直接调用强大的网页抓取能力,将任意网页内容转化为结构化数据。

使用时,您只需在支持的AI平台(如Claude Desktop)中配置好该MCP工具,即可在对话中直接发出抓取指令。工具会处理复杂的网页解析、反爬虫绕过和内容清洗工作,并以您指定的格式(如Markdown、JSON、纯文本)返回结果,同时提供实时进度反馈,让您清晰了解抓取状态。

它非常适合需要频繁从网页提取数据进行分析、创作或归档的各类专业人士,例如数据分析师、内容创作者、学术研究者和电商运营。无论是监控竞品信息、搜集行业报告,还是批量下载文章进行摘要,都能大幅提升效率。

建议在合法合规的前提下使用,尊重网站的Robots协议和版权。对于需要登录或具有复杂交互(如大量JavaScript渲染)的网页,可能需要配合其他工具或进行额外配置。定期检查工具的更新,以获取更好的兼容性和反反爬虫能力。

核心特点

与同类网页抓取工具相比,其核心优势在于原生支持MCP协议,能与Claude等AI助手深度集成,实现对话式抓取;同时提供多格式输出选项和实时进度更新功能,让数据获取过程更可控、结果更易用。

注意事项

不适合抓取需要复杂交互(如模拟登录、执行大量前端脚本)或受严格反爬机制保护的动态网页内容。

常见问题

支持抓取需要登录的网页吗?

不支持直接处理登录会话,抓取公开可访问的内容是其主要场景。

输出格式有哪些?

支持Markdown、JSON、纯文本等多种结构化格式,方便后续处理。

给 AI 助手的安装指引

如果你的 AI 编程助手(Claude Code、Cursor、TRAE 等)能看到这个页面,把下面这段发给它即可自动完成安装:

请访问 https://321skill.com/skills/scraper-is-mcp-scaperis-mcp/raw/index.md 读取 Scraper.is MCP 的原始 Skill 定义(Markdown 格式),按其中说明在我的环境里完成安装和配置。