fetcher
基于Playwright的网页内容抓取服务器,集成AI高效提取信息。
安装使用
复制下面这段提示词发给你的 AI(Claude / Cursor / TRAE / Codex / WorkBuddy 等),它会自动帮你完成安装:
帮我安装这个 AI Skill:fetcher。 它的用途是:基于Playwright的网页内容抓取服务器,集成AI高效提取信息。 详细介绍见:https://321skill.com/skills/fetcher/ 请根据该页面的说明完成安装。
使用示例
“帮我分析一下某电商平台页面上的热门商品列表,包括价格和销量趋势。”,它会通过 fetcher 抓取目标页面,然后提取并结构化商品信息,最后生成一份简要的分析报告。或者,你可以说:“抓取这个技术博客的最新三篇文章标题和摘要给我。”
介绍
fetcher Skill 旨在解决传统网页抓取工具难以处理复杂动态页面、反爬机制以及信息提取效率低下的问题。它通过集成 Playwright 无头浏览器,能够模拟真实用户行为,稳定抓取各类网页的完整内容,包括 JavaScript 渲染的动态数据。
使用时,您需要先部署 fetcher 服务器,然后在您的 AI 应用(如 Claude Desktop)中配置 MCP 客户端连接到此服务器。之后,您就可以在 AI 对话中直接请求抓取和分析指定网页的内容,AI 将调用 fetcher 获取原始数据并进行智能处理。
该 Skill 特别适合需要从网页中快速、准确地获取结构化或非结构化数据,并希望与 AI 分析能力无缝结合的用户。无论是市场调研、竞品分析还是数据收集,都能大幅提升效率。
建议在使用时注意目标网站的 robots.txt 协议,避免高频请求对目标服务器造成压力。对于需要登录或涉及复杂交互的页面,可能需要额外的配置。抓取的数据请遵守相关法律法规和网站的使用条款。
核心特点
与简单 HTTP 请求抓取工具相比,fetcher 基于 Playwright,能完美处理 SPA(单页应用)等动态渲染页面;与通用爬虫框架相比,它深度集成 MCP 协议,让 AI 能直接、安全地调用抓取能力进行后续分析,形成了“抓取-理解”的一体化流水线。
注意事项
不适合需要绕过高级反爬机制(如验证码、指纹识别)或进行大规模分布式爬取的场景。
常见问题
fetcher 能抓取需要登录的页面吗?
可以,但需要在 Playwright 配置中预先设置好认证状态或 Cookie。
抓取速度如何?
由于使用无头浏览器,初始化和页面加载需要一定时间,适合对内容完整性要求高、对实时性要求不极端的场景。