MCP Smart Crawler
基于Playwright的小红书数据爬取与资源下载工具
安装使用
复制下面这段提示词发给你的 AI(Claude / Cursor / TRAE / Codex / WorkBuddy 等),它会自动帮你完成安装:
帮我安装这个 AI Skill:MCP Smart Crawler。 它的用途是:基于Playwright的小红书数据爬取与资源下载工具 完整的 Skill 内容见:https://321skill.com/skills/mcp-smart-crawler/raw/index.md 请读取该页面内容,如果是 SKILL.md 格式直接安装,如果是 README 提炼核心 prompt 后安装。
提示词包含完整的 Skill 内容链接,AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。
使用示例
“帮我爬取最近一周内关于‘露营装备’的Top 100篇小红书笔记,包括标题、点赞数、评论内容和首图。”,它会启动MCP Smart Crawler,自动模拟浏览器搜索关键词,滚动加载并提取指定数据,最后将结果整理成结构化文件供你分析。或者,你可以说:“下载这个小红书博主主页上所有视频。”,工具便会遍历其主页,批量下载视频资源到本地。
介绍
MCP Smart Crawler 是一款专注于小红书平台的MCP集成工具,旨在解决用户手动收集和分析小红书内容效率低下的问题。它通过自动化浏览器操作,能够高效地爬取笔记、用户信息、评论等公开数据,并支持下载图片、视频等多媒体资源。
用户可以通过配置简单的指令,让工具自动模拟浏览器行为访问小红书,根据关键词、用户主页或特定链接进行定向抓取。它能够处理登录状态、滚动加载等复杂交互,并将获取的结构化数据导出为JSON、CSV等格式,方便后续处理。
该工具特别适合需要批量获取小红书公开数据进行分析或创作的内容创作者、营销人员和数据分析师。对于需要监控竞品动态、追踪热点趋势或进行用户行为研究的团队来说,它能显著提升数据采集的效率和规模。
使用前请确保遵守小红书平台的Robots协议和服务条款,仅用于合法合规的数据分析目的。建议合理设置请求间隔,避免对目标服务器造成过大压力。由于平台反爬策略可能更新,需关注工具版本以保持兼容性。
核心特点
与通用爬虫工具相比,它深度集成了Playwright以完美模拟真实用户在小红书App内的交互行为(如滑动、点击),能有效绕过一些基于客户端行为的反爬机制。同时,它作为MCP工具,可以更便捷地与其他AI工作流集成,实现从数据采集到分析的自动化管道。
注意事项
不适合需要爬取大量私有、非公开或需要高级别账号权限才能访问的小红书内容。
常见问题
这个工具能爬取小红书上的私密笔记吗?
不能,它只能爬取平台上公开可见的数据和资源。
使用这个工具会被封号吗?
如果过度频繁请求或违反平台规则,存在风险。请合规使用,并设置合理的请求频率。
给 AI 助手的安装指引
如果你的 AI 编程助手(Claude Code、Cursor、TRAE 等)能看到这个页面,把下面这段发给它即可自动完成安装:
请访问 https://321skill.com/skills/mcp-smart-crawler/raw/index.md 读取 MCP Smart Crawler 的原始 Skill 定义(Markdown 格式),按其中说明在我的环境里完成安装和配置。
AI 可直接读取的原始 Markdown 地址:/skills/mcp-smart-crawler/raw/index.md(查看排版版本)