Sitemcp
一款支持自定义匹配和内容选择器的MCP网页抓取工具,专为文档博客检索设计。
安装使用
复制下面这段提示词发给你的 AI(Claude / Cursor / TRAE / Codex / WorkBuddy 等),它会自动帮你完成安装:
帮我安装这个 AI Skill:Sitemcp。 它的用途是:一款支持自定义匹配和内容选择器的MCP网页抓取工具,专为文档博客检索设计。 完整的 Skill 内容见:https://321skill.com/skills/sitemcp/raw/index.md 请读取该页面内容,如果是 SKILL.md 格式直接安装,如果是 README 提炼核心 prompt 后安装。
提示词包含完整的 Skill 内容链接,AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。
使用示例
“帮我在官方React文档中查找关于‘Hooks规则’的部分,并总结要点。”,Sitemcp会根据预配置的规则抓取React文档对应章节的纯净内容,提供给AI进行分析和总结。或者,你可以说:“持续监控某个技术博客,一旦有关于‘WebAssembly’的新文章就提取摘要给我。”
介绍
Sitemcp 是一款专为文档和博客内容检索设计的 MCP(Model Context Protocol)抓取工具。它解决了在信息检索过程中,通用爬虫难以精准定位和提取特定结构化内容(如API文档、技术博客章节)的痛点。
用户通过配置自定义的匹配规则和内容选择器(如CSS选择器、XPath),可以精确地告诉工具需要抓取网页的哪一部分内容,从而高效地构建起针对特定知识源的检索上下文。
它非常适合需要频繁查阅、整理或分析在线文档和博客内容的技术人员、研究者和内容创作者,帮助他们从海量网页信息中快速提取关键知识片段。
建议在使用前明确目标内容的结构,并利用浏览器的开发者工具预先测试选择器的准确性,以确保抓取效果。对于动态加载(如大量JavaScript渲染)的页面,可能需要结合其他工具或等待页面完全加载后再进行抓取。
核心特点
与通用网页抓取工具相比,Sitemcp深度集成MCP协议,能直接将抓取的结构化内容转化为AI可用的上下文;其核心在于高度可配置的内容选择器,允许用户像使用CSS选择器一样精准定位网页中的任何片段,而非抓取整个页面。
注意事项
不适合抓取需要复杂交互(如登录后)或大量JavaScript动态渲染的网页内容。
常见问题
Sitemcp能抓取需要登录的网站吗?
目前主要支持公开可访问的静态或简单动态页面,复杂登录和会话保持场景支持有限。
它和普通的爬虫工具有什么不同?
它专为MCP设计,抓取目的是为AI提供精准的上下文,而非批量下载数据,更注重内容片段的精确提取和格式化。
给 AI 助手的安装指引
如果你的 AI 编程助手(Claude Code、Cursor、TRAE 等)能看到这个页面,把下面这段发给它即可自动完成安装:
请访问 https://321skill.com/skills/sitemcp/raw/index.md 读取 Sitemcp 的原始 Skill 定义(Markdown 格式),按其中说明在我的环境里完成安装和配置。
AI 可直接读取的原始 Markdown 地址:/skills/sitemcp/raw/index.md(查看排版版本)