Sitemcp

一款支持自定义匹配和内容选择器的MCP网页抓取工具,专为文档博客检索设计。

安装使用

复制下面这段提示词发给你的 AI(Claude / Cursor / TRAE / Codex / WorkBuddy 等),它会自动帮你完成安装:

帮我安装这个 AI Skill:Sitemcp。
它的用途是:一款支持自定义匹配和内容选择器的MCP网页抓取工具,专为文档博客检索设计。
完整的 Skill 内容见:https://321skill.com/skills/sitemcp/raw/index.md
请读取该页面内容,如果是 SKILL.md 格式直接安装,如果是 README 提炼核心 prompt 后安装。

提示词包含完整的 Skill 内容链接,AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。

使用示例

“帮我在官方React文档中查找关于‘Hooks规则’的部分,并总结要点。”,Sitemcp会根据预配置的规则抓取React文档对应章节的纯净内容,提供给AI进行分析和总结。或者,你可以说:“持续监控某个技术博客,一旦有关于‘WebAssembly’的新文章就提取摘要给我。”

介绍

Sitemcp 是一款专为文档和博客内容检索设计的 MCP(Model Context Protocol)抓取工具。它解决了在信息检索过程中,通用爬虫难以精准定位和提取特定结构化内容(如API文档、技术博客章节)的痛点。

用户通过配置自定义的匹配规则和内容选择器(如CSS选择器、XPath),可以精确地告诉工具需要抓取网页的哪一部分内容,从而高效地构建起针对特定知识源的检索上下文。

它非常适合需要频繁查阅、整理或分析在线文档和博客内容的技术人员、研究者和内容创作者,帮助他们从海量网页信息中快速提取关键知识片段。

建议在使用前明确目标内容的结构,并利用浏览器的开发者工具预先测试选择器的准确性,以确保抓取效果。对于动态加载(如大量JavaScript渲染)的页面,可能需要结合其他工具或等待页面完全加载后再进行抓取。

核心特点

与通用网页抓取工具相比,Sitemcp深度集成MCP协议,能直接将抓取的结构化内容转化为AI可用的上下文;其核心在于高度可配置的内容选择器,允许用户像使用CSS选择器一样精准定位网页中的任何片段,而非抓取整个页面。

注意事项

不适合抓取需要复杂交互(如登录后)或大量JavaScript动态渲染的网页内容。

常见问题

Sitemcp能抓取需要登录的网站吗?

目前主要支持公开可访问的静态或简单动态页面,复杂登录和会话保持场景支持有限。

它和普通的爬虫工具有什么不同?

它专为MCP设计,抓取目的是为AI提供精准的上下文,而非批量下载数据,更注重内容片段的精确提取和格式化。

给 AI 助手的安装指引

如果你的 AI 编程助手(Claude Code、Cursor、TRAE 等)能看到这个页面,把下面这段发给它即可自动完成安装:

请访问 https://321skill.com/skills/sitemcp/raw/index.md 读取 Sitemcp 的原始 Skill 定义(Markdown 格式),按其中说明在我的环境里完成安装和配置。