Docs Scraper MCP
高效爬取并清理依赖文档，为AI处理提供结构化数据源。
安装使用
复制下面这段提示词发给你的 AI（Claude / Cursor / TRAE / Codex / WorkBuddy 等），它会自动帮你完成安装：
帮我安装这个 AI Skill：Docs Scraper MCP。 它的用途是：高效爬取并清理依赖文档，为AI处理提供结构化数据源。 完整的 Skill 内容见：https://321skill.com/skills/docs-scraper-mcp/raw/index.md 请读取该页面内容，如果是 SKILL.md 格式直接安装，如果是 README 提炼核心 prompt 后安装。
提示词包含完整的 Skill 内容链接，AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。
使用示例
“使用 Docs Scraper MCP 抓取并清理 React 官方文档中关于‘Hooks’的所有页面内容。”，它会自动访问指定章节的URL，提取出纯净的文本描述和代码示例，并整理成结构化的Markdown或JSON文件，方便你后续导入知识库或进行分析。
介绍
Docs Scraper MCP 是一款专为AI处理流程设计的文档抓取与清理工具。它解决了开发者在构建知识库、训练AI模型或进行文档分析时，需要从各种依赖文档（如API文档、技术手册）中高效获取结构化、高质量文本数据的痛点。
该工具通过预设的爬取策略和清理规则，能够自动化地从指定网页或文档源抓取内容，并去除无关的HTML标签、广告、导航栏等噪音信息，提取出核心的、适合AI理解和处理的纯文本或结构化数据。用户只需配置目标URL和简单的参数即可启动任务。
它非常适合需要批量处理技术文档、构建内部知识库或为AI应用准备训练数据的开发者、技术文档工程师和数据分析师。无论是为智能客服准备产品文档，还是为代码助手集成最新的API说明，都能显著提升数据准备的效率。
使用建议：在爬取前，请务必确认目标网站的服务条款（robots.txt），避免对服务器造成过大压力。对于动态加载（如JavaScript渲染）的复杂页面，可能需要结合其他工具进行预处理。清理规则可根据文档结构进行微调，以达到最佳效果。
核心特点
与通用网页爬虫相比，它内置了针对技术文档（如API文档、框架手册）结构的优化解析规则，能更精准地提取核心内容并剔除无关噪音；同时，其输出格式专门为下游AI处理（如嵌入、微调、RAG）进行了优化，减少了后续数据清洗的工作量。
注意事项
不适合爬取需要复杂交互（如登录后）或大量JavaScript动态渲染的网页内容。
常见问题
它能爬取需要登录的文档吗？
不能，它主要针对公开可访问的静态或简单动态文档页。
输出数据可以直接用于训练AI模型吗？
可以，经过清理后的结构化文本是训练语言模型或构建RAG系统的优质数据源。
给 AI 助手的安装指引
如果你的 AI 编程助手（Claude Code、Cursor、TRAE 等）能看到这个页面，把下面这段发给它即可自动完成安装：
请访问 https://321skill.com/skills/docs-scraper-mcp/raw/index.md 读取 Docs Scraper MCP 的原始 Skill 定义（Markdown 格式），按其中说明在我的环境里完成安装和配置。
AI 可直接读取的原始 Markdown 地址：/skills/docs-scraper-mcp/raw/index.md（查看排版版本）