mcp
支持多格式与渲染方式的网页内容获取转换MCP工具
安装使用
复制下面这段提示词发给你的 AI(Claude / Cursor / TRAE / Codex / WorkBuddy 等),它会自动帮你完成安装:
帮我安装这个 AI Skill:mcp。 它的用途是:支持多格式与渲染方式的网页内容获取转换MCP工具 详细介绍见:https://321skill.com/skills/mcp-mcp-server-fetch-typescript/ 请根据该页面的说明完成安装。
使用示例
‘帮我把这个产品官网的技术文档页面抓取下来,转换成结构清晰的Markdown格式,方便我导入到知识库。’,它会调用此MCP工具,获取指定URL的页面内容,经过无头浏览器渲染确保动态内容加载完整,然后将其转换为格式良好的Markdown文档返回给你。
介绍
这个MCP工具旨在解决开发者在获取和转换网页内容时面临的格式单一、渲染方式受限等问题。它通过一个TypeScript实现的服务器,提供了灵活的内容抓取和转换能力。
使用时,开发者可以配置不同的参数来指定目标网页、期望的输出格式(如Markdown、纯文本或结构化数据)以及渲染方式(如无头浏览器渲染或直接获取),从而获取到经过清洗和转换后的内容。
它非常适合需要从网页中提取信息用于数据分析、内容聚合或自动化流程的开发者,特别是那些对数据格式和完整性有较高要求的场景。
建议在使用前明确目标网页的结构和反爬策略,合理设置请求间隔和渲染选项,以确保获取内容的稳定性和准确性。
核心特点
与同类网页抓取工具相比,它原生支持多种输出格式(如Markdown、纯文本、结构化数据)和渲染方式(如无头浏览器),并能通过MCP协议轻松集成到AI智能体工作流中,实现自动化内容处理。
注意事项
不适合需要绕过复杂反爬机制或抓取大量动态加载内容(如需要复杂交互才能显示)的网页。
常见问题
这个工具能抓取需要登录的网页吗?
目前主要支持公开可访问的网页,对需要登录的页面支持有限。
支持将网页内容转换成哪些格式?
支持转换为Markdown、纯文本、HTML片段以及JSON等结构化格式。