unbrowser
无需浏览器即可快速抓取网页并提取结构化数据
安装使用
复制下面这段提示词发给你的 AI(Claude / Cursor / TRAE / Codex / WorkBuddy 等),它会自动帮你完成安装:
帮我安装这个 AI Skill:unbrowser。 它的用途是:无需浏览器即可快速抓取网页并提取结构化数据 完整的 Skill 内容见:https://321skill.com/skills/unbrowser-x-4/raw/index.md 请读取该页面内容,如果是 SKILL.md 格式直接安装,如果是 README 提炼核心 prompt 后安装。
提示词包含完整的 Skill 内容链接,AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。
使用示例
'帮我用 unbrowser 扫描 https://example.com,找出所有表单端点和内联 API 路径。' 它会执行 `unbrowser scan https://example.com`,返回包含表单 action、method、字段名以及页面中出现的 JSON 接口路径的 JSON 数据。你也可以说:'分析这个网站的路由结构,输出所有二级页面链接。' 它会自动爬取并生成路由清单。
介绍
在Web开发、竞品分析或安全审计中,抓取网页数据往往需要启动完整的浏览器,这会消耗大量资源且速度慢。unbrowser 提供了一种轻量级替代方案:它不启动 Chrome 等完整浏览器,而是直接获取服务端渲染(SSR)的页面内容,运行有限的 JavaScript(如绑定事件、动态加载的脚本),从而快速发现路由、表单、API 端点,并提取结构化数据(如表格、列表、元数据)。同时,它还能检测页面是否设置了 Bot 防护墙或仅限浏览器访问的升级点,帮助你判断是否需要切换到真实浏览器。
使用非常简单:将目标 URL 传递给 unbrowser,它会自动执行发现流程。你可以通过命令行或编程接口调用,指定需要提取的数据类型(如所有链接、表单字段、JSON 端点),或让工具自动分析页面结构。输出结果以 JSON 格式呈现,便于后续处理。例如,输入 unbrowser scan https://example.com 即可获得该页面的路由列表、表单端点、内联脚本和可能的 API 路径。
适合前端开发人员快速分析页面结构,后端开发人员搜集 API 文档,数据分析师批量采集公开数据,以及安全研究人员做初步的 Web 资产发现。对于需要频繁抓取大量页面但不想启动昂贵浏览器的场景,unbrowser 是最佳选择。
建议在目标网站允许的范围内使用,避免对服务器造成过大压力。如果页面依赖大量客户端 JavaScript 渲染(如 SPA 应用),或需要登录态、Cookie 才能访问,则需要配合其他工具或使用真实浏览器。unbrowser 更适合作为“第一遍快速扫描”工具,帮你快速定位关键信息,再决定是否深入。
核心特点
同类工具(如 Puppeteer、Playwright)需要启动完整浏览器,而 unbrowser 通过直接请求 SSR 内容并执行有限 JS,在保持轻量级的同时还能检测 Bot 墙和浏览器独占内容,大幅降低资源消耗和扫描时间。
注意事项
无法处理重度依赖客户端渲染(如 Vue/React 纯客户端应用)或需要复杂交互(如登录、滚动加载)的页面。
常见问题
unbrowser 能抓取单页应用(SPA)吗?
只能抓取服务端渲染(SSR)的部分,如果页面内容完全由客户端 JS 动态生成,则无法获取完整数据。
如何检测页面是否设置了 Bot 防护?
unbrowser 会自动分析页面返回的状态码、响应头、脚本特征,如果发现类似 Cloudflare 验证码或 JS 挑战,会标记为 Bot 墙。
给 AI 助手的安装指引
如果你的 AI 编程助手(Claude Code、Cursor、TRAE 等)能看到这个页面,把下面这段发给它即可自动完成安装:
请访问 https://321skill.com/skills/unbrowser-x-4/raw/index.md 读取 unbrowser 的原始 Skill 定义(Markdown 格式),按其中说明在我的环境里完成安装和配置。
AI 可直接读取的原始 Markdown 地址:/skills/unbrowser-x-4/raw/index.md(查看排版版本)