unbrowser
无需启动浏览器,低成本进行网页初步探索与数据提取。
安装使用
复制下面这段提示词发给你的 AI(Claude / Cursor / TRAE / Codex / WorkBuddy 等),它会自动帮你完成安装:
帮我安装这个 AI Skill:unbrowser。 它的用途是:无需启动浏览器,低成本进行网页初步探索与数据提取。 完整的 Skill 内容见:https://321skill.com/skills/unbrowser-x/raw/index.md 请读取该页面内容,如果是 SKILL.md 格式直接安装,如果是 README 提炼核心 prompt 后安装。
提示词包含完整的 Skill 内容链接,AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。
使用示例
‘使用unbrowser帮我抓取 example.com 网站的所有链接和表单,并看看有没有隐藏的API端点。’ 它会调用unbrowser工具,向目标网站发送请求,解析HTML和有限JS,然后返回一个包含所有发现的路由、表单字段和潜在API端点URL的结构化列表。
介绍
unbrowser 解决了在传统网页爬取或自动化测试中,需要启动完整浏览器(如Chrome)所带来的高资源消耗和速度瓶颈问题。它允许开发者在不启动真实浏览器的情况下,获取服务端渲染(SSR)页面、执行有限的JavaScript、发现网站的路由、表单和API端点,并提取结构化数据。
使用 unbrowser 时,你可以通过简单的命令或API调用,指定目标URL,它便会模拟一个轻量级的“无头”环境来获取和解析页面内容。它能够处理基础的JavaScript执行,以发现动态加载的链接或数据,同时还能检测网站是否设置了针对机器人的防护墙(bot-wall)或需要真实浏览器才能访问的升级点。
这个工具非常适合需要快速、批量地对大量网站进行初步侦察、数据抓取或安全审计的开发者、安全研究员和数据分析师。它尤其适用于在资源受限的环境(如服务器、CI/CD流水线)中运行,或者当需要处理的任务规模庞大,使用完整浏览器不切实际时。
建议将其作为工作流的第一步,用于快速筛选目标、收集初步信息或验证网站的可访问性。对于需要复杂交互(如登录、填写多步表单、执行复杂前端逻辑)或渲染完整单页应用(SPA)的场景,可能需要结合其他更强大的浏览器自动化工具。使用时请注意遵守目标网站的Robots协议和相关法律法规。
核心特点
与需要启动完整浏览器实例的工具(如Puppeteer、Selenium)相比,unbrowser通过模拟请求和有限JS执行,实现了极低的内存和CPU消耗,速度更快,更适合大规模、批量的初步侦察任务。与纯HTTP请求库(如axios、requests)相比,它能处理基础的JavaScript,从而发现更多动态内容。
注意事项
不适合需要完整浏览器环境进行复杂交互(如登录、点击、滚动)或渲染高度动态单页应用(SPA)的场景。
常见问题
unbrowser能绕过Cloudflare等反爬虫吗?
不能,它主要用于初步发现,遇到复杂反爬(如Cloudflare挑战)可能需要更高级的工具。
unbrowser能替代Puppeteer吗?
不能完全替代,它适合低成本、大规模的初步扫描,复杂交互和渲染仍需Puppeteer等完整浏览器工具。
给 AI 助手的安装指引
如果你的 AI 编程助手(Claude Code、Cursor、TRAE 等)能看到这个页面,把下面这段发给它即可自动完成安装:
请访问 https://321skill.com/skills/unbrowser-x/raw/index.md 读取 unbrowser 的原始 Skill 定义(Markdown 格式),按其中说明在我的环境里完成安装和配置。
AI 可直接读取的原始 Markdown 地址:/skills/unbrowser-x/raw/index.md(查看排版版本)