claude-code-skill-scrapling
Claude Code 的智能网页抓取技能，自动选择最佳抓取器并绕过 Cloudflare。
安装使用
复制下面这段提示词发给你的 AI（Claude / Cursor / TRAE / Codex / WorkBuddy 等），它会自动帮你完成安装：
帮我安装这个 AI Skill：claude-code-skill-scrapling。 它的用途是：Claude Code 的智能网页抓取技能，自动选择最佳抓取器并绕过 Cloudflare。 完整的 Skill 内容见：https://321skill.com/skills/claude-code-skill-scrapling/raw/index.md 请读取该页面内容，如果是 SKILL.md 格式直接安装，如果是 README 提炼核心 prompt 后安装。
提示词包含完整的 Skill 内容链接，AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。
使用示例
“帮我抓取 https://example.com/shop 页面上所有商品的名字和价格，这个网站好像有 Cloudflare 保护。”，它会自动识别网站防护，选择 StealthyFetcher 生成绕过 Cloudflare 的 Python 抓取脚本。或者说：“我需要登录到 https://internal.example.com 然后下载所有 PDF 报告。”，它会引导你使用 Cookie 保险库设置登录会话，并生成带身份验证的多页面抓取代码。
介绍
这个技能解决了开发者在进行网页抓取和数据提取时遇到的复杂问题，如网站反爬机制（尤其是 Cloudflare 保护）、动态内容加载以及需要登录才能访问的页面。它通过集成 Scrapling 库，将复杂的抓取逻辑封装成简单的对话指令，让 Claude Code 能够自动化处理这些技术难题。
使用时，你只需在 Claude Code 中描述你的抓取需求，例如“抓取某个网站的所有产品价格”或“提取需要登录才能查看的文章内容”。技能会根据目标网站的特征，自动决策并调用最合适的抓取器（如普通 Fetcher、StealthyFetcher 或带会话的 FetcherSession），生成相应的 Python 脚本或直接使用 Scrapling CLI 命令来完成任务。
它非常适合需要从网页中批量获取数据但又不想深入研究各种反爬对策和网络库的开发者、数据分析师和内容运营人员。无论是为了分析竞品信息、收集市场数据，还是自动化内容聚合，这个技能都能显著降低技术门槛。
建议在使用前，先通过简单的 CLI 命令（如 scrapling extract get）测试目标网站的可访问性。对于需要登录的网站，可以利用技能提供的 Cookie 保险库模板安全地管理会话。注意，请始终遵守目标网站的 robots.txt 协议和服务条款，合理控制请求频率，避免对目标服务器造成过大压力。
核心特点
核心区别在于其内置的“抓取器决策树”，能根据网站特征（如是否受 Cloudflare 保护、是否为单页应用）自动选择最合适的底层抓取器（Fetcher, StealthyFetcher, DynamicFetcher 等），无需用户手动判断和配置；同时提供了针对常见网站类型（如 Discourse、静态博客）的复用模式库，大幅提升了复杂场景下的抓取成功率。
注意事项
不适合需要处理高度动态、依赖复杂用户交互（如游戏）或采用非常规强验证机制（如高级行为分析）的网站抓取。
常见问题
这个技能能绕过所有网站的 Cloudflare 吗？
集成了 StealthyFetcher (Camoufox) 来应对常见的 Cloudflare 挑战，但对不断升级的极端防护措施可能仍需手动调整。
抓取需要登录的网站安全吗？
技能支持通过本地 Cookie 保险库模板安全存储登录凭证，并提供了安全指南，但用户需自行负责敏感信息的管理，切勿提交到代码仓库。
给 AI 助手的安装指引
如果你的 AI 编程助手（Claude Code、Cursor、TRAE 等）能看到这个页面，把下面这段发给它即可自动完成安装：
请访问 https://321skill.com/skills/claude-code-skill-scrapling/raw/index.md 读取 claude-code-skill-scrapling 的原始 Skill 定义（Markdown 格式），按其中说明在我的环境里完成安装和配置。
AI 可直接读取的原始 Markdown 地址：/skills/claude-code-skill-scrapling/raw/index.md（查看排版版本）