Firehose Web Monitor

实时网页监控,Lucene规则匹配,SSE流交付

安装使用

复制下面这段提示词发给你的 AI(Claude / Cursor / TRAE / Codex / WorkBuddy 等),它会自动帮你完成安装:

帮我安装这个 AI Skill:Firehose Web Monitor。
它的用途是:实时网页监控,Lucene规则匹配,SSE流交付
完整的 Skill 内容见:https://321skill.com/skills/firehose-web-monitor-x-4/raw/index.md
请读取该页面内容,如果是 SKILL.md 格式直接安装,如果是 README 提炼核心 prompt 后安装。

提示词包含完整的 Skill 内容链接,AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。

使用示例

'我想监控某科技博客上所有包含“AI Agent”的新文章,帮我创建一个Firehose规则并通过SSE流接收。' 它会指导你注册Firehose账号、创建tap、编写Lucene查询规则(如 `content:"AI Agent" AND site:example.com`),然后提供SSE端点URL供你消费匹配结果。

介绍

Firehose Web Monitor 解决的是实时网页监控与数据抓取的问题。当你需要持续追踪特定网页内容的变化(如新闻更新、价格变动、竞品动态),但不想逐一手动检查或使用轮询方式时,它能通过你定义的 Lucene 查询规则,自动将每次爬取到的匹配页面通过 SSE(Server-Sent Events)流实时推送给你,实现零延迟的内容捕获。

使用方式非常直接:首先在 Firehose API 或 firehose.com 上创建“tap”(数据源),然后编写基于 Lucene 语法的匹配规则,最后通过 SSE 端点消费匹配结果流。整个过程无需部署复杂的爬虫基础设施,只需配置规则即可开始接收实时数据。

该工具适合需要实时监控网页内容的开发者、运维工程师和数据分析师。例如,监控新闻网站的文章更新、追踪社交媒体热点、监测竞品价格变动,或是收集特定关键词的公开信息。它也适用于需要快速搭建自定义内容监控管道的场景,尤其是当数据量较大且要求低延迟时。

使用建议:Lucene 查询语法虽然强大,但需要一定的学习成本,建议先在小规模数据上测试规则准确性。SSE 流适合长连接场景,注意处理断线重连和流控。另外,监控的网页需在 Firehose 爬虫覆盖范围内,对于极度动态或需要登录的页面可能不适用。

核心特点

与同类网页监控工具相比,Firehose 的核心优势在于直接使用 Lucene 查询语法定义规则,并通过 SSE 流实时推送匹配结果,无需配置复杂的数据管道或中间件,适合需要快速集成到现有系统或自定义处理逻辑的开发者。

注意事项

不支持页面 DOM 交互或 JavaScript 渲染内容,仅适用于 Firehose 爬虫已覆盖的公开网页。

常见问题

Firehose Web Monitor 支持哪些网页监控?

支持任何 Firehose 爬虫可访问的公开网页,通过 Lucene 查询规则匹配页面内容,实时推送 SSE 流。

如何创建监控规则?

通过 Firehose API 或 firehose.com 管理界面创建 tap,然后编写 Lucene 查询语句,例如 `title:AI AND content:最新` 来匹配包含特定关键词的页面。

给 AI 助手的安装指引

如果你的 AI 编程助手(Claude Code、Cursor、TRAE 等)能看到这个页面,把下面这段发给它即可自动完成安装:

请访问 https://321skill.com/skills/firehose-web-monitor-x-4/raw/index.md 读取 Firehose Web Monitor 的原始 Skill 定义(Markdown 格式),按其中说明在我的环境里完成安装和配置。