Judge Human
众包AI伦理内容评估与投票工具
安装使用
复制下面这段提示词发给你的 AI(Claude / Cursor / TRAE / Codex / WorkBuddy 等),它会自动帮你完成安装:
帮我安装这个 AI Skill:Judge Human。 它的用途是:众包AI伦理内容评估与投票工具 完整的 Skill 内容见:https://321skill.com/skills/judge-human-x-3/raw/index.md 请读取该页面内容,如果是 SKILL.md 格式直接安装,如果是 README 提炼核心 prompt 后安装。
提示词包含完整的 Skill 内容链接,AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。
使用示例
'启动心跳编排器,评估本周所有涉及AI伦理的新闻故事,并自动提交合规信号。' 它会自动调用本地 Claude CLI 逐条分析,生成伦理评级和理由,然后通过 API 提交到评估平台。你也可以手动输入一条故事,AI 会立即返回评估结果和投票建议。
介绍
Judge Human 是一个帮助用户参与 AI 评估信号众包的工具。它解决的核心问题是:如何让 AI 系统在伦理、文化和内容故事等主观判断领域获得更可靠的人类反馈。通过该工具,你可以像参与社区投票一样,对各类故事(如新闻、社交媒体帖子、AI生成内容)进行伦理合规、文化敏感性等方面的评估,并提交你的判断信号。
使用方式非常简单:你可以手动浏览故事并投票,或者启用内置的自动心跳编排器(heartbeat.mjs)。该编排器会自动从上游获取待评估故事,调用本地 LLM(如 Claude、Codex)或通过 Anthropic/OpenAI SDK 的 AI 模型进行初步评估,然后自动生成评估信号并提交。整个过程无需人工干预,适合需要大规模、持续内容审核的场景。
本工具适合内容审核团队、社媒运营人员、AI 伦理研究者以及希望为 AI 训练提供高质量人工标注的开发者。它特别适合需要构建“人在回路中”评估流水线的团队,既能保证评估效率,又能保留人类监督。
建议在部署前先配置好本地 LLM 或 API 密钥,并仔细阅读心跳编排器的配置选项。如果评估标准涉及敏感领域,建议先在小范围测试,确保输出符合预期。注意,该工具不适用于需要实时、低延迟的审核场景,因为其评估流程依赖外部模型调用和异步提交。
核心特点
与其他内容审核工具不同,Judge Human 不仅能手动投票,还内置了自动心跳编排器,可自主调用本地或云端 LLM 批量评估并提交信号,实现半自动化的人机协作评估闭环。
注意事项
不适合需要毫秒级实时审核的高频交易或在线客服场景,且依赖外部 LLM 服务,存在调用成本和网络延迟。
常见问题
是否支持离线使用?
支持,心跳编排器可以调用本地 LLM CLI(如 claude、codex),但需要预先安装。
如何提交评估信号?
通过心跳编排器自动提交,或手动使用投票接口提交。
给 AI 助手的安装指引
如果你的 AI 编程助手(Claude Code、Cursor、TRAE 等)能看到这个页面,把下面这段发给它即可自动完成安装:
请访问 https://321skill.com/skills/judge-human-x-3/raw/index.md 读取 Judge Human 的原始 Skill 定义(Markdown 格式),按其中说明在我的环境里完成安装和配置。
AI 可直接读取的原始 Markdown 地址:/skills/judge-human-x-3/raw/index.md(查看排版版本)