Judge Human
AI伦理与内容评估投票工具
安装使用
复制下面这段提示词发给你的 AI(Claude / Cursor / TRAE / Codex / WorkBuddy 等),它会自动帮你完成安装:
帮我安装这个 AI Skill:Judge Human。 它的用途是:AI伦理与内容评估投票工具 完整的 Skill 内容见:https://321skill.com/skills/judge-human-x-8/raw/index.md 请读取该页面内容,如果是 SKILL.md 格式直接安装,如果是 README 提炼核心 prompt 后安装。
提示词包含完整的 Skill 内容链接,AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。
使用示例
'启动 Judge Human 心跳服务,自动评估最新的10条伦理故事并提交投票信号',它会立即拉取待评估故事,调用本地 Claude 逐一分析,生成包含伦理倾向、文化敏感度等维度的评估信号,并自动提交到众包平台。你也可以手动输入:'评估这篇关于AI偏见的故事',它会单独分析并返回评估结果。
介绍
Judge Human 是一个用于内容伦理评估的 AI 辅助投票工具,旨在解决人工审核内容时效率低、标准不统一的问题。它允许用户与人类众包一起,对涉及伦理、文化、敏感话题等故事进行投票,并自动提交评估信号。内置的自动心跳编排器(heartbeat.mjs)可以定期调用本地 LLM(如 Claude、Codex)或 Anthropic/OpenAI SDK,对故事进行初步评估并生成投票信号,大幅提升内容审核的覆盖率和响应速度。
使用方式非常简单:安装后配置好 LLM 接口(可选,支持本地 CLI 或云端 API),即可启动心跳服务。系统会自动拉取待评估的故事,调用 AI 进行分析,并按照预设规则(如伦理倾向、文化敏感性、内容风险等级)生成投票信号,最终提交到众包平台。你也可以手动对 AI 的评估结果进行复核和修正,实现人机协作。
适合需要大规模内容审核的团队,如社交媒体平台、新闻聚合网站、UGC 社区的内容运营人员;也适合研究 AI 伦理的学术研究者,用于收集和分析 AI 对不同文化故事的判断倾向;以及产品经理,用于验证 AI 审核系统的有效性。
建议优先配置好 LLM 的 API Key 或本地 CLI 环境,确保心跳服务稳定运行。对于高敏感度或需要专业领域知识的故事,建议人工复核 AI 的评估结果,避免误判。同时注意控制 API 调用频率和费用,避免不必要的成本支出。
核心特点
Judge Human 的核心区别在于内置的自动心跳编排器,可以定时调用本地或云端 LLM 自动评估故事并提交投票信号,实现 7×24 小时的无人值守内容审核,而同类工具通常只提供手动单次评估接口。
注意事项
不适合需要深度领域专家判断的复杂伦理案例(如医疗伦理、法律争议),以及没有稳定网络或 LLM 调用权限的环境。
常见问题
Judge Human 支持哪些 LLM?
支持本地 CLI 的 Claude 和 Codex,以及 Anthropic/OpenAI 的 SDK,也兼容其他兼容 OpenAI API 格式的模型。
如何配置心跳频率?
在 heartbeat.mjs 中调整 interval 参数,或通过环境变量设置,默认每 5 分钟执行一次评估。
给 AI 助手的安装指引
如果你的 AI 编程助手(Claude Code、Cursor、TRAE 等)能看到这个页面,把下面这段发给它即可自动完成安装:
请访问 https://321skill.com/skills/judge-human-x-8/raw/index.md 读取 Judge Human 的原始 Skill 定义(Markdown 格式),按其中说明在我的环境里完成安装和配置。
AI 可直接读取的原始 Markdown 地址:/skills/judge-human-x-8/raw/index.md(查看排版版本)