llm-reproducibility

基于大语言模型,自动化提取与评估学术论文的可复现性。

安装使用

复制下面这段提示词发给你的 AI(Claude / Cursor / TRAE / Codex / WorkBuddy 等),它会自动帮你完成安装:

帮我安装这个 AI Skill:llm-reproducibility。
它的用途是:基于大语言模型,自动化提取与评估学术论文的可复现性。
完整的 Skill 内容见:https://321skill.com/skills/llm-reproducibility/raw/index.md
请读取该页面内容,如果是 SKILL.md 格式直接安装,如果是 README 提炼核心 prompt 后安装。

提示词包含完整的 Skill 内容链接,AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。

使用示例

“请使用 research-assessor 技能,分析这篇关于古代农业的考古学论文,提取其核心研究主张、使用的方法学证据,并评估其数据透明度和方法描述的清晰度。” 它会引导你完成PDF文本提取,并运行多轮工作流,最终生成一份包含结构化提取结果和初步评估要点的报告。

介绍

该工具旨在解决学术研究,特别是田野调查类研究(如考古学、生态学)中,透明度、可复现性和可信度难以系统化评估的问题。传统上,人工审查这些要素耗时耗力且主观性强,本工具通过自动化流程,将非结构化的论文内容转化为结构化数据,为后续分析提供基础。

用户使用前需将PDF论文转换为Markdown文本,随后通过一个包含八个步骤(Pass)的自动化工作流进行处理。该工作流会依次提取论文的元数据、核心论点与证据、研究设计与方法、研究基础设施(如数据标识符)等信息,并最终进行完整性校验,生成结构化的JSON输出。

它非常适合需要批量审阅文献、评估研究质量或进行元分析的研究人员,尤其是人文、艺术和社会科学(HASS)领域关注方法论透明度的学者。对于希望复现他人计算分析结果的研究团队,其内置的Docker复现系统也能提供支持。

请注意,该工具目前主要针对田野调查类研究论文进行了验证,在处理高度理论化或纯数学推导的论文时效果可能有限。使用时应确保输入文本质量,并理解其评估框架(如repliCATS Seven Signals)的适用范围。

核心特点

与通用文献摘要工具不同,它深度聚焦于研究的“可复现性”维度,系统化提取研究设计、方法、协议及证据链等结构化信息,并集成了针对人文社科领域优化的评估框架(repliCATS Seven Signals),而非仅仅生成内容摘要。

注意事项

目前主要针对田野调查类研究论文(如考古、生态)进行了优化,对于高度理论化或形式化证明的论文处理效果可能不佳。

常见问题

这个工具能自动判断一篇论文是否可复现吗?

不能直接给出“是/否”的二元判断,但能系统化提取评估可复现性所需的所有关键要素(如方法细节、数据可用性),并依据特定框架(如repliCATS)提供结构化评估信号,辅助研究者做出判断。

支持哪些格式的论文输入?

主要支持PDF格式。需要先用内置脚本将PDF转换为Markdown文本,再输入给后续的提取工作流进行处理。

给 AI 助手的安装指引

如果你的 AI 编程助手(Claude Code、Cursor、TRAE 等)能看到这个页面,把下面这段发给它即可自动完成安装:

请访问 https://321skill.com/skills/llm-reproducibility/raw/index.md 读取 llm-reproducibility 的原始 Skill 定义(Markdown 格式),按其中说明在我的环境里完成安装和配置。