lmms-eval
统一、高效、可信赖的多模态大模型评估工具包
安装使用
复制下面这段提示词发给你的 AI（Claude / Cursor / TRAE / Codex / WorkBuddy 等），它会自动帮你完成安装：
帮我安装这个 AI Skill：lmms-eval。 它的用途是：统一、高效、可信赖的多模态大模型评估工具包 完整的 Skill 内容见：https://321skill.com/skills/lmms-eval/raw/index.md 请读取该页面内容，如果是 SKILL.md 格式直接安装，如果是 README 提炼核心 prompt 后安装。
提示词包含完整的 Skill 内容链接，AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。
使用示例
“我想比较模型A和模型B在视觉问答任务上的性能差异。”，它会引导你使用LMMs-Eval，通过配置任务和模型路径，自动运行标准化的评估流程，并生成一份包含准确率、置信区间等详细指标的对比报告，帮助你做出客观的技术决策。
介绍
LMMs-Eval 旨在解决当前多模态大模型评估领域存在的生态碎片化问题。传统的评估方式往往面临数据集分散、后处理不一致、结果难以复现等挑战，导致不同团队对同一模型在同一基准上的评估结果可能大相径庭，无法为模型研发提供可靠指导。
该工具包提供了一个统一的评估流水线，支持对图像、视频等多种模态的模型进行大规模、可复现的基准测试。用户可以通过简单的配置和命令行，快速启动对30多种前沿模型在100多个任务上的评估，并获得包含置信区间等统计信息的详细报告。其内置的异步服务、自适应批处理和优化的视频I/O机制，确保了评估过程的高效性。
它主要面向从事多模态大模型研发、评测和研究的学术研究者、算法工程师以及希望客观比较不同模型能力的团队。无论是进行前沿研究、模型选型还是发布前的性能验证，LMMs-Eval都能提供标准化的评估支持。
使用前建议详细阅读其文档，了解支持的模型和任务列表。由于评估过程可能消耗大量计算资源，建议在拥有充足GPU资源的服务器或集群上运行，并注意根据具体任务调整批处理大小等参数以优化性能。
核心特点
与同类评估工具相比，LMMs-Eval不仅追求评估速度（通过TorchCodec等技术优化视频I/O，速度提升可达3.58倍），更强调评估结果的可信度，内置置信区间计算、聚类标准误等统计方法，确保评估增益是真实而非随机的。其设计哲学是“更好的评估带来更好的模型”，致力于成为模型团队决策的可靠依据。
注意事项
主要专注于多模态模型的离线基准测试，不适用于需要实时交互或在线A/B测试的场景，且对计算资源要求较高。
常见问题
LMMs-Eval支持评估哪些类型的模型？
支持评估30多种前沿的多模态大模型，涵盖开源和闭源模型，具体列表可在其GitHub仓库的`lmms_eval/models`目录下查看。
如何快速开始使用LMMs-Eval评估我的模型？
安装后，参考官方文档的Quickstart部分，通常只需几行配置命令即可在支持的基准任务上运行评估。
给 AI 助手的安装指引
如果你的 AI 编程助手（Claude Code、Cursor、TRAE 等）能看到这个页面，把下面这段发给它即可自动完成安装：
请访问 https://321skill.com/skills/lmms-eval/raw/index.md 读取 lmms-eval 的原始 Skill 定义（Markdown 格式），按其中说明在我的环境里完成安装和配置。
AI 可直接读取的原始 Markdown 地址：/skills/lmms-eval/raw/index.md（查看排版版本）