EvolvingLMMs-Lab/lmms-eval
One-for-All Multimodal Evaluation Toolkit Across Text, Image, Video, and Audio Tasks
它解决了什么问题
LMMs-Eval 提供了一个统一、可复现且高效的工具包，用于评估大型多模态模型 (LMMs)。它解决了多模态评估生态系统中的碎片化问题，在这一生态系统中，不一致的后处理和分散的数据集往往导致不同团队之间的结果不可靠或无法复现。
运作方式
该工具包实现了一个标准化的流程，用于探测模型在图像、视频和音频模态上的智能。它支持广泛的模型后端（包括 vLLM、SGLang 和 OpenAI-compatible APIs），并提供了一个结构化的协议，将数据集文档转换为聊天消息。它还提供了一个 HTTP 评估服务器，将评估与训练解耦，允许异步作业提交和远程访问。
适用对象
它专为 AI 研究人员和模型开发人员设计，他们需要针对多样化的任务对前沿多模态模型进行基准测试，以确保改进是真实且具有统计学依据的。
特色亮点
- 广泛支持：包含超过 100 个评估任务，并支持 30 多个模型系列。
- 多模态能力：针对图像、视频和音频模态的全面评估。
- 高效率：具备异步服务、自适应批处理和 TorchCodec 优化的视频 I/O，以实现最大的 GPU 利用率。
- 统计学依据：提供置信区间、聚类标准误和配对 t 检验，以确保结果值得信赖。
- 交互工具：包含用于配置的 Web UI 和用于远程评估工作流的生产级 HTTP 服务器。
相关
- 项目
- 项目
confident-ai/deepevalDeepEval 是一个开源 Python 框架，让您可以为 LLM 驱动的应用程序（代理、聊天机器人、RAG 管线）编写 pytest 风格的测试。它内置超过 30 种指标，包括像 G-Eval 和 JevEval 这样的 LLM-as-a-judge 分数，以及针对代理、RAG、多模态和偏见相关的检查。指标可以在本地运行，也可以使用您选择的任何 LLM 运行。该库与 LangChain、CrewAI、OpenAI、Anthropic、AWS AgentCore、Google ADK、LlamaIndex 甚至 TypeScript AI SDK 集成，提供装饰器和回调来捕捉完整的执行轨迹。简单的 CLI (`deepeval test run …`) 可在 CI/CD 中工作，选配的 Confident AI 平台则增加了云端报告和治理功能。通过 `pip install -U deepeval` 安装，编写 `LLMTestCase` 对象，选择指标并执行，让 LLM 质量测试像传统软件测试一样系统化。
- 项目
Yinsongxu/LLM2Jev一个框架，通过在预填充期间从 logits 中提取概率，将本地 LLM 和 VLM 转换为结构化决策模型，绕过逐 token 解码以降低延迟。
- 项目
open-compass/VLMEvalKitAn open-source evaluation toolkit for large vision-language models that enables one-command evaluation across 70+ benchmarks and 200+ models.
- Dispatch