AIFrontierLab/TorchUMM

A unified multimodal model toolkit

解决的问题

TorchUMM 为多模态模型的推理、评估和后训练提供了统一的接口。它消除了为执行图像理解（Image $\rightarrow$ Text）、图像生成（Text $\rightarrow$ Image）和图像编辑的不同模型管理独立代码库的需求，让用户能通过一个共享的、配置驱动的框架来运行并比较它们。

工作原理

该工具包使用具备可插拔模型架构与各种多模态骨干网络适配器的设计。它将特定模型需求的复杂性抽象化为 YAML 配置，让用户能够在不更改代码的情况下切换模型和基准测试。该框架支持通过 CLI 进行本地执行、通过 Modal 进行云原生扩展，以及针对 AMD ROCm 集群的专门执行。它还包含一个专门用于批量推理的管线，以及一个用于程序化访问的 Python API。

适用对象

从事多模态 AI 研究的研究人员与开发者，他们需要在不同基准测试中评估多个模型，或使用一致的工具集执行后训练（例如 SFT 或 UniCot）。

亮点

  • 统一接口：支持广泛的统一多模态模型（例如 Bagel, Emu3.5, Janus-Pro）和单一任务模型（例如 FLUX.2, Qwen2.5-VL）。
  • 全面评估：集成支持涵盖生成、理解和编辑的 10 多种基准测试（例如 MME, MMBench, GenEval, WISE）。
  • 后训练工具包：包含 SFT, IRG, recA 和 UniCot 的方法。
  • 云原生扩展：与 Modal 无缝集成以进行 GPU 扩展，并自动将输出上传至 HuggingFace。
  • vLLM 集成：针对 Emu3.5 等特定模型进行原生 vLLM 集成，以优化推理速度。

相关

  • 项目
    meta-pytorch/torchtune

    torchtune 是一个基于 PyTorch 的库，提供多种现代大语言模型（Llama、Gemma、Qwen、Phi 等）的微调、RL-HF、蒸馏、量化感知训练和推理的即用型配方与配置。它通过简单的 CLI（`tune`）和 YAML 文件抽象了分布式训练、内存优化技巧和设备支持，与 Hugging Face、torch-ao、FSDP2 和日志工具集成。尽管 2025 年开发已停止，但它仍是 LLM 实验的实用、开源工具包。

  • 项目
    EvolvingLMMs-Lab/lmms-eval

    一个用于大型多模态模型的统一评估工具包，提供跨图像、视频和音频任务的可复现且高效的基准测试。

  • 项目
    Ma-Zhuang/OmniNWM

    OmniNWM是一个研究代码库，构建用于自动驾驶仿真的全景多模态世界模型。它从车辆轨迹联合生成RGB、语义、深度和3D占用图，使用归一化Plücker射线图实现精确控制，并提供基于占用的密集奖励以支持闭环策略评估。该仓库包含安装步骤（含对`transformers`的手动补丁）、nuScenes数据准备说明、预训练检查点下载链接，以及用于推理、分布外测试和分阶段训练的脚本。

  • 项目
    jmaczan/tiny-vllm

    tiny-vllm 是一个教育性质的项目，引导您从零开始构建一个 C++/CUDA LLM 推理引擎（vLLM 的小型学习版）。它包含完整的源代码与逐步教程，涵盖模型加载、KV-cache、静态/连续批处理、FlashAttention 风格的在线 softmax 以及 PagedAttention，并支持 NVIDIA (CUDA) 与 AMD (HIP) GPU。

  • 项目
    pytorch/torchtitan

    torchtitan是一个PyTorch原生的库，用于大规模LLM预训练、微调和强化学习，提供可组合的并行性（FSDP、TP、PP、CP、EP）、基于配方的配置，以及对前沿模型和低精度格式的支持。