AIFrontierLab/TorchUMM

A unified multimodal model toolkit

해결하는 문제

TorchUMM은 멀티모달 모델의 추론, 평가 및 사후 훈련을 위한 통합 인터페이스를 제공합니다. 이미지 이해(Image $\rightarrow$ Text), 이미지 생성(Text $\rightarrow$ Image) 및 이미지 편집을 수행하는 다양한 모델을 위해 별도의 코드베이스를 관리할 필요를 없애고, 사용자가 공유된 구성 기반 프레임워크를 통해 이를 실행하고 비교할 수 있도록 합니다.

작동 방식

이 툴킷은 다양한 멀티모달 백본에 대한 어댑터와 함께 플러그형 모델 아키텍처를 사용합니다. 모델별 요구 사항의 복잡성을 YAML 구성으로 추상화하여 코드 변경 없이 모델과 벤치마크를 전환할 수 있게 합니다. 이 프레임워크는 CLI를 통한 로컬 실행, Modal을 통한 클라우드 네이티브 스케일링, AMD ROCm 클러스터를 위한 전문 실행을 지원합니다. 또한 배치 추론을 위한 전용 파이프라인과 프로그래밍 방식의 액세스를 위한 Python API를 포함하고 있습니다.

대상 사용자

서로 다른 벤치마크에서 여러 모델을 평가하거나 일관된 도구 세트를 사용하여 사후 훈련(예: SFT 또는 UniCot)을 수행해야 하는 멀티모달 AI 연구원 및 개발자.

주요 특징

  • 통합 인터페이스: 폭넓은 통합 멀티모달 모델(예: Bagel, Emu3.5, Janus-Pro) 및 단일 작업 모델(예: FLUX.2, Qwen2.5-VL)을 지원합니다.
  • 종합 평가: 생성, 이해 및 편집을 다루는 10개 이상의 벤치마크(예: MME, MMBench, GenEval, WISE)에 대한 통합 지원.
  • 사후 훈련 툴킷: SFT, IRG, recA 및 UniCot에 대한 메서드를 포함합니다.
  • 클라우드 네이티브 스케일링: GPU 스케일링을 위한 Modal과의 원활한 통합 및 HuggingFace에 대한 자동 출력 업로드.
  • vLLM 통합: 추론 속도를 최적화하기 위한 Emu3.5와 같은 특정 모델에 대한 네이티브 vLLM 통합.

관련

  • 프로젝트
    meta-pytorch/torchtune

    torchtune은 PyTorch 기반의 라이브러리로, Llama, Gemma, Qwen, Phi 등 여러 현대적 LLM(Large Language Models)의 파인튜닝, RL-HF, 증류, 양자화 대응 학습, 추론을 위한 즉시 실행 가능한 레시피와 설정을 제공합니다. 분산 학습, 메모리 절약 기술, 디바이스 지원을 간단한 CLI(`tune`)와 YAML 파일 뒤에 추상화하여 Hugging Face, torch-ao, FSDP2, 로깅 도구와 통합됩니다. 2025년 개발이 중단되었지만, LLM 실험을 위한 실용적이고 오픈소스 툴킷으로 여전히 유용합니다.

  • 프로젝트
    EvolvingLMMs-Lab/lmms-eval

    이미지, 비디오, 오디오 작업 전반에 걸쳐 재현 가능하고 효율적인 벤치마킹을 제공하는 대규모 멀티모달 모델을 위한 통합 평가 툴킷.

  • 프로젝트
    Ma-Zhuang/OmniNWM

    OmniNWM은 자율주행 시뮬레이션을 위한 파노라마형 다중 모달 월드 모델을 구축하는 연구용 코드베이스입니다. 차량의 경로에서 RGB, 세분화, 깊이, 3D 점유 맵을 동시에 생성하고, 정규화된 Plücker 레이 맵을 사용해 정밀한 제어를 수행하며, 점유 기반 밀도 보상을 통해 폐루프 정책 평가를 가능하게 합니다. 리포지토리에는 transformers 패치 포함 설치 절차, nuScenes 데이터 준비 안내, 사전 학습 체크포인트 다운로드 링크, 추론, 분포 외 테스트, 단계별 학습용 스크립트가 포함되어 있습니다.

  • 프로젝트
    jmaczan/tiny-vllm

    tiny-vllm은 C++/CUDA LLM 추론 엔진(vLLM의 학습용 소형 버전)을 구축하는 방법을 안내하는 교육용 프로젝트입니다. 전체 소스 코드와 단계별 튜토리얼이 포함되어 있으며, 모델 로딩, KV-캐시, 정적/연속 배치 처리, FlashAttention 스타일의 온라인 softmax, PagedAttention을 다루며 NVIDIA (CUDA) 및 AMD (HIP) GPU를 모두 지원합니다.

  • 프로젝트
    pytorch/torchtitan

    torchtitan은 대규모 LLM 사전 학습, 미세 조정, 강화 학습을 위한 PyTorch 네이티브 라이브러리로, 구성 가능한 병렬화(FSDP, TP, PP, CP, EP), 레시피 기반 구성, 최첨단 모델 및 저정밀 형식 지원을 제공합니다.