oumi-ai/oumi

Easily fine-tune, evaluate and deploy Gemma 4, Qwen3.5, Qwen3.6, gpt-oss, DeepSeek-R1, or any open source LLM / VLM!

What it solves

Oumi 是一個開源平台，旨在消除與基礎模型整個生命週期相關的複雜性與樣板代碼。它提供統一的 API 與即插即用的配方（recipes），用於處理數據準備、訓練、評估與部署，讓開發者無需編寫自定義的訓練迴圈或數據流水線即可從研究轉向生產。

How it works

Oumi 通過一組 CLI 工具與配置來簡化模型開發流程。用戶可以使用 oumi train、oumi evaluate 和 oumi infer 命令，結合 YAML 配置文件（recipes）來執行特定的工作流。它支持廣泛的訓練技術（SFT, LoRA, QLoRA, GRPO）並與 vLLM 和 SGLang 等熱門的推理引擎集成。此外，它還包含一個 oumi launch 命令，用於在 AWS、Azure、GCP 和 Lambda 等雲端平台遠程部署訓練與推理任務。

Who it’s for

它是為 ML 研究人員與企業團隊而設計的，這些團隊需要在各種環境中（從本地筆記本電腦到大規模雲端集群）構建、微調與部署最先進的基礎模型（參數規模從 10M 到 405B）。

Highlights

  • End-to-End Lifecycle: 覆蓋從使用 LLM-as-a-Judge 進行數據合成與策劃到最終部署的所有環節。
  • Zero Boilerplate: 為 Llama、Qwen 和 DeepSeek 等熱門模型系列提供預配置的配方（recipes）。
  • Multi-Cloud Support: 原生支持在 AWS、Azure、GCP 和 Lambda 上啟動任務。
  • Broad Model Support: 兼容於純文本與多模態模型。
  • SOTA Training Techniques: 原生支持分佈式訓練（FSDP, DeepSpeed, DDP）以及如 GRPO 等先進的微調方法。