oumi-ai/oumi

Oumi – 基礎模型的全生命週期開源平台

是什麼 – Oumi 是一個基於 Python 的完全開源工具包，讓您可以準備數據、訓練、評估並部署大型語言模型 (LLMs) 與多模態模型。它提供了一個命令列介面 (oumi) 以及一個函式庫，可將分散式訓練、LoRA/QLoRA 微調、使用 LLM 評審進行數據合成，以及使用 vLLM 或 SGLang 等引擎進行推理的繁瑣流程抽象化。

核心能力

• 訓練與微調 – 支持從 10M 到 405B 參數的模型，包含 SFT、LoRA、QLoRA、GRPO 等尖端方法。分散式訓練後端包括 FSDP、DeepSpeed 與 DDP。
• 多模態支持 – 支持僅限文本與視覺語言模型 (Llama、Qwen、DeepSeek、Phi、InternVL 等)。
• 數據合成與策劃 – 內建的「LLM-as-a-Judge」流程讓您可以自動過濾與生成訓練數據。
• 推理 – 透過 oumi deploy CLI，可一鍵部署到熱門的推理伺服器 (vLLM、SGLang) 與雲端端點 (Fireworks、Together、Parasail 等)。
• 評估 – 一套統一的基準測試套件，可執行標準 LLM 評估與視覺語言測試。
• 雲端原生任務管理 – oumi launch 可將任務提交至 AWS、Azure、GCP、Lambda 或其他集群，處理資源配置與監控。
• 食譜 (Recipes) – 一套持續增長的現成 YAML 配置集合，涵蓋數十種模型 (Qwen-3、Llama 4、DeepSeek R1 等) 的訓練、推理與評估。

為什麼您可能會使用它

• 零繁瑣流程 – 透過選擇食譜，在幾分鐘內即可啟動完整的訓練/評估/部署流程。
• 研究就緒 – 實驗可重複，組件易於更換，並支持尖端技術。
• 企業級 – 已在大規模運行中通過驗證，具備生產級別的可靠性與 CI 測試。
• 開放且社群驅動 – 採用 Apache-2.0 授權，可透過 pip 安裝，並由活躍的 Discord 與部落格提供支持。

入門指南

# Install (CPU only)
uv pip install oumi
# Install with GPU support
uv pip install 'oumi[gpu]'

# Quick training example
oumi train -c configs/recipes/smollm/sft/135m/quickstart_train.yaml

# Evaluate the same model
oumi evaluate -c configs/recipes/smollm/evaluation/135m/quickstart_eval.yaml

# Deploy an inference endpoint
oumi deploy -c configs/recipes/smollm/inference/135m_infer.yaml

您也可以在官方 Docker 鏡像中運行 CLI，或使用單行安裝腳本 (curl … | bash)。我們提供了詳細的 Notebooks，用於導覽、LoRA 微調、模型蒸餾、評估、遠端雲端訓練以及 LLM-as-a-Judge。

文件與社群 – 完整文件請見 https://oumi.ai/docs，另有包含發佈公告的部落格、Discord 伺服器以及公開的 PyPI 套件 (oumi)。

---

以上所有資訊均直接取自儲存庫的 README；未進行額外的功能推論。