oumi: 一個用於訓練、評估與部署基礎模型的端到端平台,無需任何樣板程式碼

oumi: 一個用於訓練、評估與部署基礎模型的端到端平台,無需任何樣板程式碼

它解決了什麼問題

Oumi 是一個開源平台,旨在簡化構建基礎模型複雜的端到端生命週期。它消除了開發者需要為訓練迴圈、數據管道和部署工作流編寫重複性樣板程式碼的需求,讓他們能更快地從數據準備轉向生產環境。

運作方式

Oumi 提供統一的 API 和命令列介面 (CLI),允許用戶使用預定義的「食譜」(recipes)(配置文件)來執行訓練、評估和推理任務。它與 vLLM 和 SGLang 等熱門推理引擎集成,並支持 FSDP、DeepSpeed 和 DDP 等分布式訓練技術。該平台可以在筆記型電腦上本地運行,也可以在 AWS、Azure、GCP 和 Lambda 等雲端供應商上遠程啟動。

對象是誰

它是為機器學習研究人員和企業團隊打造的,這些團隊需要在各種模態(文本和多模態)和環境中開發、微調並部署基礎模型(參數範圍從 10M 到 405B)。

重點亮點

  • 端到端生命週期:涵蓋數據合成、策劃、訓練、評估和部署。
  • 廣泛的模型支持:兼容包括 Llama、DeepSeek、Qwen 和 Phi 在內的各種架構。
  • 先進的訓練技術:原生支持 SFT、LoRA、QLoRA 和 GRPO。
  • 雲端集成:能夠在多個主要雲端平台跨平台遠程啟動和監控任務。
  • LLM-as-a-Judge:內置使用 LLM 裁判進行數據過濾和策劃的工具。

Sources