oumi-ai/oumi

Oumi – 基础模型全生命周期的开源平台

什么是 Oumi – Oumi 是一个基于 Python 的完全开源工具包，可以让你准备数据、训练、评估和部署大语言模型 (LLMs) 及多模态模型。它提供了一个命令行界面 (oumi) 和一个库，用于抽象掉分布式训练、LoRA/QLoRA 微调、使用 LLM 评委进行数据合成以及使用 vLLM 或 SGLang 等引擎进行推理的繁琐工作。

核心能力

• 训练与微调 – 支持从 10M 到 405B 参数的模型，支持 SFT、LoRA、QLoRA、GRPO 等最先进的方法。分布式训练后端包括 FSDP、DeepSpeed 和 DDP。
• 多模态支持 – 支持纯文本和视觉语言模型 (Llama, Qwen, DeepSeek, Phi, InternVL 等)。
• 数据合成与整理 – 内置的 “LLM-as-a-Judge” 流水线可以让你自动过滤和生成训练数据。
• 推理 – 通过 oumi deploy CLI，可以一键部署到流行的推理服务器 (vLLM, SGLang) 和云端端点 (Fireworks, Together, Parasail 等)。
• 评估 – 一个统一的基准测试套件，可以运行标准的 LLM 评估和视觉语言测试。
• 云原生任务管理 – oumi launch 可以将任务提交到 AWS、Azure、GCP、Lambda 或其他集群，处理资源配置和监控。
• 配方 (Recipes) – 一个不断增长的现成 YAML 配置集合，涵盖数十种模型 (Qwen-3, Llama 4, DeepSeek R1 等) 的训练、推理和评估。

为什么使用它

• 零繁琐代码 – 通过选择一个配方，即可在几分钟内启动完整的训练/评估/部署流水线。
• 科研就绪 – 实验可复现，组件易于更换，并支持前沿技术。
• 企业级 – 经过大规模运行验证，具有生产级可靠性和 CI 测试。
• 开源且社区驱动 – Apache-2.0 许可，可通过 pip 安装，并由活跃的 Discord 和博客提供支持。

入门指南

# Install (CPU only)
uv pip install oumi
# Install with GPU support
uv pip install 'oumi[gpu]'

# Quick training example
oumi train -c configs/recipes/smollm/sft/135m/quickstart_train.yaml

# Evaluate the same model
oumi evaluate -c configs/recipes/smollm/evaluation/135m/quickstart_eval.yaml

# Deploy an inference endpoint
oumi deploy -c configs/recipes/smollm/inference/135m_infer.yaml

你也可以在官方 Docker 镜像中运行 CLI，或者使用单行安装脚本 (curl … | bash)。此外还提供了详细的 Notebooks，用于演示导览、LoRA 微调、模型蒸馏、评估、远程云端训练以及 LLM-as-a-Judge。

文档与社区 – 完整文档见 https://oumi.ai/docs，包含发布公告的博客、Discord 服务器以及公开的 PyPI 包 (oumi)。

---

以上所有信息均直接取自仓库的 README；未进行任何额外的功能推断。