oumi-ai/oumi

Oumi – 覆盖基础模型整个生命周期的开源平台

它是什么 – Oumi 是一个基于 Python、完全开源的工具包，让您可以准备数据、训练、微调、评估和部署大型语言模型（LLM）和视觉语言模型。它面向从笔记本电脑上的 10M 参数实验到 GPU 集群上的 400B 参数运行，并支持纯文本和多模态模型。

核心能力

• 训练与微调 – SFT、LoRA、QLoRA、DPO、GRPO 及其他最先进的方法。通过 FSDP、DeepSpeed、DDP 进行分布式训练，并支持 PyTorch 2.9+。
• 智能体/工具使用模型 – 内置工具调用 SFT、可执行工具环境（数据库、HTTP、查找、模拟），以及使用 verl GRPO 算法的强化学习。
• 多模态支持 – 适用于 Llama、Gemma、Qwen、DeepSeek、GLM、Phi 以及许多视觉语言系列（Qwen-VL、InternVL 等）。
• 数据合成与评判 – LLM 作为评判器的流水线、多轮工具使用对话生成，以及基于规则的 RubricJudge 用于质量控制。
• 推理与部署 – 通过 vLLM 或 SGLang 进行快速本地推理，以及 oumi deploy CLI，可在云提供商（Fireworks、Parasail、Lambda、Modal 等）上启动专用端点。
• 远程作业编排 – oumi launch 抽象了 AWS、Azure、GCP、Lambda 等云平台，处理资源调配和监控。
• 丰富的配方库 – 适用于数十种模型（Qwen 3、Gemma 4、Llama 4、Falcon-H1/E 等）的即用型 YAML 配置，涵盖训练、推理和评估。

如何开始

# 安装核心包（仅 CPU）
uv pip install oumi
# GPU 启用安装
uv pip install 'oumi[gpu]'
# 或拉取官方 Docker 镜像
docker pull ghcr.io/oumi-ai/oumi:latest

安装后，您可以运行 CLI：

# 训练一个 135M 模型（快速入门配置）
oumi train -c configs/recipes/smollm/sft/135m/quickstart_train.yaml
# 评估同一模型
oumi evaluate -c configs/recipes/smollm/evaluation/135m/quickstart_eval.yaml
# 交互式推理
oumi infer -c configs/recipes/smollm/inference/135m_infer.yaml --interactive

对于云端运行，将 train 替换为 launch up，并添加 --resources.cloud aws|azure|gcp|lambda。

为什么选择 Oumi

• 零样板代码 – 配方让您在几分钟内获得可运行的流水线。
• 企业级可靠性 – 被大规模训练模型的团队使用；包括稳健的日志记录、检查点处理和容错作业管理。
• 研究灵活性 – 每个阶段（数据、模型、奖励、评估）都是模块化的，因此您可以无需重写代码即可替换组件。
• 广泛的生态系统 – 与开源模型、商业 API（OpenAI、Anthropic、Together 等）以及各种推理后端集成。
• 活跃的社区 – Apache 2.0 许可，提供 Discord、博客和频繁发布（截至 2026 年 9 月为 v0.9）。

文档与学习资源

• 完整文档：https://oumi.ai/docs
• 快速入门笔记本（Colab 链接），涵盖训练、蒸馏、评估、视觉语言微调和 GRPO 强化学习。
• 博客文章和网络研讨会，涵盖文本到 SQL 微调和声明验证模型等用例。

许可证 – Apache 2.0（宽松，商业友好）。

状态 – 积极维护；beta 标签表示快速开发，但核心功能（训练、评估、推理）稳定。

---

以上所有信息均直接取自仓库的 README。