google/tunix

What it solves

Tunix 是一个轻量级库，旨在简化并加速大型语言模型（LLMs）的后训练（post-training）过程。它解决了扩展后训练工作流（例如监督式微调和强化学习）的复杂性，特别是针对 TPU 等高性能性能硬件的。

How it works

Tunix 基于 JAX，在核心 JAX 工具（如 Flax, Optax, 和 Orbax）与优化后的模型实现（如 MaxText）之间充当中间层。它集成了 vLLM 和 SGLang-JAX 等高性能推理引擎以实现高效的 rollout，并使用 Pathways 在数千个设备上实现无缝的多主机分布式训练。

Who it’s for

它适用于需要使用 JAX 进行 LLM 微调，并希望利用 TPU 加速来实现可扩展、稳定且高效的后训练过程的 AI 研究人员和开发者。

Highlights

• Diverse Training Algorithms: 支持 SFT、DPO、PPO 和 GRPO。
• Agentic RL: 提供对多轮工具使用、异步 rollout 以实现高吞吐量轨迹收集，以及轨迹批处理的专门支持。
• TPU Optimization: 与 MaxText 原生集成，以获得高性能内核（kernels）与 vLLM/SGLang-JAX 以实现快速 rollout。
• Scalability: 支持通过 Pathways 实现多主机分布式训练与容错检查点（checkpointing）机制。