google/tunix

What it solves

Tunixは、大規模言語モデル（LLMs）の後訓練（post-training）プロセスを簡素化し、加速するための軽量なライブラリです。教師的微調整や強化学習といった後訓練ワークフローの拡張性の複雑さを、特にTPUのような高性能ハードウェア向けに解決します。

How it works

JAXベースで構築されたTunixは、コアJAXユーティリティ（Flax, Optax, Orbax）と最適化されたモデル実装（MaxText など）の中間層として機能します。vLLM や SGLang-JAX のような高性能推理エンジンと統合し、効率的なrollout、Pathways を使用して数千のデバイスにわたるシームレスなマルチホスト分散トレーニングを実現します。

Who it’s for

JAXを使用してLLMを微調整するため、TPU加速を利用してスケーラブル、安定、かつ効率的な後訓練プロセスを実現したいAI研究者や開発者向けです。

Highlights

• Diverse Training Algorithms: SFT、DPO、PPO、および GRPO をサポートします。

• Agentic RL: マルチターン・ツール使用、高スループット・トラジェトリ収集のための非同期rollout、およびトラジェトリ・バッチ処理に特化したサポートを提供します。

• TPU Optimization: MaxText とのネイティブ統合により高性能カーネル（kernels）を使用し、vLLM や SGLang-JAX で高速なrolloutを実現します。

• Scalability: Pathways を使用してマルチホスト分散トレーニングとフォールトトレラントなチェックポイント（checkpointing）を実現します。