inclusionAI/AReno

解決する課題

ARenoは、大規模言語モデル（LLM）の強化学習（RL）とポストトレーニングを単一ノードで実行可能にするために設計された自己完結型のツールキットです。複雑なクラスター設定や、個別のトレーニングフレームワーク、推論サーバー、カーネルライブラリを手動で連携させる必要がなく、開発者はベースのチェックポイントからローカルでのモデル提供までをシームレスに行うことができます。

仕組み

ARenoは、トレーニング、推論、ロールアウト機能を1つのパッケージに統合したフルスタック設計を提供します。Trainerクラスを使用してRLループを管理します。これには、オンポリシーの補完生成（ロールアウト）、ユーザー定義の報酬関数によるスコアリング、モデルの重みの更新（トレーニング）が含まれます。NVIDIA CUDA、Ascend NPU、Apple Silicon（MLX経由）を含む複数のハードウェアバックエンドをサポートし、エージェント型RL軌跡のためのOpenAI互換プロキシを提供します。

対象ユーザー

分散クラスターを管理するオーバーヘッドなしで、高速かつローカルなLLMポストトレーニング、SFT/DPOスタイルのトレーニング、またはエージェント型RLを実行したい研究者や開発者。

ハイライト

• プラグアンドプレイ: シンプルなCLIフラグまたはPython APIを通じて、さまざまなポストトレーニング手法にアクセス可能。
• マルチバックエンドサポート: CUDA、Ascend NPU、Apple Silicon MLXとのネイティブな互換性。
• エージェント型RL対応: ローカルのOpenAI互換プロキシと対話するエージェントによって生成された軌跡からのトレーニングをサポート。
• マルチモーダル機能: OpenAIスタイルのメッセージ形式を使用して、画像、音声、動画コンテンツを処理。
• LORA統合: Qwen3やBailing-MoE V3などのモデル向けにTP対応アダプターをトレーニングし、標準的なPEFTアーティファクトを保存するネイティブサポート。
• 拡張可能なアーキテクチャ: 新しいアルゴリズム、報酬関数、ハードウェアバックエンドを簡単に登録可能。