TianyuCodings/NanoJev

解決する課題

NanoJevは、従来のLLMによるテキスト生成に伴うレイテンシや計算オーバーヘッドなしに、ゲームのようなインタラクティブな環境でリアルタイムかつ高性能な意思決定を行うという課題に対処します。トークンを生成するのではなく、意思決定を分類またはスコアリングの問題として扱い、確率分布を直接出力します。

仕組み

このモデルは、専用の意思決定ヘッドを備えた小型の0.6Bパラメータのバックボーン (Qwen3) を使用しています。状態、質問、および候補となるアクションのセットが与えられると、モデルは単一のフォワードパスを実行して、それらの候補に対する確率を生成します。これにより、アクションのランク付け、選択、サンプリングを即座に行うことができます。4つの異なるゲーム環境をカバーする混合タスクデータセットでトレーニングされており、単一のモデルチェックポイントでナビゲーションやターゲット追跡といった多様なタスクを処理可能です。

対象読者

このプロジェクトは、ゆっくりとした熟考的な推論ではなく、迅速で直感的な意思決定を行う「システム1」AIモデルに関心のある研究者や開発者を対象としています。特に、低レイテンシのアクション選択が不可欠なゲームやリアルタイムシミュレーション環境向けのAIエージェントを構築している方に最適です。

ハイライト

• ゼロトークンデコーディング：自己回帰的なテキスト生成の必要性を排除し、ほぼ瞬時の意思決定を実現します。
• 統一されたアーキテクチャ：単一のモデルチェックポイントで4つの異なるタスク (ViZDoom Basic, Predict Position, Maze, および Snake) を処理します。
• 高性能：Jevや調整されていないQwenなどのベースラインモデルと比較して、ゲームベンチマークで優れた成功率を示します。
• インタラクティブな評価：モデル間のパフォーマンス比較をリアルタイムで並べて視覚化できるWebベースのインターフェースが含まれています。