TIGER-AI-Lab/Pixel-Reasoner

Pixel Reasoner – ピクセル空間で考える視覚言語モデル

何であるか – 視覚言語モデル（VLM）に明示的な視覚操作（例：zoom-in, select-frame）を追加する研究用フレームワーク。モデルは画像や動画フレームを積極的に探索しながら推論できる。著者らは7BのVLMを2段階で訓練した：

インストラクションチューニング：合成された複数ターンのトレースを用いて、新しいピクセル空間操作を学習。
好奇心駆動型強化学習：テキスト推論と有用な視覚操作のバランスを報酬としてモデルに与える。

その結果、モデルはリアルタイムで視覚的証拠を照会でき、いくつかの視覚推論ベンチマークで最先端のスコアを達成（V* bench 84 %, TallyQA‑Complex 74 %, InfographicsVQA 84 %）。

主な機能

ピクセル空間操作 – 生成中に呼び出せる組み込みコマンド（例：zoom-in, select-frame）。
二段階訓練 – インストラクションチューニング（Open‑R1をベース） → 好奇心駆動型RL（VL‑Rethinkerをベース）。
複数ターンの軌道 – SFTおよびRLパイプラインは視覚・テキストの相互作用のシーケンスを受け入れる。
画像・動画の混合データ – RL段階では静止画像だけでなく動画フレームも訓練に使用可能。
vLLMベースの推論 – 評価および下流用途向けの高速バッチ生成。

クイックスタート

リポジトリをクローンし、目的のサブフォルダ（instruction_tuning または curiosity_driven_rl）に移動。
依存関係のインストール – 提供された install.md（または installation.md）に従い、Python環境、vLLM、openrlhf をセットアップ。

インストラクションチューニング

cd instruction_tuning
# sft.sh を編集し、モデルチェックポイントとSFTデータセットのパスを指定
bash sft.sh

好奇心駆動型RL – RLデータセットを準備し、ウォームスタートチェックポイント（PixelReasoner‑WarmStart）をダウンロード。その後、マルチノードまたはシングルノードスクリプトを実行：
```
cd curiosity_driven_rl
export policy=/path/to/PixelReasoner‑WarmStart/checkpoint-246
bash scripts/train_vlm_multi.sh   # または train_vlm_single.sh
```
（すべてのハイパーパラメータは環境変数として公開。READMEには MAX_PIXELS, lr, bsz など重要なパラメータがリストアップ）。
評価 – 画像ベース（VStar）および動画ベース（MVBench）ベンチマーク用に提供されたHFコレクションを使用。VStarの例：
```
export benchmark=vstar
export policy=/path/to/trained/model
bash scripts/eval_vlm_new.sh
```
必要に応じて eval_bsz, MAX_PIXELS, GPU数を調整。

モデルとデータ（公開中）

項目	Hugging Faceリンク	内容
PixelReasoner‑RL‑v1	`TIGER-Lab/PixelReasoner-RL-v1`	推論/評価用に訓練済みの7Bチェックポイント
PixelReasoner‑WarmStart	`TIGER-Lab/PixelReasoner-WarmStart`	RLポリシー初期化に使用される事前RLチェックポイント
SFTデータ	`TIGER-Lab/PixelReasoner-SFT-Data`	複数ターンのインストラクションチューニング軌道
RLデータ	`TIGER-Lab/PixelReasoner-RL-Data`	好奇心駆動型RL用のクエリと報酬信号
評価コレクション	READMEにリンクされたHFコレクション	VStar、MVBench、その他の視覚推論ベンチマーク用のParquetファイル

デモとウェブサイト

オンラインデモ – モデルと対話できるHugging Face Space（https://huggingface.co/spaces/TIGER-Lab/Pixel-Reasoner）。
プロジェクトウェブサイト – 論文PDF、モデルカード、視覚例を含む（https://tiger-ai-lab.github.io/Pixel-Reasoner/）。

一般的な落とし穴（READMEに記載）

コンテキスト長オーバーフロー – MAX_PIXELS を低く保ち、画像トークン＋テキストトークンがモデルの10 240トークン制限を超えないようにする。
Transformer/vLLMのバージョン不一致 – dtypeエラーが発生した場合、リポジトリがピン止めしている正確なtransformerコミットを再インストール。
ログ確率バッチサイズ – 正しいPPOログ確率計算のため、logp_bsz は 1（または --micro_rollout_batch_size=1）にする必要がある。
分散環境変数 – Rayを使用する場合、MAX_PIXELS/MIN_PIXELS を RUNTIME_ENV_JSON を通じて伝搬する。

連絡先と引用

主担当：Haozhe Wang (jasper.whz@outlook.com) – RLのバグ対応。
SFT担当：Muze (dlwlrma314516@gmail.com) – SFTおよび代替RLコード。

引用：

@article{pixelreasoner,
  title={Pixel Reasoner: Incentivizing Pixel-Space Reasoning with Curiosity-Driven Reinforcement Learning},
  author={Su, Alex and Wang, Haozhe and Ren, Weiming and Lin, Fangzhen and Chen, Wenhu},
  journal={arXiv preprint arXiv:2505.15966},
  year={2025}
}

まとめ

Pixel Reasonerは、VLM向けのピクセル空間操作を導入し、結果の再現や独自の視覚推論エージェントの構築に必要なコード、データ、事前訓練済みチェックポイントを提供するフルスタック研究プロジェクト。これは明確に最先端のAI/ML分野に位置する。