EvoVLM – マルチモーダル推論プログラムの進化

これは何か

EvoVLM は、凍結された視覚言語モデル（Qwen‑3‑VL‑2B ファミリー）の推論動作を改善する方法を探求する研究グレードのコードベースです。モデルウェイトを微調整する代わりに、大規模言語モデル（LLM）に Python 推論プログラムへの小さな型付き変異を提案させます。プロンプト、画像前処理ステップ、生成予算、回答抽出ロジックを変更します。進化的ループ（変異 → 評価 → Pareto 選択）は、科学チャート理解ベンチマークの精度とレイテンシの間の最良のトレードオフを保持します。

なぜ重要か

• ウェイトフリー最適化 – モデルは凍結されたままなので、このアプローチは高価な再トレーニングなしで任意のプロプライエタリまたは大規模 VLM に適用できます。
• 多目的探索 – 正確性と速度を明示的にバランスさせます。これはリアルタイムまたはエッジ展開の実用的な関心事です。
• 再現可能な研究 – リポジトリには正確な探索トレース、評価証拠、モデルファイルを必要とせずに結果を検証する小さな「リプレイ」モードが含まれています。

コアコンポーネント（リポジトリから）

コンポーネント	役割
evolution/	型付き変異定義、ローカル LLM ガイドの変異エンジン、進化的探索ロジック。
evaluation/	小さな検証セットで候補プログラムを実行し、精度、レイテンシ、エラー、来歴を記録するスクリプト。
best_*.py	最良の精度‑レイテンシ Pareto ポイントを達成した最終的な選択済み推論プログラム。
reproduce.sh & evaluation/portable_reproduce.py	モデルウェイトをダウンロードせずに公開された数値が再現可能かどうかを確認するために記録された証拠を再実行する CPU のみの「リプレイ」コマンド。
report.pdf & generated/report_number_trace.json	技術レポートと、論文で使用されたすべてのメトリクスの機械可読トレース。
data/ & charxiv/	探索と検証に使用される CharXiv チャートデータセットの小さなサブセット。

始め方

1. リポジトリをクローンし、research/evolving-vlm-inference-main に cd します。
2. CPU のみの検証を実行します（モデルのダウンロードは不要）：

   python3 -B -m evaluation.portable_reproduce
   bash reproduce.sh check   # 記録された証拠チェックを実行
   bash reproduce.sh smoke   # エクスポートされたプログラムをインポートし、API を検証
   

3. GPU と Qwen‑3‑VL‑2B ウェイトがある場合、同じフォルダ内の README.md に従って固定された requirements.lock.txt をインストールし、モデルスナップショットをダウンロードし、独自のデータで推論プログラムを実行します。

論文が報告する内容

プログラム	正解 / 128	精度	中央値レイテンシ（秒）
ベースライン Instruct	51	39.84%	14.54
手動 Instruct（人間作成）	78	60.94%	15.44
進化 Instruct（EvoVLM から）	78	60.94%	14.07
手動 Thinking	23	17.97%	20.04
進化 Thinking	44	34.38%	17.91

進化したプログラムは、手動シードの精度を維持（または改善）しながら、中央値レイテンシを 8–10% 短縮します。

制限と範囲

• 進化的探索は非常に小さく、わずか 2 世代で各集団の子は最大 6 個です。
• 結果は CharXiv チャートベンチマークの Dev128 検証分割に基づいています。完全なリーダーボードスコアではありません。
• レイテンシ数値は、元の実行で使用された特定のハードウェア/ソフトウェア環境に依存します。
• モデルウェイトは外部にあり、リポジトリにはコードと記録された証拠のみが含まれています。

---

TL;DR: EvoVLM は、LLM に凍結された視覚言語モデルの推論スクリプトを「微調整」させ、小さな進化的探索を実行し、チャート理解タスクで精度を失わずに少し高速なプログラムを取得できるという概念実証を示しています。