OpenAI o3 と o4-mini のビジュアル推論リリース

OpenAI o3 と o4-mini は、モデルが「画像で考える」能力を導入し、内部の思考チェーンの中で画像の切り抜き、ズーム、回転などの画像操作を行い、複雑な視覚問題を解決できるようになりました。これは、単に画像を見るだけのモデルから、マルチモーダルエージェント的アプローチで画像を積極的に推論できるモデルへの転換を示します。

思考チェーンにおけるネイティブ画像操作

OpenAI o3 と o4-mini は、o 系列の長文内部推論機能を拡張し、視覚ツールをネイティブに統合しました。従来のマルチモーダルモデルとは異なり、これらのモデルは画像処理用の別個の専門モデルに依存せず、推論プロセス中にユーザーがアップロードした画像に対して自動的に以下の技術を適用できます。

• ズームとクロップ: 画像の特定領域に焦点を当て、細部を抽出したり小さな文字を読むこと。
• 回転とフリップ: 画像の向きを修正（例: 逆さまの文字を回転させる）して読みやすくする。
• 強化: 簡単な画像処理技術を適用して鮮明さを向上させる。

この機能により、位置が悪い写真や逆さまの文字、1 枚のフレームに複数の問題があるような不完全な画像でも、データの視点を段階的に洗練させながら最終的な回答に至ることが可能になります。

マルチモーダルエージェント機能

視覚推論と他のツールを組み合わせることで、o3 と o4-mini はマルチモーダルエージェント体験を提供します。モデルは内部の画像操作と、ウェブ検索や Python データ分析といった外部ツールを組み合わせて高複雑度タスクを解決できます。

この機能の例:

• 文書分析: ノートの手書き文字を回転・ズームして読む。
• 複雑な問題解決: Python を使用してアルファチャンネルとピクセル値を解析し、有効な経路を描くことで迷路を解く。
• 技術的トラブルシューティング: ビルドエラーのスクリーンショットで根本原因分析を行う。
• 教育支援: 写真でアップロードされた経済学の問題セットに対し、ステップバイステップの解説を提供する。

ベンチマーク性能とスケーリング

「画像で考える」機能の導入により、テスト時の計算スケールに新たな軸が加わり、視覚とテキストの推論が融合します。高い「推論努力」設定で評価した場合、o3 と o4-mini はすべてのテストタスクで従来のマルチモーダルモデルを大幅に上回ります。

主な性能マイルストーン:

• 最先端（SOTA）結果: モデルは STEM の質問応答（MMMU、MathVista）、チャートの読み取りと推論（CharXiv）、知覚プリミティブ（VLMs are Blind）、視覚検索（V*）で最先端性能を達成した。
• 視覚検索の熟達: V* ベンチマークで、視覚推論アプローチは 95.7% の精度を達成し、ベンチマークをほぼ解決した。

現在の制限事項

進歩にもかかわらず、OpenAI は現在の視覚推論実装において 3 つの主要な制限を指摘しています。

1. 非効率的な推論チェーン: モデルは冗長なツール呼び出しや不要な画像操作を行い、過度に長い思考チェーンになることがある。
2. 知覚エラー: 基本的な知覚ミスが依然として起こり得る。モデルはツールを正しく使ってズームインしても、得られた視覚データを誤って解釈することがある。
3. 信頼性の問題: 同じ問題に対する複数の試行で、モデルが異なる視覚推論パスを採用し、結果が一貫しないことがある。

OpenAI は現在、これらのモデルをより簡潔で信頼性の高いマルチモーダル推論プロセスにするために改良を進めています。