GPT-4o ビジョンファインチューニング API リリース

OpenAIはGPT-4o向けにビジョンファインチューニングを導入し、開発者が画像とテキストの両方を使用してモデルをカスタマイズできるようにしました。この機能により、テキストのみのファインチューニングでは不十分な、強化されたビジュアル検索、自律走行車の物体検出、医療画像解析などの専門的な視覚タスクで大幅な性能向上が可能になります。

ビジョンファインチューニングの技術的実装

GPT-4oのビジョンファインチューニングは、テキストベースのファインチューニングと同様のプロセスに従います。開発者は特定の形式で画像データセットを準備し、OpenAIプラットフォームにアップロードします。

主な技術的詳細は以下の通りです：

• データ要件: パフォーマンス向上は最小で100枚の画像でも達成可能ですが、テキストと画像データの量が多いほど、より高い性能が得られます。
• モデルサポート: この機能は gpt-4o-2024-08-06 モデルスナップショットでサポートされています。
• 入力形式: データセットはJSON構造を使用し、メッセージにテキストと image_url の両方のタイプを含めることができ、OpenAIのChatエンドポイントで使用される形式と同様です。

実際のパフォーマンス向上

初期パートナーとの協業により、ビジョンファインチューニングがベースのGPT-4oモデルに対してさまざまな領域で大幅な性能向上をもたらすことが示されています。

マッピングとインフラストラクチャ (Grab)

Grabは100例を使用してGPT-4oに交通標識の位置特定と車線分離線のカウントを学習させました。その結果、以下が得られました：

• 車線カウント精度が20%向上。
• 速度制限標識の位置特定が13%向上。

エンタープライズオートメーション (Automat)

Automatはスクリーンショットと非構造化文書を活用してRPA（ロボティック・プロセス・オートメーション）エージェントを改善しました：

• UI要素のローカリゼーション: モデルに自然言語での説明を通じてUI要素を特定させることで、成功率が16.60%から61.67%へ（272%の向上）上昇しました。
• 情報抽出: 非構造化保険文書の画像200枚で学習させた結果、F1スコアが7%向上しました。

デジタルコンテンツ作成 (Coframe)

Coframeは画像とコードでGPT-4oをファインチューニングし、ブランド化されたウェブサイトセクションを生成しました。この手法により、ベースモデルと比較して一貫したビジュアルスタイルと正しいレイアウトを維持する能力が26%向上しました。

安全性、プライバシー、データ管理

ビジョンファインチューニングはOpenAIのエンタープライズプライバシーコミットメントに基づいて管理されています。主な保護項目は以下の通りです：

• データ所有権: ファインチューニングされたモデルは開発者の管理下にあり、開発者は自社のビジネスデータの完全な所有権を保持します。
• トレーニング制限: OpenAIは明示的な許可なしに、ビジョンファインチューニングサービスで使用された入力や出力をベースモデルのトレーニングに使用しません。
• モニタリング: OpenAIは自動安全評価を実施し、利用状況を監視して使用ポリシーの遵守を確保します。

利用可能性と価格設定

ビジョンファインチューニングは有料利用プランのすべての開発者に利用可能です。

価格構造（2024年10月31日以降）

• トレーニング: 1Mトークンあたり$25。
• 推論（入力）: 1Mトークンあたり$3.75。
• 推論（出力）: 1Mトークンあたり$15。

画像入力は画像サイズに基づいてトークン化され、テキスト入力と同じトークン単価で課金されます。なお、OpenAIは2024年10月31日まで、1日あたり1Mの無料トレーニングトークンを提供していました。