OpenAI GPT-4 発表と機能概要

TL;DR

OpenAIはGPT‑4をリリースしました。これはテキストと画像のマルチモーダル対応大型言語モデルで、模擬司法試験で上位10％のスコアを取得し、幅広いプロフェッショナルおよび学術ベンチマークで人間レベルの性能を示します。このモデルはChatGPT、制限付きAPI、オープンソースの評価フレームワークを通じて提供されています。

コア技術的進歩

予測可能なスケーリングと安定したトレーニング

  • 過去2年間で、OpenAIはディープラーニングスタックを再構築し、Azureと共同で自社のワークロード向けに特化したスーパーコンピュータを設計しました。
  • GPT‑3.5はテストランとして使用され、バグが修正され、理論的基盤が改善された上でGPT‑4のトレーニングが行われました。
  • GPT‑4のトレーニングは異常に安定しており、OpenAIは最終ロスを正確に予測でき、さらに1,000〜10,000倍少ない計算リソースでの実行から下流タスクの合格率を外挿することが可能となりました。
  • 予測可能なスケーリングは安全策として位置付けられ、組織が将来のモデル能力を予測できるようにします。

マルチモーダル入力機能

  • GPT‑4はテキストと画像を交互に入力として受け取り、視覚言語タスク向けにテキスト出力（コードを含む）を生成します。
  • 標準的な学術ビジョンベンチマークでの性能は高いものの、画像モダリティは研究プレビュー段階であり、まだ一般公開されていません。
  • テスト時のテクニック（少数ショットプロンプトやチェーン・オブ・ソート推論など）は、もともとテキスト専用モデル向けに開発されたものですが、画像入力タスクでも効果を発揮します。

アラインメントと制御性の改善

  • 敵対的テストとChatGPTの経験に基づく6か月間の反復的アラインメントにより、OpenAIモデル史上最高の事実性、制御性、ガードレール遵守が実現されました。
  • システムメッセージにより、開発者（将来的にはChatGPTユーザー）はトーン、冗長性、スタイルを指定でき、ポリシー範囲内でカスタマイズ可能な動作を提供します。
  • OpenAIは、システムメッセージが現在最も容易なジャイルブレイク手段であることを認め、これらの制御を強化するためにユーザーフィードバックを奨励しています。

ベンチマーク性能

人間レベルの試験結果

  • GPT‑4は模擬司法試験で受験者上位10％に入るスコアを取得し、GPT‑3.5は下位10％に位置付けられました。
  • タスク固有のトレーニングは行われず、公開されている試験や最近の模擬試験で評価されました。

標準的な言語モデルベンチマーク

  • GPT‑4は従来の機械学習ベンチマークにおいて、既存の大型言語モデルや多くの最先端（SOTA）システムを上回ります。
  • MMLUスイート（57科目、14,000問の多肢選択問題）では、GPT‑4はGPT‑3.5や他のLLM（Chinchilla、PaLM）を26言語中24言語で上回り、ラトビア語、ウェールズ語、スワヒリ語などの低リソース言語も含まれます。

事実性と安全性指標

  • 内部の敵対的事実性評価では、GPT‑3.5に比べて幻覚が40％減少しています。
  • RLHFによる事後トレーニング後、GPT‑4はTruthfulQAでGPT‑3.5に対し大きな差を示し、一般的な誤解に抵抗しますが、時折微細な詳細を見落とすことがあります。

制限事項

  • GPT‑4は依然として事実を幻覚し、推論エラーを起こすため、実世界の多くのシナリオで人間より信頼性が低いです。
  • 知識は2021年9月頃でカットオフされており、モデルは新しい経験から学習しません。
  • ベースモデルは良好にキャリブレーションされていますが、RLHF後は信頼度スコアのキャリブレーションが低下します。
  • 出力にはバイアスが残存し、ジャイルブレイク手法により禁止された振る舞いを引き出すことが可能です。

安全リスクと緩和策

  • リスクは従来モデルと同様（有害な助言、バグのあるコード、誤情報）ですが、能力向上により増幅されています。
  • AIアラインメント、サイバーセキュリティ、バイオリスク、国際安全保障の分野から50名以上の外部専門家が敵対的テストを実施し、危険なリクエストに対する拒否行動の改善に向けたデータ収集に活かされました。
  • RLHF中に追加の安全報酬シグナルを導入し、GPT‑4のゼロショット分類器が禁止コンテンツをペナルティ化するよう訓練されました。その結果、GPT‑3.5と比較して禁止リクエストへの応答が82％減少し、機微なトピックでのコンプライアンスが29％向上しました。
  • OpenAIは、モデルレベルの介入に加えて、デプロイ時の安全対策（モニタリング、悪用検知）に依存し続けています。

デプロイ詳細

ChatGPT Plus

  • GPT‑4はchatgpt.com上のChatGPT Plus加入者向けに提供され、使用上限は需要とシステム性能に応じて調整されます。

API アクセス

  • テキストのみのGPT‑4へのアクセスは標準のChatCompletions APIを通じて提供され、開発者は待機リストに参加する必要があります。
  • 価格: 8,192トークンコンテキストモデルはプロンプトトークン1kあたり$0.03、完了トークン1kあたり$0.06；32,768トークンコンテキストバリアント（gpt‑4‑32k）はそれぞれ$0.06/$0.12です。
  • レートリミット: デフォルトで40kトークン/分、200リクエスト/分です。
  • 研究者はResearcher Access Programを通じて補助付きアクセスを申請できます。

OpenAI Evals フレームワーク

  • OpenAIは自動ベンチマーク作成・実行のためのオープンソース OpenAI Evals フレームワークをリリースしました。
  • Evalsは社内で欠点の特定やリグレッション防止に使用され、外部ユーザー（例: Stripe）もGPT搭載ツールの評価に活用しています。
  • リポジトリには一般的な評価パターン用テンプレートが含まれ、GPT‑4が自身の出力を評価するモデルグレード評価などがあります。
  • コミュニティからの貢献が奨励されており、フレームワークが捉える失敗モードや難易度の高いタスクの範囲を拡大しています。

今後の影響と展望

  • GPT‑4のマルチモーダル能力と改善されたアラインメントは、より有用で安全なAIアシスタントへの重要な一歩です。
  • 予測可能なスケーリングと早期の安全志向トレーニングは、将来のモデル能力を予測するための洞察を提供することを目的としており、OpenAIはこれが社会的安全性にとって重要だと主張しています。
  • 継続的な制限（幻覚、バイアス、古い知識）は、特にハイステークスな応用において人間の監督が必要であることを浮き彫りにしています。
  • オープンソースのEvalsエコシステムと協調的な安全テストは、AI評価とリスク緩和におけるコミュニティ参加の拡大への転換を示しています。

この記事はOpenAIの2023年3月のGPT‑4発表を忠実に反映しており、事実内容の追加や変更は行っていません。

Sources