OpenAI o1 およびデベロッパー・ツールキットのアップデート 2024年12月
OpenAIは、プロダクション環境向けのo1推論モデルをAPIに導入したほか、Realtime APIのアップデート、新しいPreference Fine-Tuning手法、およびGoとJava向けのベータ版SDKを発表しました。これらのアップデートは、エージェント型アプリケーションの推論能力の向上、リアルタイム音声インタラクションのコスト削減、およびモデルの動作に対するよりきめ細かな制御の提供に焦点を当てています。
OpenAI o1 API の統合
OpenAI o1は、複雑で多段階のタスク向けに設計された推論モデルであり、現在usage tier 5のデベロッパーが利用可能です。このモデルはo1-previewの後継であり、いくつかの新しい技術機能によりプロダクション環境向けに最適化されています。
主な技術的特徴
- Function Calling と Structured Outputs: o1は、外部APIやデータソースに接続し、カスタムのJSON Schemaに準拠したレスポンスを確実に生成できるようになりました。
- Vision機能: モデルが視覚的な入力に対して推論を行うことができ、コーディング、製造、科学分野でのアプリケーション利用を可能にします。
- Developer Messages: デベロッパーは、トーンやスタイルなどの特定の動作ガイダンスをdeveloper messagesを通じて提供できるようになりました。
- 推論制御: 新しい
reasoning_effortAPIパラメータにより、デベロッパーはモデルが回答を生成する前の思考プロセスの時間を制御できます。 - 効率性: o1モデルは、同じリクエストに対してo1-previewよりも平均60%少ない推論トークンを使用します。
o1-2024-12-17 のパフォーマンス・ベンチマーク
最新のスナップショット（o1-2024-12-17）は、o1-previewと比較して、いくつかのドメインで最先端の結果を示しています：
| カテゴリ | 評価指標 | o1-2024-12-17 | o1-preview |
|---|---|---|---|
| General | GPQA diamond | 75.7 | 73.3 |
| General | MMLU (pass @1) | 91.8 | 90.8 |
| Coding | SWE-bench Verified | 48.9 | 41.3 |
| Coding | LiveBench (Coding) | 76.6 | 52.3 |
| Math | MATH (pass @1) | 96.4 | 85.5 |
| Math | AIME 2024 (pass @1) | 79.2 | 42.0 |
| Math | MGSM (pass @1) | 89.3 | 90.8 |
| Vision | MMMU (pass @1) | 77.3 | — |
| Vision | MathVista (pass @1) | 71.0 | — |
| Factuality | SimpleQA | 42.6 | 42.4 |
| Agents | TAU-bench (retail) | 73.5 | — |
| Agents | TAU-bench (airline) | 54.2 | — |
OpenAIは、o1-2024-12-17 が Structured Outputs および function calling テストにおいて gpt-4o を大幅に上回っていると報告しています。
Realtime API の強化
Realtime API のアップデートは、音声ベースのアプリケーションのアクセシビリティ向上と運用コストの削減に焦点を当てています。
WebRTC の統合
OpenAIは、ブラウザ、モバイルクライアント、IoTデバイス間でのリアルタイム音声製品のスケーリングを簡素化するオープン標準である WebRTC のサポートを追加しました。この統合により、ネットワーク品質が変動する場合でも、輻輳制御、ノイズ抑制、オーディオストリーミング、およびエンコーディングが処理され、応答性の高いインタラクションが保証されます。
価格とモデルのアップデート
Realtime API ベータ版向けに2つの新しいスナップショットがリリースされました：
- gpt-4o-realtime-preview-2024-12-17: 音声品質の向上と、口述された数字に対するより信頼性の高い入力を実現。オーディオトークンの価格が60%削減されました（入力 1Mあたり$40、出力 1Mあたり$80）。キャッシュされたオーディオ入力コストは 87.5% 減少し、$2.50/1M input tokens となりました。
- gpt-4o-mini-realtime-preview-2024-12-17: miniモデルのコスト効率をRealtime APIにもたらします。オーディオ価格は入力 1Mあたり$10、出力 1Mあたり$20に設定されています。テキストトークンは入力 1Mあたり$0.60、出力 1Mあたり$2.40です。
Preference Fine-Tuning
OpenAIは、Direct Preference Optimization (DPO) を使用して、レスポンスのペア比較に基づいてモデルをカスタマイズする手法である Preference Fine-Tuning (PFT) を導入しました。
PFT vs. Supervised Fine-Tuning (SFT)
ラベル付けされた出力を複製する SFT とは異なり、PFT は好ましい動作を非好ましい動作よりも優先するようにモデルを最適化します。
| 特徴 | Supervised Fine-Tuning (SFT) | Preference Fine-Tuning (PFT) |
|---|---|---|
| 目的 | 正確性のためにラベル付けされた出力を複製する | 好ましいレスポンスを強化し、好ましくないものを減らす |
| 学習データ | 正確な入出力ペア | 好ましい出力と好ましくない出力のペア |
| ユースケース | 厳密な正確性、カスタムコード形式 | クリエイティブなライティングや要約などの主観的なタスク |
実社会での応用
Rogo AIは、PFTを利用して、分布外（out-of-distribution）のクエリ拡張を処理する金融AIアシスタントの能力を向上させました。独自の Rogo-Golden ベンチマークを使用することで、精度を 75%（ベースモデル）から 80% 以上に向上させました。
Preference Fine-Tuning は現在 gpt-4o-2024-08-06 に向けて展開されており、まもなく gpt-4o-mini-2024-07-18 でも利用可能になる予定です。
Go および Java 向けの新しい SDK
OpenAIは、デベロッパーのアクセシビリティを拡大するために、Go と Java 向けのベータ版 SDK をリリースしました：
- Go SDK: API 統合のための専用ライブラリを提供します。
- Java SDK: 型定義されたリクエストおよびレスポンスオブジェクト、および API リクエストを管理するためのユーティリティを提供し、エンタープライズソフトウェア開発環境をターゲットとしています。