OpenAI o1-mini リリースノート
OpenAIは、STEM分野で高い性能を発揮し、フル o1 シリーズよりも低コストかつ高速な、専門的な推論モデル o1-mini を発表しました。このモデルは、広範な一般知識を必要とせずに複雑な推論が求められるアプリケーション向けです。
コストと利用可能性
o1-mini は Tier 5 API ユーザー向けに提供され、o1-preview よりも 80% 低いコストで利用できます。ChatGPT Plus、Team、Enterprise、Edu ユーザーにとっては、o1-preview の代替として、より高いレートリミットと低レイテンシを提供します。
STEM 推論性能
o1-mini は、事前学習時に STEM 推論に最適化された小型モデルで、フル o1 モデルと同じ高計算リソースの強化学習 (RL) パイプラインで訓練されています。容量の大きいモデルが持つ広範な世界知識は欠いていますが、特定の技術領域においては同等の推論性能を実現しています。
数学とコーディング
技術ベンチマークにおいて、o1-mini はフル o1 モデルと競合する性能を示し、いくつかの領域で o1-preview を上回ります。
- Mathematics: 高校の AIME 数学コンペティションで、o1-mini は 70.0% のスコアを獲得し、米国高校生上位約 500 名に相当します。これは o1-preview (44.6%) を上回り、o1 (74.4%) と競合します。
- Coding: Codeforces で、o1-mini は Elo 1650 を達成し、競合プログラマーの 86 パーセンタイルに位置します。これは o1-preview (1258) より高く、o1 (1673) と競合します。また、HumanEval ベンチマークや高校レベルのサイバーセキュリティ CTF チャレンジでも高い性能を示します。
一般的な STEM と人間の好み
o1-mini は、MATH-500 や GPQA（科学）など推論を要する学術ベンチマークで GPT-4o を上回ります。しかし、GPQA では o1-preview に遅れを取り、非 STEM の事実知識が限られているため MMLU では GPT-4o よりも劣ります。
人間の好み評価では、推論が重視される領域では o1-mini が GPT-4o より好まれる一方で、言語中心のタスクでは好まれません。
モデル速度とレイテンシ
o1-mini は、より大きなモデルに比べて応答時間が大幅に速くなります。単語推論テストでは、o1-mini は o1-preview より約 3〜5 倍速く正解に到達し、GPT-4o は正しく回答できませんでした。
安全性とロバスト性
o1-mini は o1-preview と同じアラインメントと安全性技術を使用しています。StrongREJECT データセットを用いた内部評価では、o1-mini は GPT-4o と比べてジャイルブレイク耐性が 59% 高いことが示されています。
| メトリック | GPT-4o | o1-mini |
|---|---|---|
| 有害なプロンプトに対する安全な完了の拒否率（標準） | 0.99 | 0.99 |
| 有害なプロンプトに対する安全な完了率（挑戦的：ジャイルブレイク＆エッジケース） | 0.714 | 0.932 |
| 良性エッジケースでのコンプライアンス率 | 0.91 | 0.923 |
| Goodness@0.1 StrongREJECT ジャイルブレイク評価 | 0.22 | 0.83 |
| 人間が作成したジャイルブレイク評価 | 0.77 | 0.95 |
制限事項
o1-mini は STEM に特化しているため、伝記や日付、一般的なトリビアなどの非 STEM トピックに関する事実知識は、GPT-4o mini のような小型モデルと同程度です。OpenAI は今後のバージョンでこれらの制限に対処し、他のモダリティや専門領域への拡張を検討する予定です。
Sources
- OriginalOpenAI o1-mini