OpenAI gpt-oss リリースノート
OpenAIは、gpt-oss-120b と gpt-oss-20b の2つの最先端オープンウェイト言語モデルをリリースしました。これらは高性能な推論と効率的なデプロイを目的に設計されています。Apache 2.0の下でライセンスされており、消費者向けハードウェアに最適化され、強化学習とOpenAIの最前線システム(o3 を含む)から派生した手法で訓練されています。
モデルの能力とベンチマーク
gpt-ossモデルは、推論、ツール使用、指示遵守において実世界で高い性能を発揮し、特にSTEM、コーディング、一般知識に強みがあります。
パフォーマンス比較
- gpt-oss-120b: コア推論ベンチマークでOpenAI o4-miniにほぼ同等の性能を達成します。競技プログラミング(Codeforces)、一般的な問題解決(MMLU と HLE)、ツール呼び出し(TauBench)においてo4-miniと同等または上回り、競技数学(AIME 2024 & 2025)およびHealthBenchによる健康関連クエリではo4-miniを上回ります。
- gpt-oss-20b: 同様の評価でOpenAI o3-miniと同等または上回り、健康分野と競技数学においてo3-miniを上回ります。
主な特徴
- Reasoning Effort(推論努力): oシリーズモデルと同様に、gpt-ossは低・中・高の3つの推論努力レベルをサポートし、システムメッセージを通じて開発者がレイテンシと性能のトレードオフを行えるようにします。
- Tool Use(ツール使用): これらのモデルは、数ショットでの関数呼び出しやエージェントワークフローにおいて強力な能力を示し、Pythonコードの実行やウェブ検索を含みます。
- Structured Outputs(構造化出力): 両モデルとも構造化出力をサポートし、Responses APIと互換性があります。
技術アーキテクチャ
両方のgpt-ossモデルは、Mixture-of-Experts(MoE)を備えたTransformerアーキテクチャを採用し、処理中のアクティブパラメータ数を最適化しています。
| モデル | レイヤー数 | 総パラメータ数 | アクティブパラメータ/トークン | 総エキスパート数 | アクティブエキスパート/トークン | コンテキスト長 |
|---|---|---|---|---|---|---|
| gpt-oss-120b | 36 | 117B | 5.1B | 128 | 4 | 128k |
| gpt-oss-20b | 24 | 21B | 3.6B | 32 | 4 | 128k |
アーキテクチャの詳細
- Attention Mechanism(注意機構): モデルは、密集型と局所的にバンド化されたスパース注意パターンを交互に使用し、メモリ効率のためにグループ化されたマルチクエリ注意(グループサイズ8)と組み合わせています。
- Positional Encoding(位置エンコーディング): Rotary Positional Embedding(RoPE)を使用し、最大128kトークンのネイティブコンテキスト長をサポートします。
- Tokenizer(トークナイザー): モデルは
o200k_harmonyを使用します。これはGPT-4o と o4-mini で使用されるトークナイザーの上位互換で、OpenAIもオープンソース化しています。
トレーニング後とChain-of-Thought
これらのモデルは、監督付きファインチューニング段階を経て、OpenAI Model Spec に合わせるために高計算リソースの強化学習(RL)段階を実施しました。
非監督型Chain-of-Thought(CoT)
OpenAIは、いずれのモデルに対してもChain-of-Thought(CoT)に直接的な監督を行いませんでした。この設計選択により、研究者はモデルの誤動作、欺瞞、悪用を監視できます。OpenAIは、CoTが幻覚や安全ポリシーに違反するコンテンツを含む可能性があるため、開発者に対してユーザーに直接見せないよう助言しています。
安全性とリスク緩和
安全性は、マルチステージのトレーニングと敵対的テストを通じてgpt-ossリリースに統合されました。
トレーニングとアラインメント
- Pre-training(事前学習): 化学、生物学、放射線、核(CBRN)リスクに関連する有害データは除外されました。
- Post-training(事後学習): 熟慮されたアラインメントと指示階層を使用し、プロンプトインジェクションを防止し、安全でないプロンプトを拒否するようにしました。
敵対的ファインチューニング
悪意あるファインチューニングのリスクを評価するため、OpenAIは専門的な生物学およびサイバーセキュリティデータを用いて、拒否しないバージョンのモデルを作成しました。Preparedness Framework に基づくテストでは、これらの悪意あるファインチューニングモデルは、OpenAI の内部トレーニングスタックを使用しても高い能力レベルに到達できないことが示されました。
レッドチーミング
OpenAIは、500,000ドルの賞金を設けたレッドチーミングチャレンジを開催し、新たな安全性課題を特定します。結果に基づくレポートとオープンソースの評価データセットを公開することを目的としています。
利用可能性とデプロイメント
重みはHugging Faceで入手可能で、MXFP4でネイティブに量子化され、メモリ要件を最小化しています。
- gpt-oss-120b: 80GBのメモリ内で動作します(例:単一の80GB GPU)。
- gpt-oss-20b: 16GBのメモリだけで動作し、エッジデバイスやローカル推論に適しています。
エコシステムサポート
- Software(ソフトウェア): OpenAIはPythonとRustでハーモニー・レンダラーをオープンソース化し、PyTorchとAppleのMetalプラットフォーム向けのリファレンス実装を提供しています。
- Partners(パートナー): デプロイはAzure、Hugging Face、vLLM、Ollama、llama.cpp、LM Studio、AWS、Fireworks、Together AI、Baseten、Databricks、Vercel、Cloudflare、OpenRouter など主要プラットフォームでサポートされています。
- Hardware(ハードウェア): 性能はNVIDIA、AMD、Cerebras、Groqハードウェア向けに最適化されています。
- Windows Integration(Windows統合): MicrosoftはONNX Runtimeを通じてWindowsデバイス向けにGPU最適化されたgpt-oss-20bを提供しており、Foundry Local と VS Code 用 AI Toolkit で利用可能です。
Sources
- OriginalIntroducing gpt-oss