OpenAI、低リソースプログラミング言語におけるコーディング機能を向上

当社の最新モデルの進歩により、COBOL、Fortran、Visual Basicなどの低リソースプログラミング言語で書かれたソフトウェアの構築と移行において、より強力な機能が提供されます。これらの言語は重要なグローバルインフラを支えています（例えば、COBOLはオンラインバンキングシステムの40%以上を支えています）が、PythonやJavaScriptなどの言語と比較して、モデルが学習できるコードやドキュメントが少ないという特徴があります。

この取り組みは、ドキュメントが不完全で、ビジネスルールがコード内にのみ存在することが多いこれらの言語でのソフトウェアの保守と近代化において、開発者が直面する困難に対処するものです。モデルは、既存のコーディングモデルがこれらの特定の言語で苦労していると指摘した開発者やエンタープライズ顧客からのフィードバックによって導かれました。

進捗を測定するために、OpenAIは2つの補完的な評価を開発しました：新しいソフトウェアを構築する能力をテストするMultiLangBenchと、既存のソフトウェアの動作を維持する能力をテストするCOBOL移行評価です。

MultiLangBench：言語横断でのソフトウェア構築

MultiLangBenchは、モデルが指定されたプログラミング言語でSQLite互換のデータベースエンジンをゼロから構築することを要求します。この評価は、コードベースの整理、状態管理、エラー処理、既存機能を維持しながらの新機能追加におけるモデルの能力を評価します。

言語間で一貫したテストを確実にするため、評価ではデータベースファイルを共有インターフェースとして使用します。候補プログラムは初期データベースとSQLクエリを受け取り、変更されたデータベースを生成し、それが参照SQLite実装と照合されます。

GPT-6 Astraのパフォーマンス

最大推論 effort で、GPT-6 Astraは20のプログラミング言語で平均テスト合格率87.4%を達成し、GPT-5.6 Solが達成した26.8%から大幅に増加しました。テストされたすべての言語で改善が見られ、COBOL（10.9%から72.1%へ）、OCaml（25.6%から85.8%へ）、Fortran（21.4%から83.5%へ）、Visual Basic（27.5%から89.4%へ）が含まれます。Astraは20言語中19言語で83%以上をスコアし、COBOLが72%で最も困難なままです。

コスト効率の高いオプション：GPT-6 Luna

GPT-6 Lunaは低コストのオプションを提供し、テストされたすべての言語でGPT-5.6 Solを上回ります。最大推論 effort で、平均テスト合格率40.3%に達しました。これらの成果は、サンプルあたり推定平均APIコスト$0.77で達成され、GPT-5.6 Solの$3.48のコストより約78%低くなっています。

COBOL移行評価：ビジネスロジックの維持

2番目の評価は、モデルが既存のCOBOLプログラムをC++、Java、Kotlin、Python、Rustなどの現代的な言語に、プログラムの元の機能を厳密に維持しながら移行することを課題とします。移行の成功には、モデルがプログラムのビジネスロジックとCOBOL固有の言語動作の両方を理解する必要があります。

例えば、COBOLプログラムは、丸め規則などの詳細が重要となる金融取引を頻繁に処理します。COBOLの固定小数点演算は、例えば、明示的に丸めが要求されない限り、余分な小数桁を破棄します。評価では、観測可能な出力のバイト単位の一致を要求する隠しテストを使用して、モデルがこれらの動作を維持するかどうかをテストします。

移行精度とコスト

この移行評価では、GPT-6.1 Solは低推論 effort で86.6%の精度を達成し、同じ設定でのGPT-5.6 Solのわずか5.4%と比較して、コストは61%削減されました。推論 effort を増加させると、精度は97.9%に達し、評価は飽和に近づきました。これらの結果は、レガシーシステムを近代化する企業にとって、より正確で手頃なコード移行への大きな進歩を示しています。

エンタープライズソフトウェア開発への影響

これらの評価は、エンタープライズ顧客からの直接のフィードバックと組み合わせることで、モデルがより広範な言語にわたってソフトウェアエンジニアリングスキルを適用する能力が大幅に向上していることを示しています。全体的な目標は、モデルが馴染みのないリポジトリの理解、変更の計画、ビルドツールの利用、テストの実行、デバッグの失敗などのタスクを処理できるようにすることです。

開発者は、GitHubでMultiLangBench評価セットアップとテストスイートにアクセスして、評価基準を検査し、特定の言語でのパフォーマンスを確認できます。ユーザーは、将来のトレーニングと評価の取り組みを形作るために、モデルのパフォーマンスに関するフィードバックを提供することが推奨されます。