GPT-5.6 Luna と GPT-6 Astra のコードレビュー比較

概要

GPT-5.6 Luna は、一般的なコードの正しさのレビューにおいてコスト効率の高い代替手段であり、GPT-6 Astra が検出する検証済みバグの75%を検出する一方で、コストはわずか3.6%にとどまります。しかし、認証や権限ロジックといったセキュリティに敏感な領域では、性能に顕著な差が見られ、人間または高能力モデルによる監視がなければ、高リスクのコードレビューには不適切です。

パフォーマンスとコストの比較

AI-Code-Review-Evals リポジトリの50件の公開プルリクエスト（Cal.com、Sentry、Discourse、Keycloak、Grafana のコードを含む）を対象に、GPT-5.6 Luna と GPT-6 Astra の実際のバグ検出能力を、スタイルやドキュメントの問題を無視して評価しました。

主要指標

指標	GPT-5.6 Luna	GPT-6 Astra
検出された検証済みバグ数	69	92
プレシジョン（検証済み/全検出数）	74%	96%
合計コスト（50 PR）	$0.20	$5.66
検証済みバグあたりのコスト	$0.0030	$0.061
レビュー平均所要時間	23s	36s

Luna のコスト優位性は顕著です。1回のレビューで約 $0.0041 に対し、Astra は $0.113 です。検証済みバグ1件あたりでは、Astra は Luna の20倍のコストがかかります。

モデルの弱点分析

セキュリティと権限のギャップ

Luna の性能は、アイデンティティおよびアクセス管理（IAM）コードのレビューにおいて急激に低下します。認証と権限ロジックに特化した Keycloak コードベースでは、Luna は検証済みバグを6件しか発見できず、Astra の14件に比べて大幅に劣ります。

バグクラス別に見ると、Luna は24件の検証済みセキュリティバグのうち9件しか特定できませんでしたが、Astra は19件を特定しました。ベンチマークは、低コストモデルが「グローバルなロジック」のバグに対処しづらいことを示しています。つまり、1行に現れないが、変更が全体の権限モデルに与える影響から生じるバグです。

プレシジョンとノイズ

Luna のプレシジョンは Astra に比べて著しく低いです。74%のプレシジョンという数値は、Luna の検出結果の4分の1が偽陽性であることを意味します。これは開発者にとって「ノイズ」の問題を引き起こし、偽陽性率が高すぎると AI の提案を無視するようになる可能性があります。

相補的な強み

Astra の全体的な優位性にもかかわらず、Luna は Astra が見逃した25件の検証済みバグを発見しました。全体の143件の検証済みバグのうち、44件は両モデルで検出されました。すべてのプルリクエストに両モデルを組み合わせて使用すれば、117件のバグ（全体の82%）を検出でき、合計コストは $5.86 でした。

コミュニティの知見と反論

業界の実務家たちは、これらのモデルを実際のワークフローに適用する上で、いくつかの重要な視点を提示しました。

偽陽性のコスト: 複数の開発者が、1 PRあたりの $0.10 の価格差は、偽陽性の調査にかかるエンジニアリングコストに比べて無視できると主張しました。あるユーザーは「偽陽性に対処するのは高コストだ」と指摘しました。
統合戦略: 一部は、AI を直接 CI/CD パイプラインに接続すべきではないと提言しました。代わりに、AI は PR 著者や人間のレビュアーが、ノイズをフィルタリングして著者に届く前に処理すべきだと述べました。
エージェントワークフロー: 経験豊富なユーザーは「コーディネーター」アプローチを推奨しました。たとえば、Fable のような高能力モデルが、複数の専門的なサブエージェント（Luna など）を調整し、複雑さやパフォーマンスといった特定領域に焦点を当てたレビューを実施した後、結果を統合する方法です。
「妥当性」の罠: ある開発者は、低能力モデルに過度に信頼しないように警告しました。「妥当に聞こえること」に長けているが、「実際に妥当であること」には長けていないため、人間が油断し、小さなエラーが蓄積されてシステム的な失敗を引き起こす可能性があると指摘しました。

メソドロジー

本研究では、意図的に欠陥を導入した50件の公開プルリクエストを使用しました。検出結果は二重判断システムで検証されました。つまり、GPT-6 Astra と GPT-5.6 Sol の両方が、それが実際のバグであると判断した場合にのみ「検証済み」とカウントされました。モデルには diff だけが提供され、追加のリポジトリ履歴やコールグラフは与えられませんでした。価格は、Luna の $0.20/$1.20（入力/出力）および Astra の $10/$50（100万トークンあたり）に基づいています。