OpenAI が EVMbench を紹介

OpenAI と Paradigm は、AI エージェントが高深刻度のスマートコントラクト脆弱性を検出、修正、悪用する能力を測定するベンチマーク、EVMbench を導入しました。このツールは研究者が新たに出現するサイバーリスクを追跡できるようにし、数十億ドル規模の暗号資産を保護するスマートコントラクトの監査と強化に AI の防御的利用を促進します。

EVMbench データセットと環境

EVMbench は、40 件の監査から抽出された 117 件の厳選された脆弱性で構成されており、主にオープンコード監査コンペティションから取得されています。また、ベンチマークは高スループット・低コストのステーブルコイン決済を目的としたレイヤー1 ブロックチェーンである Tempo のセキュリティ監査プロセスから得られた脆弱性シナリオも組み込んでおり、決済志向のスマートコントラクトコードに基づいたベンチマークとなっています。

再現性と客観的な評価を保証するため、OpenAI は Rust 製のハーネスを開発し、以下の特性を備えています：

• Isolated Execution: エクスプロイトタスクはライブネットワークではなく、ローカルの Anvil 環境で実行されます。
• Deterministic Replay: ハーネスはコントラクトをデプロイし、エージェントのトランザクションを決定的にリプレイします。
• Security Constraints: システムは環境の整合性を保つために安全でない RPC メソッドを制限します。
• Task Validation: 環境は既存の概念実証エクスプロイトとデプロイスクリプトを適応させて作成され、Paradigm と自動タスク監査エージェントによる追加の品質管理が行われました。

評価モードとモデル性能

EVMbench は、AI エージェントを 3 つの異なる能力モードで評価します：

検出

エージェントはスマートコントラクトリポジトリを監査し、真の脆弱性のリコール率と関連する監査報酬に基づいてスコアが付けられます。このモードのパフォーマンスは現在限定的で、エージェントが単一の問題を見つけた時点で監査を終了してしまい、徹底的な監査を行わないことがあります。

修正

エージェントは脆弱なコントラクトを修正し、エクスプロイト可能性を排除しつつ意図された機能を保持しなければなりません。成功は自動テストとエクスプロイトチェックで検証されます。完全な機能を維持しながら微細な脆弱性を除去することは、現行モデルにとって大きな課題です。

悪用

エージェントはサンドボックス環境内でデプロイされたコントラクトに対し、資金を全て引き出すエンドツーエンドの攻撃を実行します。採点はトランザクションのリプレイとオンチェーン検証によりプログラム的に行われます。

エクスプロイトモードにおいて、GPT-5.3-Codex (via Codex CLI) は 71.0% のスコアを達成し、約 6 ヶ月前に 33.3% を記録した GPT-5 に比べて大幅に改善されました。

ベンチマークの制限

EVMbench は実世界のスマートコントラクトセキュリティの全複雑性を捉えているわけではありません。主な制限は以下の通りです：

• Scope of Vulnerabilities: 脆弱性は Code4rena コンペティションから抽出されており、広くデプロイされているコントラクトはより厳しい検証を受けることが多く、悪用が困難になる可能性があります。
• Grading Constraints: 'detect' モードでは、システムは人間の監査者が見落とした脆弱性のエージェントによる発見が真陽性か偽陽性かを現在判定できません。
• Structural Constraints: エクスプロイト設定はメインネットのフォークではなくクリーンなローカル Anvil インスタンスを使用し、トランザクションを順次リプレイするため、正確なタイミングメカニズムに依存する挙動は対象外です。
• Environment Limits: ベンチマークは現在、単一チェーン環境のみをサポートしており、場合によってはモックコントラクトの使用が必要になります。

防御的イニシアチブとサイバー保護策

サイバーセキュリティ能力は二重用途であるため、OpenAI は防御を加速し悪用を遅らせる証拠ベースのアプローチを実施しています。これらの取り組みには以下が含まれます：

• Technical Mitigations: 安全性トレーニング、自動モニタリング、脅威インテリジェンスの実装パイプライン、高度な機能への信頼されたアクセスの利用。
• Ecosystem Support: セキュリティリサーチエージェントである Aardvark のプライベートベータを拡大し、広く利用されているオープンソースプロジェクトに対して無料のコードベーススキャンを提供します。
• Financial Commitment: OpenAI はサイバーセキュリティ助成プログラムを通じて、オープンソースソフトウェアおよび善意のセキュリティ研究に従事する重要インフラシステムを支援するため、1,000 万ドル相当の API クレジットを提供することを約束しています。