EEBench: 回路基板設計におけるAIの能力を評価するベンチマーク

AIは特定の回路設計問題を解けるようになったが、完全なシステムの自律性はまだ遠い

AIモデルは機能的な電子回路の設計がますます可能になっており、現在は部品選定や回路図の論理設計において特に優れた成果を上げていますが、自律的な物理的レイアウトにはまだ至っていません。先端モデルは電源喪失時の電圧レールの維持といった複雑な工学的トレードオフを解くことができるようになっていますが、物理的な配線や最終的なハードウェア検証については依然として人間の監視が必要です。

EEBench: シミュレーションベースの評価フレームワーク

AIが生成した電子回路の品質を測定することは困難です。なぜなら、グラフィカルなCADツールはエージェントが操作しにくいからです。EEBenchは、atopile と呼ばれる宣言型のコードベースの回路表現を用いることでこの問題を解決します。これにより、AIエージェントはGUIをクリックして操作するのではなく、部品、接続、電気的制約を直接扱うことができます。

評価の仕組み

EEBenchはSPICEシミュレーションに基づく完全に決定論的な評価システムを使用しています。回路図が「妥当に見えるか」ではなく、以下の手順で評価します：

提出された設計を構築し、回路グラフと部品表（BOM）を生成します。
SPICEシミュレーションを実行して、特定の電気的挙動（例：利得、リップル、過渡応答）を測定します。
耐容差の隅（tolerance corners）をテストし、部品が名義値からずれた場合でも回路が動作することを確認するためにSPICEデッキを再構築します。
コスト効率を評価しますが、コストは回路が機能することを証明した後のみ考慮されます。

実世界の工学的制約

EEBenchはAIが「現実の複雑さ」を扱う能力をテストします。たとえば、住宅用電力量計のタスクでは、電源喪失後20ms間プロセッサを稼働させなければなりません。成功するモデルは、セラミックコンデンサが電圧が高くなるほど静電容量を失うという事実を考慮し、理想の教科書値ではなく、実際のメーカー部品で入手可能で比較的安価な部品を選ばなければなりません。

モデルのパフォーマンスとリーダーボード結果

最近の結果から、先端モデルにおける工学的能力の飛躍的な進歩が示されています。2026年9月現在、EEBench V1リーダーボードでトップを走るモデルは以下の通りです：

モデル	スコア
GPT-6 Astra	69.3%
Claude Opus 5	61.6%
Grok 4.6	57.1%
Claude Fable 5.1	56.4%
Gemini 3.8 Flash	55.4%

注目すべきは、xAIがGrok 4.6のモデルカードに「工学的加速（engineering acceleration）」の項目としてEEBenchを統合している点です。これは、先端研究ラボがこれらのベンチマークを用いてモデルのハードウェア開発支援能力を定量的に測定していることを示しています。

実用的な応用とユーザーの知見

経験豊富なPCB設計者からのコミュニティフィードバックは、AIの利用が単なる簡単な提案から、積極的な協働と検証へとシフトしていることを示しています。

成功事例

迅速なプロトタイピング：ClaudeやGPTモデルを用いて、LEDイヤリングやVGAモノクロ画像生成器など、機能的な回路を設計するユーザーがおり、手動での修正はわずかにとどまっています。
レビューとデバッグ：AIはPDF形式の回路図やネットリストをレビューし、人間が見逃した誤り（例：ピンの誤配置、デカップリングコンデンサの欠落）を発見するために使用されています。
スクリプトによる設計：一部の開発者は、Skidlを介してLLMから決定論的なPythonスクリプトを生成し、KiCadファイルを作成することで、手入力エラーのリスクを低減しています。

現在の制約

回路図設計の進歩とは対照的に、物理的なPCBレイアウトは依然として大きなボトルネックです。ユーザーは以下の点を指摘しています：

配線は依然課題：AIは部品配置の提案はできるものの、自律的な配線はしばしば失敗し、人間の介入が大きく必要です。
物理的フィードバックの欠如：ソフトウェアとは異なり、ハードウェアは即座に「イテレーション」できません。誤った接続が生じると、部品が破損（例：溶けたUSB-Cポート）し、高価な製造サイクルが発生します。
暗黙の知識の欠如：経験豊富な設計者は、AIが接地ループの管理や複雑なRFテクニックといった、明示的な指示やデータシートなしでは得られない「伝統的知識（tribal knowledge）」をまだ持っていないと主張しています。

電子工学におけるRLの道筋

EEBenchは決定論的な報酬信号（シミュレーションに基づく成功／失敗）を提供するため、強化学習（RL）の基盤となります。失敗した実行は、どの電圧が限界に達しなかったか、どの動作隅で失敗したかといった正確なデータを提供し、研究室が電子工学専用にモデルを訓練できるようにします。この「設計→シミュレーション→評価→改善」のループは、「教科書知識」から「工学的直感」への移行を加速することが期待されています。