Pantheonベンチマーク：パラメトリック3DモデリングにおけるLLMの能力テスト

大規模言語モデル（LLM）とコンピュータ支援設計（CAD）の交差点は、単純な基本形状から複雑な建築物の再構築へと移行しています。スクリプトベースの3DモデラーであるOpenSCADに焦点を当てた最近のベンチマークでは、パンテオンを再現することに挑戦させることで、いくつかのトップクラスのAIエージェントをテストしました。その結果は、モデルが視覚的に印象的な「ワンショット」のアセットを生成する能力と、信頼できるエンジニアリングツールとしての有用性の間に、大きな隔差があることを浮き彫りにしています。

ベンチマーク：パンテオンの再構築

このベンチマークは、さまざまなLLMやエージェントに対し、パンテオンを再現するためのOpenSCADコードを生成するタスクを課しました。目的は、これらのモデルが視覚的なリファレンスや建築知識を、いかに正確なパラメトリック3Dコードへと変換できるかを評価することでした。

結果によると、Antigravity 2.0がトップパフォーマーとして浮上しました。最も注目すべき点は、それがパンテオンの特徴的な内部天井パターン（オクルスを通して見える繰り返しの正方形の格天井）を実装した唯一の自律型エージェントであったことです。この詳細レベルは、提供された画像と、建物の建築に関するモデルの内部トレーニングデータとの間に、高度な合成が行われていることを示唆しています。

「トレーニングデータ」を巡る論争

結果は素晴らしいものですが、コミュニティは、実際に何がテストされているのかについて批判的な疑問を投げかけています。パンテオンは歴史上最も記録が残っている建物の一つであるため、批判的な意見では、このベンチマークは「空間的推論」ではなく「記憶」をテストしている可能性があると主張されています。

"内部ドームのパターンは、どちらの写真にも写っていません。したがって、モデルは写真と名前を取得し、検索またはトレーニングデータを通じて、内部にパターンがあるべきであることを知っていたのです。"

ユーザーの @ecshafer は次のように述べています。

この見解は、ベンチマークが「ToDoアプリのワンショット生成」に似ていることを示唆しています。つまり、モデルがトレーニングセットの中で何千回も見てきたタスクです。真に堅牢なベンチマークにするためには、既知の名前の恩恵を受けずに、提供されたリファレンスのみに基づいて匿名構造物をテストすることをユーザーは提案しています。

実用的な有用性：建築からエンジニアリングへ

ベンチマークを超えて、LLM駆動のOpenSCADの現実世界での応用は、成功の幅広さを示しています。一部のユーザーは、デジタルノギスによる測定値と写真のみを使用して、Claudeを用いて自転車のグロメット用の完璧にパラメトリック化された交換部品を生成した、という「魔法のような」体験を報告しています。

しかし、他のユーザーは、「まともなドラフト」から「最終的な部品」への移行が主な障壁であると考えています。AIがレンダリングされた出力を「見て」、公差（許容誤差）を反復的に調整できないという、緊密なフィードバックループの欠如が、大きな課題として残っています。

AI-CADワークフローにおける主な課題：

公差と適合性： ユーザーは、AIがスナップフィットやvase-modeプリントにおいて、0.1mmの差が機能的な部品か廃棄物かを分けるという、精度が必要な場面でしばしば苦戦すると報告しています。
反復ループ： 現在のワークフローは、モデルが自身のコードの3D結果をネイティブに認識できないため、「デバッグと期待」という、もどどかしいサイクルの繰り返しであることが多いです。
機能的 vs 審美的： メッシュのような建築モデル（審美的）を生成することと、技術仕様書に基づいてエンクロージャー（筐体）を作ること（機能的）の間には、明確な隔たりがあります。一部のユーザーは、Claudeが正確なネジ穴やマウントを備えたPSUエンクロージャーを正常に構築できることを見つけましたが、これは有名な建物を再構築することよりも、より意味のある成果であると見なされました。

「エージェント」対「モデル」の論争

これらのベンチマークの勝者について、技術的な区別が必要です。@UncleOxidant が指摘したように、Antigravity は「モデル」ではなく「エージェント/ハーネス」です。パフォーマンスは、エージェントが基盤となるモデル（おそらく Gemini）をどのようにオーケストレートしているかの結果です。

この区別は極めて重要です。なぜなら、基盤となるモデル自体は強力であっても、エージェントのユーザー体験（UX）は大きく異なる可能性があるからです。いくつかのユーザーは、Antigravity IDEとTUIにおいて、入力の不具合、攻撃的な使用制限、デプロイメントのバグが原因で不満を表明しています。これは、現在のAIブームにおける繰り返されるテーマを、モデルのベンチマークスコアと実際の消費者体験との間の隔たりを浮き彫りにしています。

AI-CADへの道筋

LLMが「バイブス・コーディング（感覚的なコーディング）」からプロフェッショナルなエンジニアリングへと移行するためには、コミュニティはいくつかの進化を提案しています：

CAD用のユニットテスト： プロファイルが特定の傾斜を超えないようにしたり、交差が null であることを確認するためのアサーションを実装すること。
特化型モデル： OpenSCAD よりもプロフェッショナルなCAD標準に近い CadQuery のような、機械工学ワークフローやツールに特化してトレーニングされたモデルへの移行。
より良いフィードバックループ： AIをレンダリングエンジンに直接統合し、視覚的または幾何学的なエラーに基づいてモデルをモデルを反復的に洗練させること。

AIの「ゴールポスト」は移動し続けていますが、プロンプトから複雑な 3D 構造を生成する能力は大きな前進です。これらのツールが最終的に Autodesk のような業界の巨人をディスラプト（破壊的変革）するかどうかは、既知のランドマークを「浅い魔法」と「機能的で精密なエンジニアリングリング」の世界へと、いかに進化させられるかにかかっています。