WorldClaw: 大規模なエージェント型3Dオープンワールド生成

WorldClawは、単一のテキストプロンプトを、探索・編集可能な3Dワールドへと変換します

WorldClawは、完全なエージェント型であり、粗い表現から詳細な表現へと移行するフレームワークです。オープンエンドな記述（例：「雪を頂いた山々、平原、水辺、砂漠がある中世風の村」）を受け取り、地形とすべてのオブジェクトが個別の編集可能なインスタンスとして存在する大規模な3Dシーンを生成します。

コアとなる貢献：エージェントによるプランニングが、詳細を追加しながらグローバルな整合性を維持する

Intent analysis（意図分析）：プロンプトに明示された制約のみを抽出することで、ハルシネーション（もっともらしい嘘）を回避します。
Scene planning（シーンプランニング）：曖昧さを解消し、領域、地形の制約、オブジェクトの制約をリスト化した構造化された仕様 (P = (R, C_{terrain}, C_{object})) を生成します。
Global terrain generation（グローバル地形生成）：セマンティックなレイアウトマップ、再利用可能なアセットプロトタイプ、およびプロシージャルに生成されたマテリアルから、領域を認識したハイトフィールドを構築します。マルチ周波数のノイズと地形変形オペレータが、セマンティックな意味を保持しながら、不規則な境界を越えて地形をブレンドします。
Regional object generation（領域オブジェクト生成）：地形と互換性のある領域を選択し、カメラビューをレンダリングし、地形条件付きのコンポジション画像を生成し、インスタンスをセグメンテーションし、テクスチャ付きメッシュを再構築します。配置変換は地形に対するレイキャスティングによって復元され、リファインメントエージェントがポーズ、スケール、接触を反復的に修正します。
Render-guided refinement loops（レンダリングガイド付きリファインメントループ）：すべての編集後に実行され、エージェントがシーングラフではなく画像内で直接失敗を検出できるようにします。

その結果、すべてのメッシュが独立した再利用可能なアセットとして残り、ダウンストリームの編集、アニメーション、またはゲームエンジンへのインポートに即座に利用できるワールドが実現します。

アーキテクチャの概要

ステージ	入力	出力	主要エージェント
Intent analysis & planning	テキストプロンプト (q)	構造化された仕様 (P)	LLM駆動の意図エージェント
Global terrain generation	セマンティックレイアウト (I_{layout}), アセットプロトタイプ (O_{asset}), マテリアルセット (M_{terrain})	ハイトフィールド (H(x)) および地形メッシュ	地形プランニング + レンダリング検査ループ
Regional object generation	領域固有のコンポジション (I_{comp}^r)	配置変換 (T_{place}^i) を持つ編集可能なメッシュ (M_i)	オブジェクトエージェント + 地形接触エージェント
Refinement	レンダリングされたシーン	更新されたジオメトリ、マテリアル、および配置	レンダリングガイド付きエージェント

デモの内容

4つのワールドがパイプラインの広範な能力を示しています：

Snowline village – 山、平原、水辺、砂漠のパッチを含むマルチバイオーム地形。
Canyon settlement – 急峻な崖と狭い谷。
Tropical island – 豊かな植生と海岸線。
Arctic outpost – 氷の平原と凍った湖。いずれの場合も、地形は連続的なハイトフィールドであり、すべてのオブジェクト（家、岩、木、動物）は、移動、編集、または置換が可能な個別のテクスチャ付きメッシュです。

Hacker Newsでのコミュニティの反応

avaer: このシステムは単一のモデルではなく、LLM、画像モデル、3DツールをオーケストレートするPythonスクリプトの集合体です。斬新な点は、コンポジションに画像モデルを使用し、その後SAM-3Dのような手法で3Dオブジェクトを抽出していることです。

cautiouscat: プロシージャルなワールドは、SkyrimやCyberpunkのようなタイトルにあるような手作り感のあるストーリーテリングに欠けています。WorldClawは、特に大量生産されるガチャゲーの迅速なプロトタイピングには有用ですが、深く作り込まれたオープンワールドを求めるプレイヤーを満足させることはできないかもしれません。

cobertos: 生成された配置の中に、不注意に見えるもの（例：水上の建物）があります。これは、例が選りすぐりである可能性があり、手動のキュレーションなしでは低品質な結果を生成する可能性があることを示唆しています。

2001zhaozhao: この技術は人間とAIの著作権の境界を曖昧にし、クレジットや最終的なゲームワールドの背後にある人間の労力の量について疑問を投げかけています。

m00dy & others: ソースコードが公開されていないため、再現性とコミュニティへの導入が制限されています。

これらのコメントは、技術的な斬新さと、リアリズム、芸術的意図、およびオープン性に関する実用的な懸念の両方を浮き彫りにしています。

限界と未解決の課題

アセットの階層構造とパラメトリック制御 – 現在の生成バックボーンは明示的なパーツ階層や関節構造を出力しないため、ダウンストリームのアニメーションや物理演算が制限されます。
エンジン統合 – WorldClawはBlender互換のアセットを出力しますが、大規模なゲームには、まだ対処されていない実行時のプロシージャル生成、ナビゲーションメッシュ、および物理演算が必要です。
品質の一貫性 – 一部の領域ではオブジェクトの配置ミスや漫画的な地形が見られ、より強力な空間推論または生成後の検証の必要性を示しています。
再現性 – 公開されたスクリプトがないため、コミュニティは結果を検証したり、他のPCGパイプラインと比較してベンチマークをとったりすることができません。

著者らによる将来の方向性

コードネイティブな3Dモデリング – 現在のBlenderノードグラフ生成をオブジェクトに拡張し、編集可能なパラメトリックモデル、マテリアルロジック、およびモーション制約を生成します。
プロダクションエンジンパイプライン – WorldClawのプランニングステージをエンジン側のツール（例：UnrealやUnityのプロシージャルフォリッジ、NavMesh生成）と結合し、完全にプレイ可能なワールドを提供します。
スタイルの多様化 – デフォルトの「MMOカートゥーン」ルックを超えたスタイル転送を探索し、Witcherスタイルの中世やサイバーパンクにインスパイアされた建築物のような、写実的またはジャンル特有の美学を目指します。

なぜ今、WorldClawが重要なのか

WorldClawは、意図のためのLLM、コンポジションのための画像モデル、およびリファインメントのためのレンダリングガイド付きループという、専門化されたエージェントの階層が、3つの古典的なオープンワールド生成問題（グローバルな空間的一貫性、豊かなローカルコンテンツ、および明示的で編集可能なアセット）を共同で解決できることを示しています。もしこのパイプラインがオープンになり、リアルタイムエンジンと統合されれば、インディースタジオのAAA規模のワールド作成を民主化し、大手パブリッシャーのコンテンツ生成を加速させる可能性があります。

参考文献

Guo, C., Li, J., Li, Y., & Huang, Z. (2026). WorldClaw: Agentic 3D Open‑World Generation at Scale. arXiv preprint arXiv:2608.05248. https://arxiv.org/abs/2608.05248