PhiloLabs/fable51-worlds
worlds via code, from fable 5.1
何を解決するか
このプロジェクトは、簡単なプロンプト(テキスト、画像、または動画)に基づいて歩行可能な3D仮想環境を生成します。従来の手動3DモデリングやピクセルベースのAI生成を置き換え、Webブラウザ上で現実世界の場所を正確に再現・編集可能な「世界はコードで」のアプローチを採用しています。
動作方法
このシステムは、AIエージェントスウォームのパイプラインを使用して、簡単なプロンプトをThree.jsアプリに変換します:
- 調査: リサーチエージェントが地図の幾何学、標高データ、道路仕様を収集します。
- アセット生成: スクリプトが建物、街路家具、植生などの必要3DコンポーネントをコードまたはJSON仕様として生成します。
- 実行時: Three.jsアプリがこれらのコンポーネントを組み合わせて歩行可能なシーンを構築します。
- 検証: Playwrightを使用してスクリーンショットを撮影し、実際の写真と比較。独立したレビューエージェント(建築家、地理学者)が欠陥を報告し、修正を行います。
対象ユーザー
アニメーション、ロボットシミュレーション、RPG用の合成環境、デジタルツイン、エージェントベースの世界構築に興味を持つ開発者、テクニカルアーティスト、研究者。
特徴
- コードベースの生成: すべての要素はプロプライエタリな3Dタイルやダウンロードされたメッシュではなく、コードによって生成されるため、差分(diff)で完全に編集可能。
- マルチモーダル入力: 1つの文、写真、または動画クリップから世界を生成可能。
- 検証可能な正確性: 実世界の写真との自動差分比較により、幾何学的・視覚的正確性を保証。
- ゲームエンジン不要: ブラウザで直接実行可能な軽量なThree.jsアプリとして提供。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト