PhiloLabs/fable51-worlds

worlds via code, from fable 5.1

何を解決するか

このプロジェクトは、簡単なプロンプト(テキスト、画像、または動画)に基づいて歩行可能な3D仮想環境を生成します。従来の手動3DモデリングやピクセルベースのAI生成を置き換え、Webブラウザ上で現実世界の場所を正確に再現・編集可能な「世界はコードで」のアプローチを採用しています。

動作方法

このシステムは、AIエージェントスウォームのパイプラインを使用して、簡単なプロンプトをThree.jsアプリに変換します:

  1. 調査: リサーチエージェントが地図の幾何学、標高データ、道路仕様を収集します。
  2. アセット生成: スクリプトが建物、街路家具、植生などの必要3DコンポーネントをコードまたはJSON仕様として生成します。
  3. 実行時: Three.jsアプリがこれらのコンポーネントを組み合わせて歩行可能なシーンを構築します。
  4. 検証: Playwrightを使用してスクリーンショットを撮影し、実際の写真と比較。独立したレビューエージェント(建築家、地理学者)が欠陥を報告し、修正を行います。

対象ユーザー

アニメーション、ロボットシミュレーション、RPG用の合成環境、デジタルツイン、エージェントベースの世界構築に興味を持つ開発者、テクニカルアーティスト、研究者。

特徴

  • コードベースの生成: すべての要素はプロプライエタリな3Dタイルやダウンロードされたメッシュではなく、コードによって生成されるため、差分(diff)で完全に編集可能。
  • マルチモーダル入力: 1つの文、写真、または動画クリップから世界を生成可能。
  • 検証可能な正確性: 実世界の写真との自動差分比較により、幾何学的・視覚的正確性を保証。
  • ゲームエンジン不要: ブラウザで直接実行可能な軽量なThree.jsアプリとして提供。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト