PhiloLabs/fable51-worlds

해결하는 문제

이 프로젝트는 간단한 프롬프트(텍스트, 이미지, 또는 비디오)를 기반으로 걷기 가능한 3D 가상 환경을 생성합니다. 전통적인 수작업 3D 모델링이나 픽셀 기반 AI 생성을 대체하여, 웹 브라우저에서 현실 세계 장소를 정밀하고 검증 가능하며 편집 가능한 방식으로 재구성할 수 있는 '세계는 코드다' 접근법을 채택합니다.

작동 방식

이 시스템은 AI 에이전트 스웜의 파이프라인을 사용하여 간단한 프롬프트를 Three.js 애플리케이션으로 변환합니다:

1. 정찰: 리서치 에이전트가 지도 기하학, 고도 데이터, 도로 사양을 수집합니다.
2. 자산 생성: 스크립트가 건물, 도로 가구, 식생 등의 필요한 3D 컴포넌트를 코드 또는 JSON 사양으로 생성합니다.
3. 런타임: Three.js 앱이 이러한 컴포넌트를 조합하여 걷기 가능한 장면을 구성합니다.
4. 검증: Playwright를 사용해 스크린샷을 캡처하고 실제 사진과 비교하며, 독립적인 리뷰 에이전트(건축가, 지리학자)가 결함을 보고하여 수정합니다.

대상 사용자

애니메이션, 로봇 시뮬레이션, RPG용 합성 환경, 디지털 트윈, 에이전트 기반 세계 구축에 관심 있는 개발자, 기술 아티스트, 연구자.

주요 특징

• 코드 기반 생성: 프로퍼리터리 3D 타일이나 다운로드된 메시가 아닌 코드로 모든 요소를 생성하여, diff를 통해 완전히 편집 가능합니다.
• 다중 모달 입력: 한 문장, 사진, 또는 비디오 클립 하나로 세계를 생성할 수 있습니다.
• 검증 가능한 정확성: 실제 사진과의 자동 차이 비교를 통해 기하학적 및 시각적 정확성을 보장합니다.
• 게임 엔진 필요 없음: 브라우저에서 직접 실행 가능한 가벼운 Three.js 앱으로 제공됩니다.