wesbos/3d-model-anything

Capture iPhone LiDAR and photos, reconstruct editable Three.js rooms, and explore them in a browser.

기능 설명

3D Model Anything은 실제 방을 웹 브라우저에서 볼 수 있는 편집 가능한 3D 모델로 변환하기 위한 워크플로우입니다. iPhone으로 방을 캡처(방의 기하학적 구조와 사진 기록)하면, AI 코딩 에이전트가 해당 데이터를 사용하여 Three.js 장면(수정 가능하고 다양한 각도에서 볼 수 있는 3D 모델)을 구축합니다.

이 프로젝트는 원클릭 변환기가 아닙니다. 반복적인 프로세스입니다. iPhone 앱이 원시 데이터를 기록하고, 별도의 "스킬"(AI 코딩 에이전트를 위한 일련의 지침)이 에이전트를 안내하여 측정, 모델링, 그리고 정확도를 확인하기 위해 렌더링된 뷰와 원본 사진을 비교하는 과정을 수행합니다. 현재는 방과 실내 공간에 중점을 두고 있습니다.

저장소 구성 요소

  • iPhone 캡처 앱(소스 코드만 포함; App Store 릴리스는 포함되어 있지 않으며 아직 존재한다고 가정해서는 안 됩니다)
  • 재구성된 방을 탐색하기 위한 웹 기반 3D 뷰어(돌하우스, 워킹, 오버헤드, 와이어프레임, 놀링 뷰)
  • "scan-to-threejs" 에이전트 스킬—AI 에이전트가 재구성을 수행하기 위해 따르는 지침
  • 실제 캡처 데이터로 구축된 데모 사무실 장면

간단한 사용 방법

  • 데모 보기: Node.js 22.12 이상이 필요합니다. npm ci를 실행한 후 npm run dev를 실행하고 http://localhost:5188 에 접속하세요. 데모 사무실에는 재구성된 모델과 선택된 텍스처만 포함되어 있습니다. 원본 스캔 데이터와 사진은 배포되지 않으므로 스캔 및 오버레이 기능은 데모에서 비활성화되어 있지만, 직접 캡처한 데이터로는 작동합니다.
  • 나만의 공간 캡처: LiDAR가 탑재된 iPhone 또는 iPad가 필요합니다. LiDAR가 없는 기기는 스캔을 가져와 검토할 수는 있지만 캡처는 불가능합니다. 시스템 공유 시트를 통해 방을 내보낸 후 data/captures-in/<room>/ 디렉토리로 추출하세요.
  • AI 에이전트 실행: 로컬 스킬을 지원하는 에이전트에서 저장소를 열고 .agents/skills/scan-to-threejs/SKILL.md 경로의 스킬을 지정한 다음, 추출한 내보내기 파일에서 방을 재구성하도록 요청하세요. 편집 가능한 장면이 생성되고 렌더링된 뷰와 원본 사진이 비교됩니다.

요구 사항 및 기타 사항

스킬의 헬퍼 스크립트에는 Python 3와 사진 비교를 위한 Pillow가 필요합니다. 선택적인 깊이 재구성에는 NumPy와 Open3D가 추가로 필요합니다. 캡처 스크립트는 agent-browser CLI를 사용합니다. 각 새 방은 demos/<id>/에 위치하며 demos/index.ts에 등록됩니다.

개인정보 보호 및 라이선스

사무실 데모만 배포되며, 다른 방, 원본 스캔 번들, 개발 기록은 포함되지 않습니다. 직접 캡처한 데이터는 비공개로 유지하고, 게시하기 전에 자산을 확인하세요. 재사용 가능한 코드와 스킬은 MIT 라이선스를 따릅니다. 제공된 사무실 이미지와 텍스처에는 별도의 자산 이용 약관이 적용되며, 표시된 타사 브랜드나 제품은 코드 라이선스 범위에 포함되지 않습니다.

관련

  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트