reality-opened/openreality

OpenReality – 휴대폰 비디오를 AI가 쿼리할 수 있는 3D 세계로 전환

기능

• 휴대폰으로 촬영한 짧은 비디오를 업로드합니다. 이 서비스(또는 자체 호스팅 서버)는 SLAM 스타일 재구성 파이프라인을 실행하여 푸티지를 지오메트리, 감지된 객체, 보고서를 포함하는 지속적인 3D 장면으로 변환합니다.
• 결과 장면은 Model Context Protocol(MCP)을 통해 LLM 기반 AI 어시스턴트(Claude, Codex, Cursor 등)가 쿼리할 수 있습니다. 어시스턴트는 시스템에 거리 측정, 내비게이션 경로 계획, 로봇 훈련 데이터 내보내기, 또는 단순히 "방에 무엇이 있나요?"와 같은 질문에 답변하도록 요청할 수 있습니다.

주요 구성 요소

구성 요소	역할	획득 방법
core/	카메라 추적, 고밀도 지오메트리 구축, 메트릭 스케일 보정, 객체 감지/분할 실행, 스플랫 내보내기를 수행하는 저수준 재구성 라이브러리(VGGT-SLAM 2.0).	저장소의 소스 코드(비공개 저장소에서 미러링).
server/	비디오를 수신하고, 무거운 GPU 재구성 작업을 실행하고, 지속적인 장면을 저장하고, 측정, 계획, 에이전트 및 데이터 내보내기를 위한 일반 REST API를 노출하는 백엔드.	저장소의 소스 코드; GPU 박스에서 로컬로 실행하거나 Modal에서 실행할 수 있습니다.
mcp/	서버의 엔드포인트를 래핑하는 41개의 MCP "도구"와 GPU 없이 개발하기 위한 오프라인 시뮬레이터. npm 패키지 openreality-mcp 로 게시됩니다.	npm i -g openreality-mcp로 설치하거나 npx openreality-mcp serve로 실행합니다.

사용 방법

1. AI 어시스턴트에 도구 추가 – 예: claude mcp add openreality -- npx -y openreality-mcp serve(Codex/Cursor의 경우 동등). 어시스턴트는 이제 measure, plan path, export robot data와 같은 명령을 인식합니다.
2. 한 번 로그인(npx openreality-mcp login). 해지 가능한 API 키가 로컬에 저장됩니다.
3. 비디오 업로드 – 호스팅 UI(open-reality.io) 또는 어시스턴트에게 로컬 파일 업로드를 요청하는 방식 중 하나.
4. 질문하기 – "스캔에 어떤 객체가 있나요?", "소파에서 창문까지 얼마나 먼가요?", "문에서 책상까지 경로를 알려주세요" 등.

자체 호스팅

• 저장소를 클론하고 GPU가 있는 머신에서 python -m server.selfhost --data-dir ~/openreality-data를 실행하거나, Modal 버전을 배포합니다(modal deploy modal_selfhost.py).
• 서버는 CC-BY-NC-4.0 라이선스로 3D 재구성 모델(VGGT-1B)을 가져옵니다. 상업적 사용에는 호스팅 서비스 또는 별도의 상업용 라이선스가 필요합니다.

중요성

• 원시 시각 데이터와 실행 가능한 AI 에이전트 사이의 격차를 해소합니다: LLM이 공간을 "보고", 측정하고, 로봇을 위한 계획을 세울 수 있습니다.
• 자체 하드웨어에서 완전히 실행할 수 있는 단일 오픈 소스 스택(재구성, 백엔드, MCP 도구)을 제공하여 개인 정보를 보호하고 공급업체 종속을 피합니다.
• MCP 인터페이스는 프로토콜을 지원하는 모든 AI 어시스턴트가 기능을 검색할 수 있게 하여, 3D 세계를 모호한 텍스트 프롬프트가 아닌 유형화되고 신뢰할 수 있는 도구 호출 집합으로 변환합니다.

라이선스 및 주의 사항

• 이 저장소의 코드는 BSD-2-Clause입니다. 재구성 모델은 CC-BY-NC-4.0(비상업적 용도만)입니다. 상업 프로젝트의 경우 호스팅 서비스를 사용하거나 별도 라이선스를 획득해야 합니다.
• mcp/는 이 공개 저장소에서 적극적으로 개발되는 유일한 부분입니다. server/와 core/는 비공개 저장소의 큐레이팅된 미러로, 수동으로 업데이트됩니다.

결론 OpenReality를 사용하면 일상적인 휴대폰 비디오를 AI 어시스턴트가 쿼리하고 조치를 취할 수 있는 구조화된 3D 장면으로 변환할 수 있으며, 자체 호스팅 가능한 스택과 깔끔한 도구 기반 인터페이스를 갖추고 있습니다.