google/xrblocks

해결하는 문제

XR Blocks는 확장현실(XR)과 인공지능(AI)을 결합한 몰입형 경험의 프로토타이핑을 가속화하기 위해 설계되었습니다. WebXR의 하드웨어 고유의 복잡성을 추상화하는 가벼운 크로스플랫폼 라이브러리를 제공함으로써, Android XR와 같은 XR 장치와 데스크탑 브라우저 모두에서 작동합니다.

작동 방식

three.js를 기반으로 구축된 이 라이브러리는 WebXR의 하드웨어 특화된 복잡성을 추상화하는 고수준 SDK를 제공합니다. TensorFlow Lite/PyTorch를 통해 디바이스 내 기계학습 모델(제스처 및 머리 움직임 인식용)을 통합하고, 클라우드 호스팅된 Gemini 모델에 연결하여 다중 모달 이해와 대화형 AI를 구현합니다. 또한 물리적 XR 헤드셋이 없어도 경험을 테스트할 수 있는 데스크탑 시뮬레이터도 포함되어 있습니다.

대상 사용자

Chrome 및 WebXR 지원 장치를 타겟으로 하는 AI 네이티브 XR 애플리케이션 개발에 관심 있는 개발자 및 연구자.

주요 특징

• AI 네이티브 통합: 다중 모달 AI와 실시간 대화를 위한 Gemini에의 시ーム리스 연결.

• 고급 상호작용: 손 추적, 사용자 정의 제스처, 머리 제스처 인식(끄덕임/흔들기)을 내장 지원.

• 세계 이해: 깊이 감지, 평면 탐지, 장면 메시, 세분적 분할을 위한 도구.

• 에이전트 컨텍스트: 세분적 트리와 Set-of-Mark 스크린샷을 포함한 에이전트용 장면 컨텍스트를 제공하여 AI 에이전트가 3D 환경을 이해하도록 지원.

• 통합된 상호작용: 마우스, 시선, 손 레이, 직접 터치를 하나의 파이프라인으로 처리.

• 공간 UI: flex-layout 패널을 사용한 월드 스페이스 카드와 뷰 스페이스 오버레이 조합 시스템.