google/xrblocks

XR Blocks is a lightweight WebXR + AI library for rapidly prototyping advanced AI + XR experiences.

해결하는 문제

XR Blocks는 AI를 통합한 몰입형 XR(확장 현실) 애플리케이션을 구축하는 복잡한 과정을 단순화합니다. 개발자가 별도의 코드베이스 없이 전용 XR 하드웨어와 표준 데스크톱 브라우저 모두에서 실행되는 인터랙티브 3D 경험을 만들 수 있도록 통합된 크로스 플랫폼 프레임워크를 제공합니다.

작동 방식

Three.js 라이브러리를 기반으로 구축된 XR Blocks는 공간 입력 및 AI 통합의 어려움을 추상화하는 고수준 SDK를 제공합니다. 빠른 테스트를 위한 내장 데스크톱 시뮬레이터, 손 및 머리 제스처 인식, 공간 UI 시스템이 포함되어 있습니다. AI 기능의 경우 Gemini와 직접 연결하여 멀티모달 이해를 지원함으로써, 개발자가 대화형이며 상황을 인식하는 XR 애플리케이션을 구축할 수 있게 합니다.

대상 사용자

이 라이브러리는 AI 네이티브 XR 애플리케이션을 프로토타이핑하고 구축하려는 개발자와 연구자를 위해 설계되었습니다. 하위 수준의 하드웨어 API를 관리하지 않고도 AI 에이전트, 제스처 기반 상호 작용 및 공간 컴퓨팅을 활용하려는 사용자에게 특히 유용합니다.

주요 특징

  • Android XR 기기 및 데스크톱 Chrome 브라우저에 대한 크로스 플랫폼 지원.
  • 손(핀치, 손바닥, 주먹 등) 및 머리 움직임(끄덕임, 흔들기)에 대한 고급 제스처 인식.
  • 버튼, 슬라이더, flex 레이아웃 패널과 같은 내장 공간 UI 구성 요소.
  • 대화형 AI 및 멀티모달 장면 이해를 위한 Gemini와의 원활한 통합.
  • 헤드셋 없이 XR 상호 작용을 테스트할 수 있는 데스크톱 시뮬레이터 포함.
  • XR 개발에서 AI 코딩 에이전트를 평가하기 위한 전용 벤치마크 (GenXR-Bench) 제공.

관련

  • 프로젝트
    yeahhe365/Gemini-Nexus

    Gemini Nexus는 브라우저에 네이티브 AI 어시스턴트를 추가하는 Chrome MV3 확장 프로그램입니다. Google Gemini(리버스 엔지니어링된 토큰을 통한 웹 UI 및 공식 API 모두)와 많은 OpenAI 호환 서비스를 지원합니다. 확장 프로그램은 사이드 패널, 플로팅 선택 도구 모음, 이미지/스크린샷 입력, Chrome DevTools 기반 제어 루프를 제공하여 LLM이 페이지 탐색, 요소 클릭, 양식 작성, 스크립트 실행, 외부 도구 서버(MCP) 호출을 수행할 수 있게 합니다. 컨텍스트 관리 기능, Gemini 이미지의 워터마크 제거, 완전한 빌드/게시 워크플로가 포함됩니다. Gemini-Web 통합은 Google 서비스 약관을 위반할 수 있으므로 사용자는 관련 위험을 수락해야 합니다.

  • 프로젝트
    google-gemini/gemini-cli

    Gemini CLI는 Gemini LLM을 터미널로 가져오는 Google의 오픈소스 도구로, 대화형 REPL 또는 스크립트 명령을 통해 코드 생성, 디버깅, 자동화를 가능하게 하며, 여러 인증 방법과 확장 가능한 MCP 서버 통합을 제공합니다.

  • 프로젝트
    googleapis/js-genai

    Gemini의 퍼블릭 API 및 Enterprise Agent API를 래핑하는 공식 Google npm SDK(`@google/genai`)입니다. JavaScript/TypeScript를 위한 단일 생성, 스트리밍, 상태 유지 채팅, 파일 업로드, 라이브 세션 및 통합 Interactions API를 위한 간단한 클래스를 제공합니다. 함수/도구 호출, 자동 연속 및 멀티모달 입력을 지원합니다. `npm i @google/genai`로 설치하고 API 키 또는 엔터프라이즈 자격 증명을 사용하세요. 문서와 샘플은 저장소 웹사이트에서 확인할 수 있습니다.

  • 프로젝트
    google/agents-cli

    agents‑cli는 Google이 유지 관리하는 CLI(및 AI 코딩 어시스턴트용 스킬 번들)로, Gemini 기반 AI 에이전트의 전체 수명 주기(프로젝트 스캐폴딩, 로컬 평가, 클라우드 배포, CI/CD, 관찰 가능성)를 간소화합니다.

  • 프로젝트
    simonw/llm-gemini

    llm CLI 도구용 플러그인으로, 멀티모달 입력, Google 검색 그라운딩, 코드 실행, 벡터 임베딩 지원을 포함하여 Google Gemini 모델에 원활하게 액세스할 수 있습니다.