google/xrblocks

何を解決するか

XR Blocks は、拡張現実（XR）と人工知能（AI）を組み合わせた没入型体験のプロトタイピングを加速するために設計されています。WebXR のハードウェア固有の複雑さを抽象化する軽量でクロスプラットフォームなライブラリを提供することで、XRデバイス（Android XRなど）とデスクトップブラウザの両方で動作します。

動作方法

three.js を基盤として構築されたこのライブラリは、高レベルのSDKを提供し、WebXRのハードウェア固有の複雑さを隠蔽します。TensorFlow Lite/PyTorch を通じてデバイス内での機械学習モデル（ジェスチャーおよび頭部運動認識用）を統合し、クラウドホスト型のGeminiモデルに接続してマルチモーダル理解と会話型AIを実現します。また、物理的なXRヘッドセットがなくても体験をテストできるデスクトップシミュレータも含まれています。

対象ユーザー

ChromeおよびWebXR対応デバイスをターゲットとするAIネイティブなXRアプリケーションの開発・研究に興味を持つ開発者や研究者。

主な特徴

• AIネイティブ統合: マルチモーダルAIとリアルタイム会話に向けたGeminiへのシームレスな接続。

• 高度なインタラクション: 手の追跡、カスタムジェスチャー、頭部ジェスチャー認識（うなずき／振る）の組み込みサポート。

• ワールド理解: 深度センシング、平面検出、シーンメッシュ、セマンティックセグメンテーションのためのツール。

• エージェントコンテキスト: セマンティックツリーとSet-of-Markスクリーンショットを含む、エージェント向けのシーンコンテキストを提供し、AIエージェントが3D環境を理解するのを支援。

• 統合されたインタラクション: マウス、視線、手のレイ、直接タッチを1つのパイプラインで処理。

• 空間UI: flex-layoutパネルを使用したワールドスペースカードとビュー空間オーバーレイの構成システム。