google/xrblocks

XR Blocks is a lightweight WebXR + AI library for rapidly prototyping advanced AI + XR experiences.

解決する課題

XR Blocks は、AI を統合した没入型 XR（拡張現実）アプリケーションを構築する複雑なプロセスを簡素化します。統一されたクロスプラットフォームフレームワークを提供し、開発者は専用の XR ハードウェアと標準的なデスクトップブラウザの両方で動作するインタラクティブな 3D 体験を、別々のコードベースを必要とせずに作成できます。

仕組み

Three.js ライブラリをベースに構築された XR Blocks は、空間入力や AI 統合の難しさを抽象化する高レベルな SDK を提供します。迅速なテストのための組み込みデスクトップシミュレーター、手や頭のジェスチャー認識、空間 UI システムが含まれています。AI 機能については、Gemini に直接接続してマルチモーダルな理解を実現し、会話型でコンテキストを認識する XR アプリケーションを構築できます。

対象ユーザー

このライブラリは、AI ネイティブな XR アプリケーションをプロトタイプ作成および構築したい開発者や研究者向けに設計されています。低レベルのハードウェア API を管理することなく、AI エージェント、ジェスチャーベースのインタラクション、空間コンピューティングを活用したい方に特に役立ちます。

ハイライト

  • Android XR デバイスおよびデスクトップ Chrome ブラウザのクロスプラットフォームサポート。
  • 手（ピンチ、手のひら、拳など）や頭の動き（うなずき、首振り）の高度なジェスチャー認識。
  • ボタン、スライダー、flex レイアウトパネルなどの組み込み空間 UI コンポーネント。
  • 会話型 AI およびマルチモーダルなシーン理解のための Gemini とのシームレスな統合。
  • ヘッドセットなしで XR インタラクションをテストできるデスクトップシミュレーターを同梱。
  • XR 開発における AI コーディングエージェントを評価するための専用ベンチマーク (GenXR-Bench) を提供。

関連

  • プロジェクト
    yeahhe365/Gemini-Nexus

    Gemini Nexusは、ブラウザにネイティブAIアシスタントを追加するChrome MV3拡張機能です。Google Gemini（リバースエンジニアリングされたトークンを介したウェブUIと公式APIの両方）および多くのOpenAI互換サービスをサポートします。拡張機能はサイドパネル、フローティング選択ツールバー、画像/スクリーンショット入力、Chrome DevToolsベースの制御ループを提供し、LLMがページのナビゲーション、要素のクリック、フォームへの入力、スクリプトの実行、外部ツールサーバー（MCP）の呼び出しを可能にします。コンテキスト管理機能、Gemini画像の透かし除去、完全なビルド/公開ワークフローが含まれます。Gemini-Web統合はGoogleの利用規約に違反する可能性があるため、ユーザーは関連するリスクを受け入れる必要があります。

  • プロジェクト
    google-gemini/gemini-cli

    Gemini CLI は、Gemini LLM をターミナルにもたらす Google のオープンソースツールです。インタラクティブな REPL またはスクリプトコマンドを介して、コード生成、デバッグ、自動化を可能にし、複数の認証方法と拡張可能な MCP サーバー統合を備えています。

  • プロジェクト
    googleapis/js-genai

    GeminiのパブリックAPIおよびEnterprise Agent APIをラップした、公式のGoogle npm SDK (`@google/genai`) です。JavaScript/TypeScript向けに、単発生成、ストリーミング、ステートフルなチャット、ファイルアップロード、ライブセッション、および統合されたInteractions APIのためのシンプルなクラスを提供します。関数/ツール呼び出し、自動継続、マルチモーダル入力をサポートしています。`npm i @google/genai` でインストールし、APIキーまたはエンタープライズ認証情報を使用してください。ドキュメントとサンプルはリポジトリのウェブサイトで公開されています。

  • プロジェクト
    google/agents-cli

    agents‑cli は、Google がメンテナンスする CLI（および AI コーディングアシスタント向けのスキルバンドル）で、Gemini ベースの AI エージェントのライフサイクル全体（プロジェクトのスキャフォールディング、ローカル評価、クラウドデプロイ、CI/CD、可観測性）を効率化します。

  • プロジェクト
    simonw/llm-gemini

    llm CLIツール用のプラグインで、マルチモーダル入力、Google検索グラウンディング、コード実行、ベクトル埋め込みのサポートを含む、Google Geminiモデルへのシームレスなアクセスを実現します。