moeru-ai/airi

💖🧸 Self hosted, you-owned Grok Companion, a container of souls of waifu, cyber livings to bring them into our worlds, wishing to achieve Neuro-sama's altitude. Capable of realtime voice chat, Minecraft, Factorio playing. Web / macOS / Windows supported.

解決する課題

Project AIRIは、単なるチャットインターフェースを超えた「デジタルヒューマン」やAIコンパニオンの作成を目指しています。ユーザーの環境と対話し、MinecraftやFactorioのようなゲームをプレイし、DiscordやTelegramなどのプラットフォーム間でコミュニケーションをとることができる、持続的でインタラクティブなバーチャルキャラクター（Neuro-samaに触発されたもの）を提供します。

仕組み

AIRIは、クロスプラットフォームでのアクセシビリティを実現するためのWeb技術（WebGPU, WebAssembly, WebAudio）と、デスクトップ版のためのネイティブパフォーマンスレイヤー（NVIDIA CUDA, Apple Metal via the candle project）を組み合わせて構築されています。以下のAIコンポーネントを統合しています：

  • Brain: 複数のLLMプロバイダー（xsai経由）に接続し、ゲームプレイのロジックやメモリシステムを処理するように開発されています。
  • Ears: ブラウザやDiscordからの音声入力のための、クライアントサイドの音声認識と発話検知を実装しています。
  • Mouth: ElevenLabs、Azure、ローカルのKokoro TTSを含む、マルチプロバイダーの音声合成（TTS）を使用しています。
  • Body: まばたき、視線、待機動作の自動アニメーションを備えたVRMおよびLive2Dモデルをサポートしています。

対象ユーザー

リアルタイムで対話し、ゲームをプレイし、ブラウザ、デスクトップ、モバイル（PWA）環境で存在できる、パーソナルAIコンパニオンやバーチャルストリーマー（VTuber）を求めるユーザー。

ハイライト

  • クロスプラットフォーム: 最新のブラウザ、デスクトップ（Windows, macOS, Linux）、モバイルデバイスで動作します。
  • ゲーム統合: MinecraftやFactorioをプレイ可能です（後者はPoC段階）。
  • 幅広いLLMサポート: OpenAI、Claude、Gemini、およびOllamaやvLLMのようなローカルエンジンを含む、多種多様なプロバイダーと互換性があります。
  • 視覚的忠実度: 自律的なアニメーションを備えた3D VRMおよび2D Live2Dアバターを完全にサポートしています。

関連

  • プロジェクト
    coulsontl/ai-toolbox

    AI Toolbox は、多くの AI コーディングアシスタント（Claude、Codex、Gemini、Grok、Kimi など）の設定、プロンプト、プラグイン、セッション履歴、バックアップを一元管理するクロスプラットフォームのデスクトップマネージャーです。GUI、ローカルプロキシゲートウェイ、WSL/SSH 同期、スキルマーケットプレイス、システムトレイショートカットを提供し、React/Tauri と SQLite で構築されています。

  • プロジェクト
    dromara/wgai

    WGAIは、コンピュータビジョン、音声認識、ロボットナビゲーションを統合し、オフラインデプロイメントをサポートする産業グレードのマルチモーダルAI管理プラットフォームです。

  • プロジェクト
    PunithVT/ai-avatar-system

    AvatarAIは、任意のポートレート写真と短い音声サンプルを、リアルタイムで口パク付きの会話可能なアバターに変換できるオープンソースでプロダクション対応のシステムです。Whisperによる音声認識テキストを、選択可能なLLM（Claude、GPT-4o、またはローカルのOllama/vLLM）にストリーミングし、生成されたテキストを多言語TTS（Chatterbox/XTTS）に送信し、MuseTalk V1.5で動画フレームをレンダリングします。Next.jsフロントエンド、FastAPIバックエンド、PostgreSQL、Redis、Celery、Prometheus、Docker-Composeをスタックに含み、ワンクリックAWS GPUデプロイもオプションです。ゼロショット音声クローン、バージイン中断、マルチLLMサポート、JWT認証、会話記憶要約、GFPGANによる顔修復などの機能を備えています。

  • プロジェクト
    luoguoxiong/aipack

    軽量で拡張可能なTypeScriptエージェントフレームワーク。ランタイムとプラグイン可能エコシステムを提供し、記憶、コンテキスト圧縮、MCPを内蔵サポート。

  • プロジェクト
    hypothesi/mcp-server-tauri

    MCP Server Tauriは、AIアシスタント（Claude、Cursor、Windsurfなど）を実行中のTauri v2アプリに接続するNodeベースのModel Context Protocolサーバーです。スクリーンショット、DOMスナップショット、コンソールログ、Tauri IPCトラフィックをストリーミングし、UI自動化、IPC検査、ログストリーミング、モバイルデバイス一覧表示のための21のコマンドを公開します。Tauriバイナリに小さなRustブリッジプラグインをインストールすることで、アシスタントに豊富なリアルタイムコンテキストを提供し、外部ドライバなしでAI駆動のデバッグ、コード生成、クロスプラットフォームUI制御を実現します。