xybrid-ai/xybrid

Xybrid – アプリとゲームのためのオンデバイスAI

概要 – Xybridは、大規模言語モデル (LLM)、音声認識 (ASR)、音声合成 (TTS)、および視覚言語モデルをデバイス上で直接実行できるネイティブSDKとCLIのコレクションです。クラウドAPIを必要とせずオフラインで動作し、iOS、Android、macOS、Linux、Windows、Unityをサポートしています。

主な機能

• 統一API：Flutter、Swift、Kotlin、React Native、Unity、Rust、Pythonに対応。
• マルチモデルパイプライン (MMP)：単一のYAML記述で ASR → LLM → TTS（またはその他の組み合わせ）を連結可能。
• ツール呼び出し – ローカルLLMがユーザー定義関数を呼び出し可能。
• ハードウェアアクセラレーション – AppleデバイスではMetal/ANE、LinuxではオプションでVulkanを使用。その他のプラットフォームはCPUで動作。
• モデルカタログ – 音声、テキスト、視覚、コード用の数十種類のONNX、GGUF、SafeTensorsモデルをダウンロード可能で、すべてオフラインで実行可能。
• ハイブリッドフォールバック – 実行ごとにクラウド実行を選択可能。

使い方

1. プラットフォーム固有のパッケージを追加します（例：Flutterなら xybrid_flutter、Androidなら xybrid-kotlin、Rustなら xybrid crate など）。
2. モデル名でモデルをロードします（例：TTSなら kokoro-82m、小型LLMなら lfm2.5-230m）。
3. テキスト、オーディオ、または画像データを含む Envelope を使用して model.run(...) を呼び出します。
4. 結果を受け取ります（通常、TTSの場合は24 kHzのWAVオーディオファイル、LLMの場合はプレーンテキスト）。

例 (Flutter)

final model = await Xybrid.model('kokoro-82m').load();
final result = await model.run(XybridEnvelope.text('Hello world'));
// result is a 24 kHz WAV audio buffer

例 (マルチモデルパイプライン)

# voice-assistant.yaml
stages:
  - model: whisper-tiny-ggml   # speech → text
  - model: qwen2.5-0.5b       # LLM processing
  - model: kokoro-82m         # text → speech

CLIまたはSDKを通じてパイプラインを実行すると、音声の質問から音声の回答がすべてデバイス上で生成されます。

重要性 – 多くのモバイルAIツールキットはサーバーを必要とするか、単一のモダリティに限定されています。Xybridは複数のモダリティを統合し、ゲームエンジンをサポートし、ローカルで実行することでプライバシーを保護します。これは、チャットアシスタント、音声制御ゲーム、またはインターネット接続なしでAIを必要とするアプリを構築する開発者にとって非常に魅力的です。

ライセンス – Apache 2.0。商用利用および改変が可能です。