xybrid-ai/xybrid

Xybrid – 應用與遊戲的設備端 AI

是什麼 – Xybrid 是一個開源 SDK，可在多種平台本地運行大型語言模型（LLM）、語音轉文字（ASR）與文字轉語音（TTS）模型。它提供一致的 API，適用於 Flutter、Swift、Kotlin、Unity、Rust、Python 與 Web，支援載入 ONNX、GGUF 或 SafeTensors 格式的模型。

為何重要 – 所有推論皆在裝置上完成，初始模型下載後無需雲端服務或 API 金鑰。這帶來了隱私保護、離線運作能力，以及無需重新發佈應用即可在執行時更換模型的彈性。

核心功能

功能	詳細
語音轉文字	Whisper‑tiny、Wav2Vec2‑base 等 ONNX/ggml 模型。
文字轉語音	Kokoro‑82M、KittenTTS‑Nano、NeuTTS‑Nano – 輸出為 24 kHz WAV 檔案。
LLM 推論	支援數百個模型（LFM2.5、SmolLM2、Gemma、Llama 3.2、Qwen 3.5、Bonsai 27B 等），具備工具呼叫與思考鏈（chain-of-thought）支援。
視覺語言模型	緊湊型 VLM（LFM2‑VL、LFM2.5‑VL）。
多模型流程（MMP）	透過簡短的 YAML 描述，實現 ASR → LLM → TTS（或任意順序）的串接。
硬體加速	iOS/macOS 使用 Metal + Apple Neural Engine，Linux 可選 Vulkan，其他平台使用 CPU。
混合/雲端備援	若裝置無法處理，可選擇將任務導向遠端服務。
遙測（可選）	可透過 API 金鑰傳送使用統計資料。

支援平台與語言綁定

平台	綁定	套件管理器
Flutter	`xybrid_flutter`	pub.dev
iOS / macOS (Swift)	`xybrid` (Swift Package)	Swift Package Manager
Android (Kotlin)	`xybrid-kotlin`	Maven Central
Unity	`ai.xybrid.sdk`	OpenUPM / Git URL
Rust	`xybrid` crate	crates.io
Python	`xybrid` 綁定（原始碼）	pip（透過原始碼）
Web（預覽）	JavaScript SDK	npm（預覽）
CLI	`xybrid` 可執行檔	腳本安裝器

快速入門（Flutter 範例）

# pubspec.yaml
dependencies:
  xybrid_flutter: ^0.6.0

final model = await Xybrid.model('kokoro-82m').load();
final result = await model.run(XybridEnvelope.text('Hello world'));
// result 是一個 24 kHz WAV 音訊緩衝區

相同模式適用於 Kotlin、Swift、C#（Unity）與 Rust：透過模型 ID 加載模型，輸入 Envelope（文字或音訊），即可取得處理後的音訊。

模型目錄

Xybrid 內建註冊表（參見 xybrid.ai/models），包含：

ASR – Whisper‑tiny（39 M）、Wav2Vec2‑base（95 M）
TTS – Kokoro‑82M（82 M，24 種語音）、KittenTTS‑Nano（15 M）、NeuTTS‑Nano（120 M）
LLMs – 從 230 M 到 27 B 參數，涵蓋多語言、推理、工具呼叫與多模態變體。
視覺語言 – 緊湊型 VLM（450 M–3 B）。您也可透過提供 model_metadata.json（描述檔案格式與預處理步驟）新增自訂模型（實驗性）。

與類似專案的差異

特性	Xybrid	Ollama	llama.cpp	ONNX Runtime
移動端（iOS/Android）	✅	❌	❌	✅
Unity 集成	✅	❌	❌	❌
多模型流程	✅	❌	❌	❌
一個 SDK 支援 ASR + LLM + TTS 三者	✅	❌	❌	❌
進程內執行，無需伺服器	✅	❌	✅	✅
以離線為先，無需雲端服務	✅	✅	✅	✅

許可與社群

許可證 – Apache 2.0（寬鬆，適合商業使用）。
文件 – https://docs.xybrid.dev
Discord – https://discord.gg/YhFHHkhbad
GitHub – 提供 Issues、Pull Requests、Good First Issues 與 CONTRIBUTING 指南。

TL;DR

Xybrid 為開發者提供一種統一、以離線為先的方式，將語音辨識、文字轉語音與大型語言模型推論嵌入行動應用、桌面軟體與 Unity 遊戲中，支援主流語言的現成綁定與硬體加速執行環境。