xybrid-ai/xybrid

Xybrid – 应用与游戏的设备端AI

是什么 – Xybrid 是一个开源 SDK，可在多种平台上本地运行大型语言模型（LLM）、语音识别（ASR）和文本转语音（TTS）模型。它提供统一的 API，适用于 Flutter、Swift、Kotlin、Unity、Rust、Python 和 Web，支持加载 ONNX、GGUF 或 SafeTensors 格式的模型。

为何重要 – 所有推理均在设备上完成，初始模型下载后无需云服务或 API 密钥。这带来了隐私保护、离线运行能力，以及无需重新发布应用即可在运行时更换模型的灵活性。

核心功能

功能	详情
语音识别	Whisper‑tiny、Wav2Vec2‑base 等 ONNX/ggml 模型。
文本转语音	Kokoro‑82M、KittenTTS‑Nano、NeuTTS‑Nano – 输出为 24 kHz WAV 文件。
LLM 推理	支持数百个模型（LFM2.5、SmolLM2、Gemma、Llama 3.2、Qwen 3.5、Bonsai 27B 等），具备工具调用和思维链（chain-of-thought）支持。
视觉语言模型	紧凑型 VLM（LFM2‑VL、LFM2.5‑VL）。
多模型流水线（MMP）	通过简短的 YAML 描述，实现 ASR → LLM → TTS（或任意顺序）的链式调用。
硬件加速	iOS/macOS 上使用 Metal + Apple Neural Engine，Linux 上可选 Vulkan，其他平台使用 CPU。
混合/云回退	若设备无法处理，可选择将任务路由至远程服务。
遥测（可选）	可通过 API 密钥发送使用统计数据。

支持平台与语言绑定

平台	绑定	包管理器
Flutter	`xybrid_flutter`	pub.dev
iOS / macOS (Swift)	`xybrid` (Swift Package)	Swift Package Manager
Android (Kotlin)	`xybrid-kotlin`	Maven Central
Unity	`ai.xybrid.sdk`	OpenUPM / Git URL
Rust	`xybrid` crate	crates.io
Python	`xybrid` 绑定（源码）	pip（通过源码）
Web（预览）	JavaScript SDK	npm（预览）
CLI	`xybrid` 可执行文件	脚本安装器

快速入门（Flutter 示例）

# pubspec.yaml
dependencies:
  xybrid_flutter: ^0.6.0

final model = await Xybrid.model('kokoro-82m').load();
final result = await model.run(XybridEnvelope.text('Hello world'));
// result 是一个 24 kHz WAV 音频缓冲区

相同模式适用于 Kotlin、Swift、C#（Unity）和 Rust：通过模型 ID 加载模型，输入 Envelope（文本或音频），即可获得处理后的音频。

模型目录

Xybrid 内置注册表（参见 xybrid.ai/models），包含：

ASR – Whisper‑tiny（39 M）、Wav2Vec2‑base（95 M）
TTS – Kokoro‑82M（82 M，24 个音色）、KittenTTS‑Nano（15 M）、NeuTTS‑Nano（120 M）
LLMs – 从 230 M 到 27 B 参数，覆盖多语言、推理、工具调用和多模态变体。
视觉语言 – 紧凑型 VLM（450 M–3 B）。您还可以通过提供 model_metadata.json（描述文件格式和预处理步骤）添加自定义模型（实验性）。

与类似项目的区别

特性	Xybrid	Ollama	llama.cpp	ONNX Runtime
移动端（iOS/Android）	✅	❌	❌	✅
Unity 集成	✅	❌	❌	❌
多模型流水线	✅	❌	❌	❌
一个 SDK 支持 ASR + LLM + TTS 三者	✅	❌	❌	❌
进程内运行，无需服务器	✅	❌	✅	✅
以离线为先，无需云服务	✅	✅	✅	✅

许可与社区

许可证 – Apache 2.0（宽松，适合商业使用）。
文档 – https://docs.xybrid.dev
Discord – https://discord.gg/YhFHHkhbad
GitHub – 提供 Issues、Pull Requests、Good First Issues 和 CONTRIBUTING 指南。

TL;DR

Xybrid 为开发者提供了一种统一、以离线为先的方式，将语音识别、文本转语音和大型语言模型推理嵌入移动应用、桌面软件和 Unity 游戏中，支持主流语言的现成绑定和硬件加速运行时。