xybrid-ai/xybrid

Xybrid – 앱 및 게임을 위한 온디바이스 AI

개요 – Xybrid는 대규모 언어 모델(LLM), 음성 인식(ASR), 음성 합성(TTS) 및 시각 언어 모델을 기기에서 직접 실행할 수 있는 네이티브 SDK 및 CLI 모음입니다. 클라우드 API 없이 오프라인으로 작동하며 iOS, Android, macOS, Linux, Windows 및 Unity를 지원합니다.

주요 기능

• 통합 API: Flutter, Swift, Kotlin, React Native, Unity, Rust 및 Python 지원.
• 다중 모델 파이프라인(MMP): 단일 YAML 설명으로 ASR → LLM → TTS(또는 기타 조합)를 연결 가능.
• 도구 호출 – 로컬 LLM이 사용자 정의 함수를 호출 가능.
• 하드웨어 가속 – Apple 기기에서는 Metal/ANE, Linux에서는 선택적으로 Vulkan 사용. 기타 플랫폼은 CPU에서 실행.
• 모델 카탈로그 – 음성, 텍스트, 시각, 코드용 수십 개의 ONNX, GGUF 또는 SafeTensors 모델을 다운로드하여 오프라인에서 실행 가능.
• 하이브리드 폴백 – 실행 시마다 클라우드 실행 선택 가능.

사용 방법

1. 플랫폼별 패키지를 추가합니다(예: Flutter는 xybrid_flutter, Android는 xybrid-kotlin, Rust는 xybrid crate 등).
2. 모델 이름으로 모델을 로드합니다(예: TTS는 kokoro-82m, 소형 LLM은 lfm2.5-230m).
3. 텍스트, 오디오 또는 이미지 데이터가 포함된 Envelope를 사용하여 model.run(...)을 호출합니다.
4. 결과를 수신합니다(보통 TTS의 경우 24 kHz WAV 오디오 파일, LLM의 경우 일반 텍스트).

예시 (Flutter)

final model = await Xybrid.model('kokoro-82m').load();
final result = await model.run(XybridEnvelope.text('Hello world'));
// result is a 24 kHz WAV audio buffer

예시 (다중 모델 파이프라인)

# voice-assistant.yaml
stages:
  - model: whisper-tiny-ggml   # speech → text
  - model: qwen2.5-0.5b       # LLM processing
  - model: kokoro-82m         # text → speech

CLI 또는 SDK를 통해 파이프라인을 실행하면 음성 질문에 대한 음성 답변이 모두 기기 내에서 생성됩니다.

중요성 – 대부분의 모바일 AI 툴킷은 서버가 필요하거나 단일 모달리티로 제한됩니다. Xybrid는 여러 모달리티를 통합하고 게임 엔진을 지원하며, 로컬에서 실행하여 개인정보를 보호합니다. 이는 챗봇 어시스턴트, 음성 제어 게임 또는 인터넷 연결 없이 AI가 필요한 앱을 구축하는 개발자에게 매우 매력적입니다.

라이선스 – Apache 2.0, 상업적 사용 및 수정 가능.