RunanywhereAI/runanywhere-sdks
Production ready toolkit to run AI locally
What it solves
RunAnywhere는 개발자가 디바이스 내 AI 기능(LLM, 비전 모델, 음성‑텍스트 변환, 텍스트‑음성 변환)을 여러 플랫폼의 애플리케이션에 통합할 수 있는 통합된 방법을 제공합니다. 클라우드 인프라에 의존하지 않으므로 지연 시간이 감소하고 데이터를 디바이스에 보관함으로써 프라이버시가 향상되며 오프라인에서도 동작합니다.
How it works
이 프로젝트는 공유 C/C++ 코어(runanywhere-commons)와 C ABI를 사용하여 iOS, Android, Flutter, React Native, Web용 경량 SDK를 제공합니다. 플러그인 레지스트리를 통해 Apple 디바이스의 Core ML, 브라우저의 WebGPU, 일반적인 폴백인 llama.cpp, Qualcomm Snapdragon Hexagon NPU용 특수 런타임 QHexRT 등, 특정 하드웨어에서 가장 효율적인 엔진으로 추론을 자동 라우팅합니다.
Who it’s for
채팅, 이미지 이해, 음성 비서와 같은 로컬 AI 기능을 구현하고 싶지만, 각 플랫폼마다 별도의 저수준 추론 엔진을 관리하고 싶지 않은 모바일 및 웹 개발자를 위한 것입니다.
Highlights
- Multi-platform support: Single API for Swift, Kotlin, Flutter, React Native, and Web.
- Hardware acceleration: Specialized NPU acceleration via QHexRT for Snapdragon devices, supporting MoE and hybrid-attention models.
- Comprehensive AI suite: Supports text generation, vision-language models (VLM), speech-to-text (ASR), and text-to-speech (TTS).
- Integrated pipeline: Ability to create full voice assistants by chaining STT, LLM, and TTS locally.
- Prebuilt model bundles: Optimized model bundles available on Hugging Face for easy deployment.