RunanywhereAI/runanywhere-sdks
Production ready toolkit to run AI locally
What it solves
RunAnywhere 提供開發者一套統一的方式，將裝置端 AI 功能（包括 LLM、視覺模型、語音轉文字與文字轉語音）整合到多平台的應用程式中，無需依賴雲端基礎設施。這可消除延遲、透過將資料保留在裝置上提升隱私，並支援離線使用。
How it works
此專案使用共享的 C/C++ 核心（runanywhere-commons）搭配 C ABI，為 iOS、Android、Flutter、React Native 與 Web 提供輕量 SDK。它使用插件註冊表自動將推論導向在特定硬體上最有效的引擎，例如 Apple 裝置的 Core ML、瀏覽器的 WebGPU、作為通用備援的 llama.cpp，以及針對 Qualcomm Snapdragon Hexagon NPU 的專屬執行時 QHexRT。
Who it’s for
想在本機實作聊天、影像理解與語音助理等 AI 功能，且不想為每個平台管理不同低階推論引擎的行動與網頁開發者。
Highlights
- Multi-platform support: Single API for Swift, Kotlin, Flutter, React Native, and Web.
- Hardware acceleration: Specialized NPU acceleration via QHexRT for Snapdragon devices, supporting MoE and hybrid-attention models.
- Comprehensive AI suite: Supports text generation, vision-language models (VLM), speech-to-text (ASR), and text-to-speech (TTS).
- Integrated pipeline: Ability to create full voice assistants by chaining STT, LLM, and TTS locally.
- Prebuilt model bundles: Optimized model bundles available on Hugging Face for easy deployment.