RunanywhereAI/runanywhere-sdks
Production ready toolkit to run AI locally
What it solves
RunAnywhere 为开发者提供统一的方式，将设备端 AI 能力（包括 LLM、视觉模型、语音转文字和文字转语音）集成到多平台的应用中，无需依赖云基础设施。这消除了延迟，通过将数据保留在设备上提升隐私，并支持离线功能。
How it works
项目使用共享的 C/C++ 核心（runanywhere-commons）并提供 C ABI，为 iOS、Android、Flutter、React Native 和 Web 提供轻量 SDK。它采用插件注册表自动将推理路由到特定硬件上最有效的引擎，例如 Apple 设备的 Core ML、浏览器的 WebGPU、作为通用回退的 llama.cpp，以及针对 Qualcomm Snapdragon Hexagon NPU 的专用运行时 QHexRT。
Who it’s for
想在本地实现聊天、图像理解和语音助理等 AI 功能，且不想为每个平台管理不同低层推理引擎的移动和网页开发者。
Highlights
- Multi-platform support: Single API for Swift, Kotlin, Flutter, React Native, and Web.
- Hardware acceleration: Specialized NPU acceleration via QHexRT for Snapdragon devices, supporting MoE and hybrid-attention models.
- Comprehensive AI suite: Supports text generation, vision-language models (VLM), speech-to-text (ASR), and text-to-speech (TTS).
- Integrated pipeline: Ability to create full voice assistants by chaining STT, LLM, and TTS locally.
- Prebuilt model bundles: Optimized model bundles available on Hugging Face for easy deployment.