RunanywhereAI/runanywhere-sdks
Production ready toolkit to run AI locally
What it solves
RunAnywhere は、開発者がデバイス上 AI 機能（LLM、ビジョンモデル、音声認識、音声合成）を複数プラットフォームのアプリに統合するための統一された方法を提供します。クラウドインフラに依存せずに済むため、レイテンシが削減され、データをデバイスに保持することでプライバシーが向上し、オフラインでも利用可能になります。
How it works
本プロジェクトは共有 C/C++ コア（runanywhere-commons）と C ABI を使用し、iOS、Android、Flutter、React Native、Web 向けに軽量 SDK を提供します。プラグインレジストリにより、Apple デバイスの Core ML、ブラウザの WebGPU、汎用フォールバックとしての llama.cpp、Qualcomm Snapdragon Hexagon NPU 用の専用ランタイム QHexRT など、ハードウェアに最適なエンジンへ自動的に推論をルーティングします。
Who it’s for
ローカルでチャット、画像理解、音声アシスタントなどの AI 機能を実装したいが、プラットフォームごとに低レベルの推論エンジンを管理したくないモバイル・ウェブ開発者向けです。
Highlights
- Multi-platform support: Single API for Swift, Kotlin, Flutter, React Native, and Web.
- Hardware acceleration: Specialized NPU acceleration via QHexRT for Snapdragon devices, supporting MoE and hybrid-attention models.
- Comprehensive AI suite: Supports text generation, vision-language models (VLM), speech-to-text (ASR), and text-to-speech (TTS).
- Integrated pipeline: Ability to create full voice assistants by chaining STT, LLM, and TTS locally.
- Prebuilt model bundles: Optimized model bundles available on Hugging Face for easy deployment.