RunanywhereAI/runanywhere-sdks

Production ready toolkit to run AI locally

解決的問題

RunAnywhere 提供統一的 SDK，可在多種裝置（包括手機、瀏覽器、桌面和伺服器）上本地部署 AI 模型。它消除了開發者為不同硬體加速器（如 NPU、GPU 或 CPU）撰寫平台特定程式碼的需要，透過多種程式語言提供單一語意 API。

工作原理

此專案使用單一的 C++ 核心（runanywhere-commons）和純 C ABI，然後透過八種不同的 SDK（Swift、Kotlin、Android、Flutter、React Native、Web、Electron 和 Python）進行封裝。一個能力註冊表會將 AI 任務路由到裝置上可用的最佳引擎。例如，它可以利用 QHexRT 處理 Snapdragon Hexagon NPU，使用 MLX 處理 Apple Silicon，或使用 llama.cpp 實現對 Metal、CUDA 和 WebGPU 的通用相容性。

適用對象

專為需要私有、離線優先 AI 能力（如 LLM、視覺、語音和影像生成）的跨平台應用開發者設計，無需管理硬體特定最佳化之複雜性。

主要亮點

  • 多模態支援：包含 LLM 聊天、視覺語言模型（VLM）、語音轉文字（STT）、文字轉語音（TTS）、RAG 和影像生成。
  • 廣泛的硬體加速：支援 Snapdragon Hexagon NPU、Apple Neural Engine、Metal、CUDA、WebGPU 和 CPU。
  • 統一 API：八種不同 SDK 中提供一致的介面。
  • 裝置端隱私：模型設計上完全本地化且離線運行。
  • 高階 AI 功能：支援結構化 JSON 輸出、工具呼叫和 LoRA 適配器。

相關

  • 專案
    huggingface/speech-to-speech

    一個低延遲、模組化的語音代理流程，協調 VAD、STT、LLM 和 TTS 組件，實現即時語音對話。

  • 專案
    xybrid-ai/xybrid

    Xybrid 是一個開源、跨平台 SDK，可在設備（行動、桌面、Unity）上本地運行 LLM、語音轉文字與文字轉語音模型。它提供 Flutter、Swift、Kotlin、Unity、Rust 與 Python 的原生綁定，支援多種流行開源模型，並允許將它們組合成多模型流程——無需依賴雲端服務。

  • Dispatch
    AnyLanguageModel: 蘋果平台的統一 LLM API

    Hugging Face 已推出 AnyLanguageModel，這是一個 Swift 套件，透過作為 Apple Foundation Models 框架的直接替換，為在 Apple 平台上整合本地和遠端 LLM 提供統一的 API。

  • 專案
    theJayTea/WritingTools

    Writing Tools 是一款免費開源的桌面應用，支援 Windows、Linux 和 macOS，可透過快捷鍵在電腦任何位置呼叫 LLM。它可進行校對、重寫、改變語氣、翻譯、總結網頁或 YouTube 字幕，甚至與模型聊天。支援使用雲端 API（Gemini、OpenAI、Anthropic 等）或透過 Ollama、llama.cpp、Apple-silicon MLX 執行本地模型。該應用注重隱私（無遙測、API 金鑰本地儲存），並採用 GPL-v3 許可證。

  • 專案
    MaxBittker/rs-sdk

    RS‑SDK 是一個開源、基於 TypeScript 的起始套件，模擬 RuneScape 風格 MMO 以進行機器人研究。它整合了伺服器模擬器、網頁客戶端、閘道與類型安全 SDK，讓你可撰寫非同步腳本（或 LLM 生成程式碼）來控制機器人，實驗目標導向合成、多代理競爭與市場經濟。示範伺服器開箱即用；你也可透過可調 tickrate 在本機主機執行。MIT 授權，並由 Discord 社群支援。