RunanywhereAI/runanywhere-sdks

Production ready toolkit to run AI locally

解决的问题

RunAnywhere 提供统一的 SDK，可在多种设备（包括手机、浏览器、桌面和服务器）上本地部署 AI 模型。它消除了开发者为不同硬件加速器（如 NPU、GPU 或 CPU）编写平台特定代码的需要，通过多种编程语言提供单一语义 API。

工作原理

该项目使用单一的 C++ 核心（runanywhere-commons）和纯 C ABI，然后通过八种不同的 SDK（Swift、Kotlin、Android、Flutter、React Native、Web、Electron 和 Python）进行封装。一个能力注册表会将 AI 任务路由到设备上可用的最佳引擎。例如，它可以利用 QHexRT 处理 Snapdragon Hexagon NPU，使用 MLX 处理 Apple Silicon，或使用 llama.cpp 实现对 Metal、CUDA 和 WebGPU 的通用兼容性。

适用人群

专为需要私有、离线优先 AI 能力（如 LLM、视觉、语音和图像生成）的跨平台应用开发者设计，无需管理硬件特定优化的复杂性。

主要亮点

  • 多模态支持：包含 LLM 聊天、视觉语言模型（VLM）、语音转文本（STT）、文本转语音（TTS）、RAG 和图像生成。
  • 广泛的硬件加速：支持 Snapdragon Hexagon NPU、Apple Neural Engine、Metal、CUDA、WebGPU 和 CPU。
  • 统一 API：八个不同 SDK 中提供一致的接口。
  • 设备端隐私：模型设计上完全本地化且离线运行。
  • 高级 AI 功能：支持结构化 JSON 输出、工具调用和 LoRA 适配器。

相关

  • 项目
    huggingface/speech-to-speech

    一个低延迟、模块化的语音代理流水线，协调 VAD、STT、LLM 和 TTS 组件，实现实时语音对话。

  • 项目
    xybrid-ai/xybrid

    Xybrid 是一个开源、跨平台 SDK，可在设备（移动、桌面、Unity）上本地运行 LLM、语音识别和文本转语音模型。它提供 Flutter、Swift、Kotlin、Unity、Rust 和 Python 的原生绑定，支持多种流行开源模型，并允许将它们组合成多模型流水线——无需依赖云服务。

  • Dispatch
    AnyLanguageModel: 适用于 Apple 平台的统一 LLM API

    Hugging Face 已引入 AnyLanguageModel，这是一个 Swift 包，通过充当 Apple Foundation Models 框架的直接替换，为在 Apple 平台上集成本地和远程 LLMs 提供统一 API。

  • 项目
    theJayTea/WritingTools

    Writing Tools 是一款免费开源的桌面应用，支持 Windows、Linux 和 macOS，可通过快捷键在计算机任意位置调用 LLM。它可进行校对、重写、改变语气、翻译、总结网页或 YouTube 字幕，甚至与模型聊天。支持使用云 API（Gemini、OpenAI、Anthropic 等）或通过 Ollama、llama.cpp、Apple-silicon MLX 运行本地模型。该应用注重隐私（无遥测、API 密钥本地存储），并采用 GPL-v3 许可证。

  • 项目
    MaxBittker/rs-sdk

    RS‑SDK 是一个开源、基于 TypeScript 的启动套件，用于模拟 RuneScape 风格 MMO 以进行机器人研究。它集成了服务器模拟器、网页客户端、网关和类型安全 SDK，使你能够编写异步脚本（或 LLM 生成代码）来控制机器人，实验目标导向合成、多智能体竞争和市场经济学。演示服务器开箱即用；你也可以通过可调 tickrate 在本地托管。MIT 许可证，并由 Discord 社区支持。