RunanywhereAI/runanywhere-sdks
Production ready toolkit to run AI locally
RunAnywhere SDK – 모든 플랫폼을 위한 온디바이스 AI
개요 – RunAnywhere는 많은 AI 기능(LLM, 비전-언어 모델, 음성-텍스트, 텍스트-음성, 임베딩, RAG, 이미지 생성, 도구 호출 등)을 전적으로 기기에서 실행할 수 있는 단일 C++ 코어를 제공합니다. 8개의 언어별 SDK(Swift, Kotlin, Flutter, React-Native, Web, Electron, Python 및 wally CLI)는 동일한 고급 API를 노출하며, 능력 레지스트리는 현재 기기에 가장 적합한 하드웨어 가속 엔진(Snapdragon Hexagon NPU, Apple MLX, llama.cpp, ONNX, Core ML, CUDA, WebGPU 또는 일반 CPU)을 선택합니다.
핵심 아이디어
| 개념 | 설명 |
|---|---|
| 하나의 API, 다양한 백엔드 | RunAnywhere.capabilities()를 호출하여 현재 기기에서 무엇을 할 수 있는지 확인합니다. 런타임은 각 요청을 지원하는 최우선 순위 엔진으로 자동 라우팅합니다. |
| 온디바이스, 기본적으로 비공개 | 모델은 첫 사용 시 다운로드되어 로컬에서 실행됩니다. 선택적 OpenAI 호환 서버를 의도적으로 시작하지 않는 한 네트워크 트래픽이 필요하지 않습니다. |
| 하드웨어 인식 가속 | • QHexRT – Snapdragon Hexagon NPU • MLX – Apple silicon (Metal/MLX) • llama.cpp – CPU, Metal, CUDA, WebGPU/WASM • sherpa + ONNX – 음성, 임베딩 등 • Core ML – iOS/macOS에서 확산 |
| 크로스 플랫폼 SDK | Swift (iOS/macOS), Kotlin (Android), Flutter, React-Native, Web (TS + WASM), Electron (Windows), Python 및 wally 터미널 도구. 모든 SDK는 동일한 버전 라인(예: 0.20.29)을 공유합니다. |
| 연결 (LAN 호스트/클라이언트) | macOS는 로드된 모델을 호스팅할 수 있습니다. iOS, iPadOS 및 Android는 신뢰할 수 있는 로컬 네트워크(Bonjour 검색, 일반 TCP)를 통해 생성을 스트리밍할 수 있습니다. |
구축할 수 있는 것 (온디바이스)
- LLM 채팅 – 수십 가지 모델(Llama, Qwen, Gemma, Phi, SmolLM 등), 스트리밍, 다중 턴 기록, LoRA 어댑터 지원.
- 구조화된 JSON 출력 – 스키마 검증 생성, 제약 디코딩.
- 도구 호출 – 안정적인 ID를 가진 로컬 함수 호출, 지원 시 병렬 실행.
- 비전-언어 (VLM) – 이미지 캡셔닝, 라이브 카메라 설명, 사진 Q&A.
- 컴퓨터 사용 동작 파서 – Fara 스타일 동작 문자열을 화면 배율 좌표로 구문 분석합니다.
- 음성-텍스트 – Whisper, Moonshine, 배치 또는 라이브 스트림.
- 텍스트-음성 – 신경 음성(Piper, Kokoro, Kitten, MeloTTS, Magpie).
- 음성 에이전트 – VAD → STT → LLM → TTS 파이프라인(웨이크워드 감지 없음).
- 임베딩 및 RAG – 로컬 문서 수집, 벡터 검색, 스트리밍 답변.
- 이미지 생성 – Core ML에서 Stable Diffusion, Hexagon NPU에서 인페인팅.
빠른 시작 예제
Python (pip)
pip install runanywhere==0.20.11
import runanywhere as ra
from runanywhere import LlmOptions
ra.initialize() # 첫 호출 시 모델 다운로드
for ev in ra.llm.generate_stream("온디바이스 AI를 한 문장으로 설명하세요.",
LlmOptions(model="qwen2.5-0.5b")):
if ev.is_token:
print(ev.text, end="")
Swift (iOS/macOS)
import RunAnywhere
import LlamaCPPRuntime
LlamaCPP.register()
try RunAnywhere.initialize()
var load = RAModelLoadRequest()
load.modelID = "smollm2-360m"
load.category = .language
load.framework = .llamaCpp
await RunAnywhere.loadModel(load)
var req = RALLMGenerateRequest()
req.prompt = "프랑스의 수도는?"
let result = try await RunAnywhere.generate(req)
print(result.text) // → 파리
Web (TypeScript, WASM + WebGPU)
npm i @runanywhere/web@0.20.11 @runanywhere/web-llamacpp@0.20.11
import { RunAnywhere } from "@runanywhere/web";
import { LlamaCPP } from "@runanywhere/web-llamacpp";
await RunAnywhere.initialize({ environment: "DEV" });
await LlamaCPP.register({ acceleration: "auto" });
await RunAnywhere.loadModel({ modelId: "qwen2.5-0.5b" });
const out = await RunAnywhere.generate({ prompt: "프랑스의 수도?" });
console.log(out.text); // 파리
(Kotlin, Flutter, React-Native, Electron 및 wally CLI에 대한 유사한 스니펫도 제공됩니다.)
SDK 매트릭스 (상태 및 설치)
| SDK | 플랫폼 | 상태 | 설치 명령 |
|---|---|---|---|
| Swift | iOS 17.5+, macOS 14.5+ | 안정 | Swift Package Manager (https://github.com/RunanywhereAI/runanywhere-sdks) |
| Kotlin | Android API 24+ | 안정 | Gradle: implementation("io.github.sanchitmonga22:runanywhere-sdk:0.20.11") |
| Flutter | iOS, Android | 베타 | pub add runanywhere (백엔드 패키지 포함) |
| React Native | iOS, Android | 베타 | npm i @runanywhere/core @runanywhere/llamacpp |
| Web | Chromium, Safari, Firefox | 베타 | npm i @runanywhere/web @runanywhere/web-llamacpp |
| Electron | Windows x64 | 미리보기 | 소스에서 빌드 (bindings/electron/ 참조) |
| Python | Windows/macOS/Linux | 알파 | pip install runanywhere |
| wally (CLI) | macOS, Linux, Windows | 안정 | `curl … |
런타임이 엔진을 선택하는 방법
- 각 엔진은 실행할 수 있는 모달리티와 대상 하드웨어를 등록합니다.
- 요청이 도착하면 능력 레지스트리는 기기의 사용 가능한 하드웨어를 확인하고 요청을 충족하는 최우선 순위 엔진을 선택합니다.
- 일치하는 엔진이 없으면 호출은 명확한 오류와 함께 실패합니다.
capabilities()를 쿼리하여 실제로 설치된 항목을 확인할 수 있습니다.
일반적인 우선 순위 (높음 → 낮음):
- QHexRT (Snapdragon NPU) → MLX (Apple silicon) → llama.cpp (GPU/CPU) → sherpa + ONNX → Core ML → 폴백 CPU.
자세히 알아보기
- 문서: https://docs.runanywhere.ai (플랫폼별 가이드)
- 모델 카탈로그: https://huggingface.co/runanywhere/models
- Discord 커뮤니티: https://discord.gg/N359FBbDVd
- GitHub 릴리스: https://github.com/RunanywhereAI/runanywhere-sdks/releases
요약
RunAnywhere는 개발자가 하나의 코드를 작성하고 휴대폰, 브라우저, 데스크톱 또는 서버에서 다양한 AI 모델을 로컬로 실행하며 사용 가능한 최상의 하드웨어 가속기를 자동으로 활용할 수 있게 해주는 진정한 프로덕션 등급 SDK 제품군입니다. LLM 채팅, 비전-언어, 음성, 임베딩, RAG 및 확산을 다루며 Swift, Kotlin, Flutter, React-Native, Web, Electron, Python 및 CLI용 안정적인 API를 제공합니다.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트