RunanywhereAI/runanywhere-sdks

Production ready toolkit to run AI locally

해결하는 문제

RunAnywhere는 스마트폰, 브라우저, 데스크톱, 서버 등 다양한 장치에 AI 모델을 로컬로 배포할 수 있는 통합 SDK를 제공합니다. NPUs, GPU, CPU와 같은 다양한 하드웨어 가속기용으로 플랫폼별 코드를 작성할 필요 없이, 여러 프로그래밍 언어에서 일관된 세미틱 API를 제공합니다.

작동 방식

이 프로젝트는 단일 C++ 커널(runanywhere-commons)과 순수 C ABI를 사용하며, 이는 Swift, Kotlin, Android, Flutter, React Native, Web, Electron, Python의 8가지 다른 SDK로 래핑됩니다. 기능 레지스트리가 장치에서 사용 가능한 최적의 엔진으로 AI 작업을 라우팅합니다. 예를 들어 Snapdragon Hexagon NPU에는 QHexRT를, Apple Silicon에는 MLX를, Metal, CUDA, WebGPU와 호환되는 일반적인 경우에는 llama.cpp를 사용할 수 있습니다.

대상 사용자

개인정보 보호와 오프라인 우선의 AI 기능(예: LLM, 비전, 음성, 이미지 생성)이 필요한 크로스플랫폼 애플리케이션을 개발하는 개발자들을 위한 것입니다. 하드웨어별 최적화의 복잡성을 관리하고 싶지 않은 사용자에게 적합합니다.

주요 특징

  • 다중 모달 지원: LLM 채팅, 비전 언어 모델(VLM), 음성-텍스트(STT), 텍스트-음성(TTS), RAG, 이미지 생성을 포함합니다.
  • 광범위한 하드웨어 가속: Snapdragon Hexagon NPU, Apple Neural Engine, Metal, CUDA, WebGPU, CPU를 지원합니다.
  • 통합 API: 8개의 다른 SDK에서 일관된 인터페이스를 제공합니다.
  • 장치 내 개인정보 보호: 모델은 설계상 완전히 로컬 및 오프라인에서 실행됩니다.
  • 고급 AI 기능: 구조화된 JSON 출력, 도구 호출, LoRA 어댑터를 지원합니다.

관련

  • 프로젝트
    huggingface/speech-to-speech

    저지연, 모듈식 음성 에이전트 파이프라인으로 VAD, STT, LLM, TTS 구성 요소를 조율하여 실시간 음성 대화를 가능하게 합니다.

  • 프로젝트
    xybrid-ai/xybrid

    Xybrid은 오픈소스이며 크로스플랫폼 SDK로, LLM, 음성 인식(ASR), 음성 합성(TTS) 모델을 모바일, 데스크톱, Unity에서 디바이스 내부에서 로컬로 실행할 수 있습니다. Flutter, Swift, Kotlin, Unity, Rust, Python용 네이티브 바인딩을 제공하며, 많은 인기 오픈소스 모델을 지원하고, 다중 모델 파이프라인으로 연결할 수 있습니다. 클라우드 서비스가 필요하지 않습니다.

  • Dispatch
    AnyLanguageModel: Apple 플랫폼을 위한 통합 LLM API

    Hugging Face는 AnyLanguageModel이라는 Swift 패키지를 소개했습니다. 이 패키지는 Apple 플랫폼에서 로컬 및 원격 LLM을 통합하기 위한 통합 API를 제공하며, Apple의 Foundation Models 프레임워크를 대체하는 드롭인 방식으로 동작합니다.

  • 프로젝트
    theJayTea/WritingTools

    Writing Tools는 Windows, Linux, macOS용 무료 오픈소스 데스크톱 앱으로, 키보드 단축키로 컴퓨터 어디서든 LLM을 호출할 수 있습니다. 문법 검토, 재작성, 톤 변경, 번역, 웹 페이지 또는 유튜브 자막 요약, 모델과의 대화가 가능합니다. Gemini, OpenAI, Anthropic 등 클라우드 API 또는 Ollama, llama.cpp, Apple-silicon MLX를 통해 로컬 모델을 실행할 수 있습니다. 텔레메트리 없이 API 키는 로컬에 저장되는 개인정보 중심 설계이며, GPL-v3 라이선스로 제공됩니다.

  • 프로젝트
    MaxBittker/rs-sdk

    RS‑SDK는 봇 연구를 위한 오픈소스이며 TypeScript 기반의 스타터 킷으로, RuneScape 스타일 MMO를 에뮬레이트합니다. 서버 에뮬레이터, 웹 클라이언트, 게이트웨이, 타입 안전한 SDK를 포함하여 비동기 스크립트(또는 LLM 생성 코드)를 작성해 봇을 제어하고, 목표 지향적 합성, 다중 에이전트 경쟁, 시장 경제 실험을 할 수 있습니다. 데모 서버는 즉시 사용 가능하며, 조정 가능한 타이크 레이트로 로컬 호스팅도 가능합니다. MIT 라이선스이며, Discord 커뮤니티가 지원합니다.