RunanywhereAI/runanywhere-sdks

Production ready toolkit to run AI locally

何を解決するか

RunAnywhere は、スマートフォン、ブラウザ、デスクトップ、サーバーなど、さまざまなデバイスにAIモデルをローカルで展開するための統合SDKを提供します。NPUs、GPU、CPUなどの異なるハードウェアアクセラレーター用にプラットフォーム固有のコードを書く必要がなく、複数のプログラミング言語で一貫したセマンティックAPIを提供します。

動作方法

このプロジェクトは、単一のC++コア（runanywhere-commons）と純粋なC ABIを使用しており、これにSwift、Kotlin、Android、Flutter、React Native、Web、Electron、Pythonの8つの異なるSDKがラッピングされています。能力レジストリが、デバイス上で利用可能な最適なエンジンにAIタスクをルーティングします。たとえば、Snapdragon Hexagon NPUにはQHexRT、Apple SiliconにはMLX、Metal、CUDA、WebGPUに対応する一般互換性にはllama.cppを使用できます。

対象ユーザー

プライベートでオフライン優先のAI機能（LLM、ビジョン、音声、画像生成など）を必要とするクロスプラットフォームアプリケーションを開発する開発者向けに設計されています。ハードウェア固有の最適化の複雑さを管理したくない方々に最適です。

特徴

  • マルチモーダル対応：LLMチャット、ビジョン言語モデル（VLM）、音声認識（STT）、音声合成（TTS）、RAG、画像生成を含む。
  • 広範なハードウェアアクセラレーション：Snapdragon Hexagon NPU、Apple Neural Engine、Metal、CUDA、WebGPU、CPUをサポート。
  • 統合API：8つの異なるSDKで一貫したインターフェースを提供。
  • デバイス内プライバシー：モデルは設計上、完全にローカルでオフラインで実行されます。
  • 高度なAI機能：構造化JSON出力、ツールコール、LoRAアダプターをサポート。

関連

  • プロジェクト
    huggingface/speech-to-speech

    低遅延でモジュール式の音声エージェントパイプライン。VAD、STT、LLM、TTS コンポーネントを調整し、リアルタイム音声会話を可能にします。

  • プロジェクト
    xybrid-ai/xybrid

    Xybridは、オープンソースでクロスプラットフォーム対応のSDKであり、大規模言語モデル（LLM）、音声認識（ASR）、音声合成（TTS）を、モバイル、デスクトップ、Unityデバイス上でローカルに実行できます。Flutter、Swift、Kotlin、Unity、Rust、Python向けのネイティブバインディングを提供し、多数のオープンソースモデルをサポート。マルチモデルパイプラインとして連結可能。クラウドサービスを一切必要としません。

  • Dispatch
    AnyLanguageModel: Apple プラットフォーム向け統合 LLM API

    Hugging Face は、Apple の Foundation Models フレームワークのドロップイン置換として機能し、Apple プラットフォーム上でローカルおよびリモートの LLM を統合するための統合 API を提供する Swift パッケージ AnyLanguageModel を発表しました。

  • プロジェクト
    theJayTea/WritingTools

    Writing Tools は、Windows、Linux、macOS用の無料でオープンソースのデスクトップアプリです。ホットキーでコンピュータ上のどこからでもLLMを呼び出せます。校正、再執筆、トーン変更、翻訳、WebページやYouTubeの字幕の要約、モデルとのチャットが可能です。Gemini、OpenAI、AnthropicなどのクラウドAPI、またはOllama、llama.cpp、Apple-silicon MLXを介してローカルモデルを実行できます。プライバシー重視（テレメトリなし、APIキーはローカル保存）で、GPL-v3ライセンスのもとで提供されています。

  • プロジェクト
    MaxBittker/rs-sdk

    RS‑SDK は、ボット研究向けに RuneScape 風 MMO をエミュレートするオープンソースで TypeScript で構築されたスターターKITです。サーバーエミュレータ、ウェブクライアント、ゲートウェイ、型安全な SDK をバンドルしており、非同期スクリプト（または LLM 生成コード）を書くことでボットを制御し、目的指向合成、マルチエージェント競争、市場経済の実験が可能です。デモサーバーは即時利用可能で、調整可能なタックレートでローカルホストも可能。MIT ライセンスで、Discord コミュニティがサポートしています。