tetherto/qvac
QVAC - Local AI SDK and libraries for building private, cross-platform, peer-to-peer AI applications. Run LLMs, speech-to-text, translation, and more locally on Linux, macOS, Windows, Android, and iOS.
解決する課題
QVACは、ローカルファーストの実行を可能にすることで、クラウドベースのAIにおけるプライバシーと依存性の懸念に対処します。開発者は、サードパーティのAPIやSaaSプロバイダーに依存することなく、Linux、macOS、Windows、Android、iOSといったユーザーのデバイス上で直接動作するAIシステムを構築できます。また、ピア・ツー・ピア（P2P）推論も可能にし、ユーザーが分散型ネットワーク内の他のピアにAIタスクを委譲できるようにします。
仕組み
本プロジェクトは、開発者の主要なエントリーポイントとなる統合JavaScript SDKを提供します。このSDKにより、モデルのロードや様々なタスクの実行が可能になります。また、OpenAI APIと互換性のあるHTTPサーバーを介してローカルモデルプロバイダーとして機能できるため、既存のAIツールへの統合が容易です。このエコシステムは、テキスト生成、画像/動画生成、音声文字起こし、さらにはロボティクス向けのVision-Language-Actionなど、幅広いタスクをサポートしています。
対象者
- 開発者: プライバシーを重視したローカルファーストのAIアプリケーションを構築したい方。
- システムアーキテクト: P2P機能を使用して、分散型で停止不可能なAIネットワークを構築したい方。
- ユーザー: 既存のAIツールに対して、自身のハードウェアをローカルモデルプロバイダーとして使用したい方。
ハイライト
- ローカルファーストの実行: クラウドに依存せず、LLM、音声、RAGを実行可能
- ピア・ツー・ピア（P2P）機能: 分散型AI推論を実現
- クロスプラットフォーム対応: Node.js、Bare runtime、Expoを含む
- OpenAI互換API: 既存のエコシステムとの容易な統合が可能
- 幅広いAIタスクのサポート: テキストや画像生成からBCI、ロボティクス制御まで