tetherto/qvac

Open-source local AI SDK - run AI on-device with no cloud, no API keys. Supports GGUF, RAG, image, music, and video generation, speech-to-text, P2P inference, and more. Cross-platform: Linux, macOS, Windows, Android, iOS.

何を解決するか

QVACは、複数のプラットフォーム(Linux、macOS、Windows、Android、iOS)で、コンシューマー向けハードウェア上で幅広いAIワークロードをローカルで実行するための統一された方法を提供します。クラウドベースのAI APIの必要性を排除し、データのプライバシーを確保し、オフラインでの利用が可能になり、ユーザーがAIシステムを完全に制御できるようにします。

動作方法

QVACは2つの主要な統合パスを提供します:JavaScript/TypeScriptおよびPython用のSDKでローカル優先のAIアプリケーションを構築する方法、および既存のAIツールがQVACをローカルモデルプロバイダーとして使用できるようにするOpenAI互換HTTPサーバーです。最適化されたオープンモデルを使用し、中央集権的なホスティングを回避するためのピアツーピア(P2P)システムにより、ユーザー間でモデルを直接ダウンロードします。

対象ユーザー

クラウド依存なしにAI機能を必要とするモバイルおよびデスクトップアプリケーションを開発する開発者、およびお気に入りのAIツールにローカルモデルを提供したいユーザー。

主な特徴

  • クロスプラットフォーム対応:単一のコードベースでデスクトップおよびモバイルOSで動作します。
  • 包括的なAI機能:テキスト生成、RAG、ファインチューニング(LoRA)、マルチモーダル推論、画像/動画/音楽生成、音声認識、OCRをサポートします。
  • P2Pモデル配布:分散型モデルレジストリを使用して、ピアから直接モデルを取得します。
  • OpenAI互換API:HTTPサーバーを通じて、OpenCodeやOpenClawなどのツールとのシームレスな統合を可能にします。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト