tetherto/qvac

QVAC - Local AI SDK and libraries for building private, cross-platform, peer-to-peer AI applications. Run LLMs, speech-to-text, translation, and more locally on Linux, macOS, Windows, Android, and iOS.

解決的問題

QVAC 透過實現本地優先執行，解決了基於雲端的 AI 在隱私與依賴性方面的問題。它允許開發人員構建直接在使用者機器上運行的 AI 系統——涵蓋 Linux、macOS、Windows、Android 與 iOS——而無需依賴第三方 API 或 SaaS 提供商。它還支援點對點（P2P）推理，允許使用者將 AI 任務委派給去中心化網路中的其他節點。

工作原理

該專案提供了一個統一的 JavaScript SDK，作為開發人員的主要入口。該 SDK 支援載入模型並執行各種任務。它可以作為一個與 OpenAI API 相容的 HTTP 伺服器來充當本地模型提供者，從而輕鬆整合到現有的 AI 工具中。該生態系統支援廣泛的任務，包括文本生成、圖像/影片生成、語音轉錄，甚至是用於機器人技術的 vision-language-action。

適用對象

  • 開發人員：希望構建注重隱私、本地優先的 AI 應用的人員。
  • 系統架構師：希望利用 P2P 能力構建去中心化、不可阻擋的 AI 網路的人員。
  • 使用者：希望將自己的硬體作為現有 AI 工具的本地模型提供者的人員。

亮點

  • 本地優先執行：無需雲端依賴即可執行 LLM、語音與 RAG
  • 點對點 (P2P) 能力：實現去中心化 AI 推理
  • 跨平台支援：包括 Node.js、Bare runtime 與 Expo
  • 相容 OpenAI 的 API：便於與現有生態系統整合
  • 廣泛的 AI 任務支援：涵蓋從文本與圖像生成到 BCI 與機器人控制的廣泛領域