tetherto/qvac

QVAC - Local AI SDK and libraries for building private, cross-platform, peer-to-peer AI applications. Run LLMs, speech-to-text, translation, and more locally on Linux, macOS, Windows, Android, and iOS.

解决的问题

QVAC 通过实现本地优先执行，解决了基于云端的 AI 在隐私和依赖性方面的问题。它允许开发人员构建直接在用户机器上运行的 AI 系统——涵盖 Linux、macOS、Windows、Android 和 iOS——而无需依赖第三方 API 或 SaaS 提供商。它还支持点对点（P2P）推理，允许用户将 AI 任务委派给去中心化网络中的其他节点。

工作原理

该项目提供了一个统一的 JavaScript SDK，作为开发人员的主要入口。该 SDK 支持加载模型并执行各种任务。它可以作为一个与 OpenAI API 兼容的 HTTP 服务器来充当本地模型提供者，从而轻松集成到现有的 AI 工具中。该生态系统支持广泛的任务，包括文本生成、图像/视频生成、语音转录，甚至是用于机器人技术的 vision-language-action。

适用对象

  • 开发人员：希望构建注重隐私、本地优先的 AI 应用的人员。
  • 系统架构师：希望利用 P2P 能力构建去中心化、不可阻挡的 AI 网络的人员。
  • 用户：希望将自己的硬件作为现有 AI 工具的本地模型提供者的人员。

亮点

  • 本地优先执行：无需云端依赖即可运行 LLM、语音和 RAG
  • 点对点 (P2P) 能力：实现去中心化 AI 推理
  • 跨平台支持：包括 Node.js、Bare runtime 和 Expo
  • 兼容 OpenAI 的 API：便于与现有生态系统集成
  • 广泛的 AI 任务支持：涵盖从文本和图像生成到 BCI 和机器人控制的广泛领域