tetherto/qvac

解决的问题

QVAC 解决了在消费级硬件上本地运行各种 AI 工作负载（包括文本、视觉、音频和生成式媒体）的挑战。它消除了对基于云的 API 的需求，确保了跨桌面和移动平台的隐私性和离线功能。

工作原理

QVAC 为 JavaScript/TypeScript 和 Python 提供了一个统一的 SDK，用于处理本地模型推理。它包含一个公开 OpenAI 兼容 API 的 HTTP 服务器，允许开发者将现有的 AI 工具连接到本地模型。该系统使用点对点架构来分发模型，使设备能够直接从彼此获取权重，而无需依赖中心化服务器。

适用对象

它专为构建本地优先 AI 应用、嵌入式系统或本地部署工具的开发者而设计，他们希望通过单一接口管理多种 AI 功能，同时保持数据主权。

亮点

• 跨平台支持： 可在 Linux、macOS、Windows、Android 和 iOS 上运行。
• 全面的 AI 套件： 支持文本生成、RAG、微调、图像/视频生成、语音转文本，甚至机器人控制 (VLA)。
• 兼容 OpenAI： 内置的 HTTP 服务器允许与现有的 AI 生态系统无缝集成。
• 点对点分发： 用于模型共享和连接的去中心化模型注册和中继系统。
• 开发者友好： 为 Python 和 JavaScript/TypeScript 提供原生 SDK，并内置进度跟踪和模型管理功能。