tetherto/qvac

QVAC - Local AI SDK and libraries for building private, cross-platform, peer-to-peer AI applications. Run LLMs, speech-to-text, translation, and more locally on Linux, macOS, Windows, Android, and iOS.

해결하는 문제

QVAC는 로컬 퍼스트 실행을 가능하게 함으로써 클라우드 기반 AI의 개인정보 보호 및 의존성 문제를 해결합니다. 개발자는 서드파티 API나 SaaS 제공업체에 의존하지 않고 Linux, macOS, Windows, Android, iOS 등 사용자의 기기에서 직접 실행되는 AI 시스템을 구축할 수 있습니다. 또한 피어 투 피어(P2P) 추론을 지원하여 사용자가 분산형 네트워크의 다른 피어에게 AI 작업을 위임할 수 있도록 합니다.

작동 방식

이 프로젝트는 개발자를 위한 주요 엔트리 포인트 역할을 하는 통합 JavaScript SDK를 제공합니다. 이 SDK를 통해 모델 로드 및 다양한 작업 실행이 가능합니다. 또한 OpenAI API와 호환되는 HTTP 서버를 통해 로컬 모델 제공자로 기능할 수 있어 기존 AI 도구에 쉽게 통합할 수 있습니다. 이 생태계는 텍스트 생성, 이미지/비디오 생성, 음성 전사, 그리고 로봇 공학을 위한 vision-language-action을 포함한 광범위한 작업을 지원합니다.

대상 사용자

개발자: 개인정보 보호 중심의 로컬 퍼스트 AI 애플리케이션을 구축하고자 하는 개발자.
시스템 아키텍트: P2P 기능을 사용하여 탈중앙화된 중단 없는 AI 네트워크를 구축하고자 하는 아키텍트.
사용자: 기존 AI 도구에 대해 자신의 하드웨어를 로컬 모델 제공자로 사용하고자 하는 사용자.

주요 특징

로컬 퍼스트 실행: 클라우드 의존성 없이 LLM, 음성 및 RAG 실행 가능
피어 투 피어(P2P) 기능: 탈중앙화된 AI 추론 지원
크로스 플랫폼 지원: Node.js, Bare runtime, Expo 포함
OpenAI 호환 API: 기존 생태계와의 쉬운 통합 가능
폭넓은 AI 작업 지원: 텍스트 및 이미지 생성부터 BCI 및 로봇 제어까지