tetherto/qvac

Open-source local AI SDK - run AI on-device with no cloud, no API keys. Supports GGUF, RAG, image, music, and video generation, speech-to-text, P2P inference, and more. Cross-platform: Linux, macOS, Windows, Android, iOS.

해결하는 문제

QVAC은 Linux, macOS, Windows, Android, iOS 등 다양한 플랫폼에서 일반 하드웨어에서 다양한 AI 워크로드를 로컬에서 실행할 수 있는 통합적인 방법을 제공합니다. 클라우드 기반 AI API의 필요성을 제거하여 데이터 프라이버시를 보장하고 오프라인 사용이 가능하며 사용자가 AI 시스템을 완전히 제어할 수 있도록 합니다.

작동 방식

QVAC은 두 가지 주요 통합 경로를 제공합니다: JavaScript/TypeScript 및 Python용 SDK를 통해 로컬 우선 AI 애플리케이션을 개발할 수 있으며, 기존 AI 도구가 QVAC을 로컬 모델 공급자로 사용할 수 있도록 하는 OpenAI 호환 HTTP 서버입니다. 최적화된 오픈 모델을 사용하며, 중앙 집중식 호스팅을 회피하기 위해 사용자 간 직접 모델을 다운로드하는 피어 투 피어(P2P) 시스템을 특징으로 합니다.

대상 사용자

클라우드 의존 없이 AI 기능이 필요한 모바일 및 데스크톱 애플리케이션을 개발하는 개발자와, 선호하는 AI 도구에 로컬 모델을 제공하고 싶은 사용자입니다.

주요 특징

  • 크로스플랫폼 지원: 단일 코드베이스로 데스크톱 및 모바일 OS에서 작동합니다.
  • 포괄적인 AI 기능: 텍스트 생성, RAG, 파인튜닝(LoRA), 멀티모달 추론, 이미지/비디오/음악 생성, 음성 인식, OCR을 지원합니다.
  • P2P 모델 배포: 분산형 모델 레지스트리로 피어 간 직접 모델을 가져옵니다.
  • OpenAI 호환 API: HTTP 서버를 통해 OpenCode 및 OpenClaw과 같은 도구와의 원활한 통합을 가능하게 합니다.

관련

  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트