sauravpanda/BrowserAI

해결하는 문제

BrowserAI는 웹 브라우저 내에서 본격적인 AI 모델을 실행할 수 있는 방법을 제공하여, 비용이 많이 드는 서버 기반 인프라의 필요성을 제거하고, 모든 데이터 처리를 로컬에서 수행함으로써 사용자 개인정보를 100% 보호합니다.

작동 방식

JavaScript SDK를 사용하여 WebGPU 가속 기능을 활용해 거의 네이티브 수준의 성능을 제공합니다. 이 라이브러리는 MLC, Transformers, Flare(GGUF 모델을 위한 WASM), Demucs 등의 다양한 추론 엔진을 지원하여 텍스트, 음성, 오디오 작업을 위한 다양한 사전 최적화된 모델을 로드하고 실행할 수 있습니다.

대상 사용자

• AI 기능을 갖춘 애플리케이션을 개발하는 웹 개발자.
• 개인정보 보호를 중시하는 기업.
• 인프라 부담 없이 실험하고 싶은 AI 연구자 및 애호가.
• 노코드 플랫폼 개발자.

주요 특징

• 로컬 실행: 모든 처리가 브라우저 내에서 이루어져 오프라인 사용이 가능하고 서버 비용이 0원입니다.
• 다중 모달 기능: 텍스트 생성(LLM), 음성 인식(Whisper), 텍스트 음성 변환(Kokoro), 오디오 소스 분리(Demucs)를 지원합니다.
• 개발자 친화적 API: 모델 로드, JSON 스키마 지원 텍스트 생성, 대화 관리 등 간단한 SDK를 제공합니다.
• 광범위한 모델 호환성: Llama, Qwen, Gemma, Phi, DeepSeek 모델을 다양한 엔진에서 사용 가능합니다.