mlc-ai/web-llm

해결하는 문제

WebLLM은 고성능 대규모 언어 모델(LLM) 추론을 웹 브라우저에 직접 가져옵니다. 서버 측 처리의 필요성을 제거하여 사용자 프라이버시를 강화하고 모델 실행에 대한 외부 API 의존성을 없앱니다.

작동 방식

WebLLM은 하드웨어 가속을 위해 WebGPU를, 최적의 성능을 위해 WebAssembly(WASM)를 활용합니다. 웹 애플리케이션, Chrome 확장 프로그램에 통합하거나 CDN을 통해 사용할 수 있는 모듈형 npm 패키지로 설계되었습니다. 이 엔진은 Cache API, IndexedDB, OPFS와 같은 다양한 캐시 백엔드를 지원하여 브라우저 내에서 모델 가중치를 효율적으로 관리합니다.

대상 사용자

GPU 가속을 사용하여 클라이언트 측에서 LLM을 로컬로 실행하기를 원하는 AI 어시스턴트, 챗봇 또는 브라우저 확장 프로그램을 구축하는 웹 개발자를 위한 것입니다.

주요 특징

• OpenAI API 호환성: OpenAI API와 완전히 호환되며, 스트리밍, JSON 모드, 시딩을 지원합니다.
• 광범위한 모델 지원: Llama 3, Phi 3, Gemma, Mistral, Qwen 계열을 네이티브로 지원합니다.
• 클라이언트 측 실행: 서버 지원이 필요 없이 완전히 브라우저 내에서 실행됩니다.
• 성능 최적화: UI를 반응형으로 유지하기 위해 Web Workers 또는 Service Workers로 계산 오프로딩을 지원합니다.
• 커스텀 모델 통합: MLC 형식의 커스텀 모델 배포를 허용합니다.