Ryan-yang125/ChatLLM-Web

해결하는 문제

ChatLLM Web은 대규모 언어 모델(LLM)과 상호작용할 수 있는 완전히 개인 정보 보호된 브라우저 내 환경을 제공합니다. WebGPU를 사용하여 모델을 사용자 기기에서 직접 실행함으로써 외부 서버, API 키, 계정이 필요 없으며, 대화와 데이터가 로컬 머신을 벗어나지 않도록 보장합니다.

작동 방식

이 애플리케이션은 WebLLM을 사용하여 전용 웹 워커에서 모델을 실행하고, WebGPU를 통해 기기의 GPU를 활용하여 추론을 수행합니다. 모델 자산(가중치 및 WASM)은 브라우저의 Cache API를 통해 관리되며, 대화 기록, 설정, 생성된 아티팩트는 IndexedDB에 저장됩니다. 모델 스튜디오에서는 기기의 기능을 감지하여 호환되는 모델을 추천하고, HTTPS를 통해 사용자 정의 MLC 매니페스트를 가져올 수 있습니다.

대상 사용자

개인 정보 보호를 우선시하는 AI 워크스페이스를 원하는 사용자, 로컬 코드 어시스턴트를 찾는 개발자, 복잡한 로컬 환경을 설정하지 않고 다양한 양자화된 오픈소스 모델을 실험하고 싶은 고급 사용자에게 적합합니다.

주요 기능

• 로컬 에이전트 워크스페이스: Hermes와 같은 특정 모델과의 네이티브 함수 호출을 지원하여 로컬 파일 검색 및 산술 계산과 같은 작업을 수행할 수 있습니다.
• 아티팩트 관리: 로컬 저장소에 커밋하기 전에 라인 차이 분석 리뷰 프로세스를 통해 저장된 아티팩트를 생성하고 업데이트할 수 있습니다.
• 풍부한 모델 카탈로그: 채팅, 코드, 추론, 비전용 20개의 큐레이된 모델과 공식 로직 모델 65개 이상에 대한 접근이 가능합니다.
• 개인정보 중심: 백엔드 없음, 텔레메트리 없음, API 키 없음; 모든 처리 및 저장은 브라우저 내에서 로컬로 이루어집니다.
• 로컬 컨텍스트: 텍스트, Markdown, JSON, 코드 파일을 직접 모델의 컨텍스트로 첨부할 수 있습니다.