addyosmani/chatty

해결하는 문제

Chatty는 웹 브라우저 내에서 완전히 작동하는 개인적이고 오프라인 사용이 가능한 AI 채팅 경험을 제공합니다. 서버 측 처리가 필요 없어 사용자 데이터와 업로드된 문서가 로컬 머신에 그대로 유지됩니다.

작동 방식

이 애플리케이션은 WebGPU를 활용해 사용자의 하드웨어에서 대규모 언어 모델(LLM)을 네이티브로 실행합니다. 모델 실행에 WebLLM을 통합하고, XenovaTransformerEmbeddings와 MemoryVectorStore를 사용해 로컬 RAG(Retrieval-Augmented Generation)을 구현하여, 사용자가 클라우드 서버에 문서를 전송하지 않고도 업로드한 PDF 및 텍스트 파일과 대화할 수 있도록 합니다.

대상 사용자

데이터 프라이버시를 엄격히 요구하거나, 오프라인 접근이 필요하거나, Llama 3, Gemma, Mistral과 같은 오픈소스 모델을 브라우저 내에서 직접 실행하고 싶은 사용자들입니다.

주요 기능

• 로컬 실행: WebGPU를 통해 완전히 클라이언트 사이드에서 실행되어 최대한의 프라이버시를 보장합니다.
• 로컬 파일 채팅: PDF 및 코드 파일 업로드를 지원하여 로컬에서 질의 가능합니다.
• 오프라인 모드: 초기 모델 다운로드 후 인터넷 연결 없이도 작동합니다.
• 광범위한 모델 지원: Llama 2, Llama 3, Gemma, Mistral 등 인기 있는 오픈소스 모델과 호환됩니다.
• 풍부한 UI: 마크다운 렌더링, 코드 하이라이팅, 음성 입력, 라이트/다크 모드를 포함합니다.