ServiceStack/llms
LLM Client, Server API and UI
해결하는 문제
복수의 대규모 언어 모델(LLM)에 접근할 수 있는 오픈 웹UI의 가벼운, 개인 정보 보호 중심의 대안을 제공합니다. 사용자 데이터를 원격 서버가 아닌 브라우저의 로컬 스토리지에 저장함으로써 데이터 프라이버시를 우선시합니다.
작동 방식
이 프로젝트는 CLI, API, 웹 인터페이스를 제공하여 다양한 LLM과 상호작용할 수 있게 합니다. 완전히 오프라인(또는 로컬 API 엔드포인트를 통해) 작동하며, 대화 기록과 설정은 브라우저 자체의 스토리지 메커니즘 내에 저장됩니다.
대상 사용자
복잡한 UI의 부담 없이 로컬 LLM용으로 단순한 ChatGPT 유사 인터페이스를 원하는 사용자들로, 클라우드 기반 AI 인터페이스와 관련된 동일한 데이터 프라이버시 문제를 걱정하지 않아도 됩니다.
주요 특징
- 가벼운 CLI 및 API
- 완전한 데이터 프라이버시를 위한 브라우저 기반 스토리지
- ChatGPT 유사 웹 인터페이스
- 복수의 LLM 지원
관련
- 프로젝트
Niek/chatgpt-webChatGPT‑web은 OpenAI 호환 LLM(OpenAI, Anthropic, Gemini 등)과 대화할 수 있는 오픈소스 단일 페이지 웹 UI입니다. 대화는 로컬에 저장되며, 음성 I/O, 이미지 생성, 스트리밍 응답을 지원하고 브라우저, Docker, 또는 네이티브 데스크톱 앱으로 실행할 수 있습니다.
- 프로젝트
addyosmani/chattyWebGPU를 사용하여 로컬 하드웨어에서 LLM을 실행하는 오프라인 사용과 데이터 프라이버시를 보장하는 개인적인 브라우저 내 AI 채팅 인터페이스입니다.
- 프로젝트
chatboxai/chatboxChatGPT, Claude 및 기타 LLM을 위한 크로스플랫폼 데스크톱 및 모바일 클라이언트로, 통합 인터페이스와 로컬 데이터 저장을 통해 프라이버시를 강화합니다.
- 프로젝트
amaiya/onprem민감한 데이터에 대해 기본적으로 로컬에서 LLM 실행을 가능하게 하는 프라이버시 중심의 Python 툴킷이며, 필요 시 클라우드 통합도 지원합니다.
- 프로젝트
Ryan-yang125/ChatLLM-WebAPI 키나 백엔드 서버 없이 WebGPU를 사용해 사용자 기기에서 로컬로 LLM을 실행하는 개인 정보 보호 중심의 브라우저 내 AI 스튜디오 및 에이전트 워크스페이스입니다.