ImDarkTom/LlamaPen

해결하는 문제

LlamaPen은 복잡한 설치 과정 없이 로컬 대규모 언어 모델(LLM)과 상호작용할 수 있는 사용자 친화적인 웹 기반 그래픽 인터페이스를 제공합니다. 다양한 로컬 LLM 프로바이더에 쉽게 연결할 수 있으며, 프라이버시를 우선시하는 방식으로 모델을 관리하고 대화할 수 있습니다.

작동 방식

이 애플리케이션은 자체 호스팅된 LLM 서버의 프론트엔드 역할을 합니다. Ollama, llama.cpp, LM Studio, Jan, vLLM 및 OpenAI 호환 API를 포함한 다양한 프로바이더를 지원합니다. Docker를 통해 배포하거나 Bun을 사용해 수동으로 배포할 수 있으며, 모든 대화 기록은 브라우저 내부에 로컬로 저장되어 프라이버시를 보장합니다.

대상 사용자

자신의 하드웨어에서 LLM을 실행하고, 데스크톱과 모바일 기기에서 모두 잘 작동하는 세련되고 반응성이 뛰어난 인터페이스를 원하는 사용자에게 적합합니다.

주요 특징

• 광범위한 프로바이더 지원: Ollama, llama.cpp, LM Studio, Jan, vLLM 및 OpenAI 호환 서버와 호환됩니다.
• 풍부한 렌더링: 마크다운, LaTeX 수식, "think" 텍스트를 지원합니다.
• 프라이버시 우선: 모든 대화는 브라우저 내부에 로컬로 저장됩니다.
• 통합 관리 기능: 내장된 모델 및 다운로드 관리자가 포함되어 있습니다.
• PWA 지원: 오프라인 기능과 프로그레시브 웹 앱(PWA) 지원을 제공합니다.