Vali-98/ChatterUI

해결하는 문제

ChatterUI는 대규모 언어 모델(LLM)과 상호작용하기 위한 네이티브 모바일 인터페이스를 제공하여, 사용자가 자신의 기기에서 모델을 로컬로 실행하거나 데스크톱 환경 없이 다양한 외부 API에 연결할 수 있도록 합니다.

작동 방식

이 앱은 두 가지 주요 모드로 작동합니다:

• 로컬 모드: llama.cpp를 커스텀 React Native 어댑터를 통해 사용하여 GGUF 모델 파일을 모바일 기기의 하드웨어에서 직접 실행합니다.
• 원격 모드: OpenAI, Claude, Cohere와 같은 상용 API 또는 Ollama, Koboldcpp, text-generation-webui와 같은 오픈소스 백엔드에 연결합니다.

대상 사용자

기기 내에서의 프라이버시를 선호하거나 다양한 API 제공업체 간에 유연하게 전환하고 싶은 사용자들을 위한 전용이고 사용자 정의 가능한 LLM 채팅 인터페이스를 원하는 모바일 사용자입니다.

주요 기능

• 하이브리드 실행: 기기 내 추론과 원격 API 연결을 모두 지원합니다.
• 캐릭터 기반 채팅: 특정 인물 역할을 만들고 상호작용할 수 있는 Character Card v2 사양을 지원합니다.
• 사용자 정의: 샘플러 필드와 지시 형식을 사용자가 수정할 수 있습니다.
• 접근성: 기기의 네이티브 음성 합성(TTS) 엔진과 통합됩니다.

"이 앱은 기기 내에서 LLM을 사용할 수 있게 해주어, 프라이버시를 중요하게 여기는 사용자에게 이상적입니다." — @handle