Vali-98/ChatterUI

해결하는 문제

ChatterUI는 대규모 언어 모델(LLMs)과 상호작용하기 위한 네이티브 모바일 프론트엔드를 제공하여, 대화의 구조와 관리에 대해 세부적인 제어가 가능한 모바일 친화적 인터페이스를 원하는 사용자의 요구를 충족시킵니다.

작동 방식

앱은 두 가지 주요 모드로 작동합니다:

• 로컬 모드: llama.cpp를 커스텀 React Native 어댑터(cui-llama.rn)를 통해 사용하여 GGUF 모델 파일을 모바일 기기의 하드웨어에서 직접 실행합니다.
• 원격 모드: API를 통해 외부 LLM 제공업체에 연결합니다. Ollama 및 koboldcpp와 같은 오픈소스 백엔드, OpenAI 및 Claude와 같은 상용 서비스, 그리고 일반적인 채팅/텍스트 완성 백엔드를 지원합니다.

대상 사용자

스마트폰에서 LLM을 로컬로 실행하거나, 다양한 AI API에 연결하면서 모델 설정과 캐릭터 프로필을 세밀하게 제어하고 싶은 모바일 사용자를 위한 것입니다.

주요 기능

• 캐릭터 지원: 특정 캐릭터와 대화하기 위한 Character Card v2 사양을 지원합니다.
• 유연한 모델 로딩: 앱 내부에 모델을 가져오거나, 기기 저장소의 외부 파일을 사용할 수 있습니다.
• 사용자 맞춤 설정: 조정 가능한 샘플러 필드와 지시어 형식을 제공합니다.
• API 유연성: 제공업체가 기본적으로 지원되지 않을 경우, 템플릿 시스템을 통해 사용자 정의 API를 정의할 수 있습니다.
• 접근성: 기기의 네이티브 음성 합성(TTS) 엔진과 통합되어 있습니다.