shubham0204/SmolChat-Android

Running any GGUF SLMs/LLMs locally, on-device in Android

해결하는 문제

SmolChat은 모바일 기기에서 직접 소형 언어 모델(SLM)을 실행하기 위한 네이티브 Android 인터페이스를 제공합니다. 클라우드 기반 AI 서비스에 대한 의존성을 제거하여 사용자가 데이터와 모델 매개변수를 직접 제어하면서 로컬 추론을 수행할 수 있도록 합니다.

작동 방식

이 애플리케이션은 NDK를 사용하여 Android용으로 컴파일된 llama.cpp C++ 라이브러리를 활용합니다. JNI(Java Native Interface) 바인딩을 사용하여 Kotlin 기반 Android UI와 C++ 추론 엔진 사이를 연결합니다. 사용자는 GGUF 형식의 모델을 가져오고, 시스템 프롬프트를 구성하며, temperature 및 min-p와 같은 추론 설정을 앱 내에서 직접 조정할 수 있습니다.

대상 사용자

이 프로젝트는 외부 API에 의존하지 않고 모바일 하드웨어에서 로컬 및 개인정보 보호 중심의 언어 모델을 실행해보고 싶은 Android 개발자와 AI 애호가를 위한 것입니다.

주요 특징

llama.cpp 엔진을 사용하여 기기에서 로컬로 SLM 실행.
사용자 지정 GGUF 모델 가져오기 및 구성 가능한 추론 매개변수 지원.
채팅 기록 및 시스템 프롬프트를 관리하기 위한 전용 모듈 포함.
모델 응답에 대한 Markdown 렌더링 및 코드 구문 강조 기능 내장.

shubham0204/SmolChat-Android

해결하는 문제

작동 방식

대상 사용자

주요 특징

관련