dineshsoudagar/local-llms-on-android

해결하는 문제

대규모 언어 모델(LLM)을 Android 기기에서 완전히 온디바이스로 실행할 수 있는 방법을 제공하여 사용자 개인정보 보호와 오프라인 사용 가능성을 보장합니다. 클라우드 기반 AI에 의존하지 않고, 사용자가 스마트폰에서 직접 모델을 다운로드하고 전환하며 관리할 수 있도록 합니다.

작동 방식

작은 기본 APK를 사용하며, 설치 후 특정 모델 가중치(예: Qwen, Gemma 등)를 다운로드할 수 있습니다. 지원되는 기기에서 GPU 및 NPU를 활용한 하드웨어 가속을 위해 ONNX 및 LiteRT 백엔드를 사용하여 지연 시간을 줄입니다. 텍스트, 음성, 이미지(OCR 또는 네이티브 이미지 지원)와 같은 다양한 입력 모달리티를 지원합니다.

대상 사용자

저사양부터 플래그십 모바일 기기까지 다양한 하드웨어에서 작동하는 프라이버시 보장된 오프라인 AI 어시스턴트를 원하는 Android 사용자.

주요 특징

• 완전한 온디바이스 처리: 초기 모델 다운로드 후, 모든 추론, OCR, 이미지 처리는 오프라인에서 수행됩니다.
• 유연한 모델 관리: 사용자는 여러 모델(Gemma 4, Qwen 3 등)을 다운로드하고 전환하거나 삭제하여 디바이스 스토리지 관리가 가능합니다.
• 다중 입력 모달리티: 음성 프롬프트, 카메라 캡처(자르기 기능 포함), OCR 또는 네이티브 Gemma 이미지 지원을 통한 이미지 입력을 지원합니다.
• 하드웨어 최적화: GPU 및 NPU 가속을 위해 LiteRT를 사용하여 속도를 향상시키고 지연 시간을 줄입니다.
• 사용자 맞춤 설정: 편집 가능한 모델 지침, 프리셋, UI 테마(다크/라이트 모드)를 포함합니다.