dineshsoudagar/local-llms-on-android

해결하는 문제

Pocket LLM은 Android 기기에서 대규모 언어 모델(LLM)을 완전히 오프라인으로 실행할 수 있게 해주며, 클라우드 서비스에 의존하지 않고도 프라이버시와 접근성을 보장합니다. 또한, 동일한 홈 네트워크에 있는 다른 기기들이 웹 UI 또는 OpenAI 호환 API를 통해 접근할 수 있는 로컬 AI 서버로 스마트폰을 전환합니다.

작동 방식

앱은 ONNX 및 LiteRT 백엔드를 사용하여 GPU 및 NPU 가속을 활용해 모델을 기기 내에서 실행합니다. 내장 모델(Gemma 4, Qwen 등)을 다운로드하거나, 자체 .litertlm 파일을 가져올 수 있습니다. 문서 처리에는 RAG 유사 질문을 위해 BM25 검색을 사용하고, 스캔된 PDF에 대해 기기 내 OCR을 활용합니다. 오디오는 네이티브 모델 이해 또는 다국어 Whisper 후행 대체를 통해 음성 인식을 처리합니다.

대상 사용자

프라이버시를 중시하는 사용자, AI 애호가, 그리고 휴대용이고 오프라인인 AI 어시스턴트 또는 가정 네트워크용 저전력 로컬 추론 서버를 원하는 개발자들.

주요 기능

• 로컬 LAN 서버: 비밀번호 보호된 웹 UI 또는 OpenAI 호환 API를 통해 다른 기기로 모델을 제공.
• 다중 모달 기능: 텍스트, 이미지(OCR 및 네이티브 비전), 오디오(네이티브 이해 및 Whisper 음성 인식)를 지원.
• 문서 지능: PDF 및 텍스트 파일을 첨부하여 BM25 검색을 사용해 요약이나 특정 질문에 답변.
• 유연한 모델 지원: Gemma 4, Qwen3, DeepSeek R1 등의 내장 모델을 포함하며, 사용자 정의 .litertlm 임포트는 베타 지원.
• 프라이버시 우선: 모든 추론과 데이터는 기기 내에 유지되며, 텔레메트리도 전혀 없음.