NightMean/OlliteRT

해결하는 문제

OlliteRT는 Android 기기를 완전히 로컬이고 개인적인 LLM 서버로 전환할 수 있게 해주는 앱입니다. 클라우드 구독, API 키, 고가의 GPU 하드웨어가 필요 없이, 모바일 기기의 CPU와 GPU를 활용하여 로컬 네트워크에서 접근 가능한 모델을 호스팅합니다.

작동 방식

이 앱은 Google의 LiteRT-LM 런타임을 사용하여 Android에서 모델을 실행합니다. 이 런타임을 OpenAI 호환 HTTP API 서버로 감싸, OpenAI API와 통신할 수 있는 모든 소프트웨어(예: Open WebUI 또는 Home Assistant)가 클라우드 서비스 대신 Android 폰에 요청을 보낼 수 있도록 합니다.

대상 사용자

개인정보 보호, 비용 절감, 또는 오래된 모바일 하드웨어를 저전력 AI 서버로 재활용하고자 하는 Android 사용자(안드로이드 12+, arm64-v8a)를 위한 것입니다.

주요 특징

• 광범위한 호환성: OpenAI 및 Anthropic 호환 API를 지원하여 기존의 다양한 AI 클라이언트와 호환됩니다.
• 다중 모달 기능: 비전, 오디오, "사고" 모델(예: Gemma 4)을 지원합니다.
• 저전력 소비: 전통적인 GPU 서버와 비교해 훨씬 낮은 전력 소비(5–10W)를 자랑합니다.
• 통합 도구: 내장된 벤치마킹, 상세한 활동 로그, Grafana를 통해 모니터링 가능한 Prometheus 메트릭이 포함되어 있습니다.
• 유연한 모델 관리: HuggingFace에서 원터치 다운로드 또는 사용자 정의 .litertlm 파일을 가져올 수 있습니다.