off-grid-ai/off-grid-ai-mobile

The Swiss Army Knife of Offline AI. Chat, Speak, and Generate Images - Privacy First, Zero Internet. Download an LLM and use it on your mobile device. No data ever leaves your phone. Supports text-to-text, vision, text-to-image

해결하는 문제

Off Grid AI는 기기에서 완전히 실행되는 완전한 프라이빗 AI 스위트를 제공하여 클라우드 연결의 필요성을 제거하고 데이터가 사용자의 휴대폰이나 Mac을 벗어나는 것을 방지합니다. 이는 외부 서버에 의존하지 않고도 멀티모달 AI 기능(텍스트, 이미지, 비전 및 음성)에 액세스해야 하는 프라이버시 중심 사용자의 문제를 해결합니다.

작동 방식

이 애플리케이션은 네이티브 하드웨어 가속(Snapdragon의 NPU 및 iOS의 Core ML 등)과 llama.cpp 및 whisper.cpp와 같은 최적화된 라이브러리를 활용하여 모델을 로컬에서 실행합니다. 텍스트 생성을 위해 GGUF 모델을, 이미지 생성을 위해 Stable Diffusion을 지원합니다. 지식 베이스 기능의 경우, 온디바이스 임베딩을 위해 번들로 제공되는 MiniLM 모델을 사용하며, 코사인 유사도를 통한 로컬 저장 및 검색을 위해 SQLite를 사용합니다.

대상 사용자

다양한 모달리티의 AI 작업을 처리할 수 있는 다재다능한 오프라인 AI 어시스턴트를 원하는 Android, iOS 및 macOS의 프라이버시 중심 개인, 개발자 및 사용자.

주요 특징

멀티모달 기능: 텍스트 생성 (Llama, Qwen, Phi), 이미지 생성 (Stable Diffusion), 비전 AI (SmolVLM, Qwen-VL) 및 음성 전사 (Whisper) 지원.
온디바이스 RAG: PDF 및 텍스트 문서가 로컬에서 임베딩 및 검색되는 프로젝트 지식 베이스 포함.
도구 호출: 웹 검색, 계산기 및 폭주 방지 기능이 있는 지식 베이스 검색을 위한 내장 도구.
로컬 서버 연결: Ollama 또는 LM Studio와 같은 OpenAI 호환 로컬 서버에 연결할 수 있는 기능.
하드웨어 최적화: NPU 가속 이미지 생성 및 실시간 음성 전사.