off-grid-ai/mobile

The Swiss Army Knife of Offline AI. Chat, Speak, and Generate Images - Privacy First, Zero Internet. Download an LLM and use it on your mobile device. No data ever leaves your phone. Supports text-to-text, vision, text-to-image

해결하는 문제

Off Grid AI는 완전히 온디바이스에서 실행되는 완전한 프라이빗 AI 스위트를 제공하여 클라우드 연결의 필요성을 제거하고 데이터가 사용자의 휴대폰이나 Mac을 벗어나는 것을 방지합니다. 이는 외부 서버에 의존하지 않고 다양한 AI 기능(텍스트, 이미지, 비전 및 음성)에 액세스해야 하는 개인정보 보호 중심 사용자의 문제를 해결합니다.

작동 원리

이 애플리케이션은 네이티브 하드웨어 가속(Snapdragon의 NPU, iOS의 Core ML)과 llama.cpp 및 whisper.cpp와 같은 최적화된 라이브러리를 활용하여 모델을 로컬에서 실행합니다. 텍스트 생성을 위한 GGUF 모델, 이미지를 위한 Stable Diffusion, 음성-텍스트 변환을 위한 Whisper를 지원합니다. 또한 문서 분석 및 프로젝트 지식 베이스를 위해 번들로 제공되는 MiniLM 모델과 SQLite를 사용하는 로컬 RAG 시스템을 포함합니다.

대상 사용자

데이터 수집 없이 멀티모달 작업을 처리할 수 있는 다재다능한 오프라인 AI 어시스턴트를 원하는 Android, iOS 및 macOS의 개인정보 보호 중심 개인, 개발자 및 사용자.

주요 특징

멀티모달 기능: 텍스트 생성 (Llama 3.2, Phi-4, 등), 이미지 생성 (Stable Diffusion), 비전 AI (SmolVLM, Qwen3-VL) 및 음성 전사 (Whisper) 지원.
로컬 RAG: 프로젝트별 지식 베이스를 위한 PDF 및 텍스트 문서의 온디바이스 임베딩 및 검색.
도구 호출: 웹 검색, 계산기 및 runaway 방지 기능이 있는 지식 베이스 검색을 위한 내장 도구.
유연한 모델 지원: 사용자 정의 .gguf 파일을 가져오거나 Ollama 또는 LM Studio와 같은 OpenAI 호환 로컬 서버에 연결할 수 있는 기능.
개인정보 보호 우선: 데이터가 기기를 떠나지 않습니다. 음성 및 이미지 생성을 포함한 모든 처리는 로컬 RAM/NPU에서 이루어집니다.