off-grid-ai/OGAM

The Swiss Army Knife of Offline AI. Chat, see, speak, and generate images on your phone or Mac — GGUF LLMs, vision, Whisper speech-to-text, Stable Diffusion, tool calling, and local-network servers. Runs on your CPU, GPU, or NPU. No account, no API key, zero data leaves your device.

해결하는 문제

Off Grid AI는 Android, iOS 및 macOS에서 완전히 기기 내에서 실행되는 완전한 프라이빗 AI 스위트를 제공합니다. 클라우드 기반 AI 서비스의 필요성을 제거하여 데이터가 사용자의 기기를 떠나지 않도록 보장하는 동시에 텍스트, 이미지 및 비전 처리를 포함한 광범위한 AI 기능을 제공합니다.

작동 방식

이 애플리케이션은 네이티브 하드웨어 가속(Snapdragon의 NPU 및 iOS의 Core ML 등)과 llama.cpp 및 whisper.cpp와 같은 최적화된 라이브러리를 활용하여 모델을 로컬에서 실행합니다. 텍스트 생성에는 GGUF 모델을, 이미지 생성에는 Stable Diffusion을 지원합니다. RAG 기능의 경우, 기기 내 임베딩을 위해 번들로 제공되는 MiniLM 모델을 사용하고 문서 청크의 로컬 저장을 위해 SQLite를 사용합니다.

대상 사용자

데이터 프라이버시와 AI 도구의 오프라인 액세스를 우선시하는 사용자 및 모바일 기기와 Mac에서 LLM, 비전 모델 및 이미지 생성기를 실행하고자 하는 개발자.

주요 특징

멀티모달 기능: 텍스트 생성 (Llama 3.2, Qwen 3 등), 이미지 생성 (Stable Diffusion), 비전 AI (SmolVLM, Qwen3-VL) 및 음성 전사 (Whisper) 지원.
온디바이스 RAG: 기기 내 임베딩 및 코사인 유사도 검색을 사용하는 PDF 및 텍스트 문서용 로컬 지식 베이스.
도구 호출: 웹 검색, 계산기 및 지식 베이스 액세스를 위한 실행 방지 기능이 포함된 내장 도구.
하드웨어 가속: Snapdragon의 NPU 가속 이미지 생성 및 iOS의 Core ML.
원격 LLM 통합: OpenAI 호환 API를 통해 Ollama 또는 LM Studio와 같은 로컬 네트워크 서버에 연결하는 기능.
Pro 티어: 기기 내 텍스트 음성 변환 (Kokoro), 지속적 메모리를 가진 커스텀 페르소나, 그리고 캘린더, 이메일 및 MCP 서버를 위한 액션 초안 작성 기능 추가.