OGAM: 모바일 및 Mac을 위한 텍스트, 이미지, 비전 기능을 제공하는 개인정보 보호 중심의 오프라인 AI 스위트

해결하는 문제

Off Grid AI는 모바일 기기(Android, iOS) 및 macOS를 위한 완전한 오프라인 AI 스위트를 제공하여 데이터가 기기를 벗어나지 않도록 보장합니다. 클라우드 기반 AI 서비스에 대한 의존성을 제거하고, 기기 내에서 개인정보 보호 중심의 텍스트 생성, 이미지 생성 및 비전 분석을 제공합니다.

작동 방식

이 앱은 네이티브 하드웨어 가속(Snapdragon의 NPU, iOS의 Core ML)과 llama.cpp, whisper.cpp, MNN과 같은 최적화된 라이브러리를 활용하여 모델을 로컬에서 실행합니다. 텍스트를 위한 GGUF 모델, 이미지를 위한 Stable Diffusion, 음성-텍스트 변환을 위한 Whisper를 지원합니다. 또한 번들로 제공되는 MiniLM 모델과 SQLite를 사용하여 문서 분석을 위한 로컬 RAG 시스템을 포함합니다.

대상 사용자

데이터 개인정보 보호와 AI 도구에 대한 오프라인 액세스를 우선시하는 사용자와 다양한 오픈 소스 LLM 및 비전 모델을 개인 하드웨어에서 실행하고자 하는 개발자입니다.

주요 특징

• 멀티모달 기능: 텍스트 생성(Llama, Qwen, Phi), 이미지 생성(Stable Diffusion), 그리고 비전 AI(SmolVLM, Qwen-VL)를 지원합니다.
• 온디바이스 RAG: 임베딩과 코사인 유사도를 사용하여 PDF 및 텍스트 문서에 대한 로컬 지식 베이스를 구축합니다.
• 도구 호출(Tool Calling): 웹 검색, 계산기, 지식 베이스 검색을 위한 내장 도구와 실행 방지(runaway prevention) 기능을 포함합니다.
• 유연한 모델 지원: 사용자의 .gguf 파일을 직접 가져오거나 로컬 네트워크의 원격 OpenAI-compatible 서버에 연결할 수 있습니다.
• 온디바이스 음성: 실시간 Whisper 음성-텍스트 변환 및 (Pro 버전의 경우) Kokoro 텍스트-음성 변환을 지원합니다.
• 크로스 플랫폼: Android, iOS, 및 Apple Silicon Mac에서 네이티브 성능을 제공합니다.