off-grid-ai/OGAM

해결하는 문제

Off Grid AI는 Android, iOS, macOS에서 완전히 디바이스 내에서 작동하는 완전한 프라이버시 중심의 AI 솔루션을 제공합니다. 클라우드 기반 AI 서비스의 필요성을 제거하여, 데이터가 디바이스 외부로 나가지 않도록 보장함으로써 AI 도구의 데이터 프라이버시 및 연결성 문제를 해결합니다.

작동 방식

이 애플리케이션은 Adreno GPU(OpenCL을 통해), Apple Silicon Metal, Snapdragon Hexagon NPU와 같은 네이티브 하드웨어 가속 기술을 활용하여 다양한 로컬 모델을 실행합니다. 텍스트 및 음성 처리에는 llama.cpp와 whisper.cpp를 사용하고, 이미지 처리에는 Core ML 또는 NPU 가속 Stable Diffusion을 사용합니다. 제한된 디바이스 RAM을 관리하기 위한 모델 매니저와, 내장된 MiniLM 모델을 사용한 임베딩 기반의 로컬 SQLite 기반 RAG 시스템을 포함합니다.

대상 사용자

데이터 프라이버시를 최우선으로 생각하는 사용자, 인터넷 연결 없이도 AI 기능이 필요한 사용자, 그리고 다양한 GGUF 모델과 비전-언어 모델을 모바일 기기나 Mac에서 실행하고 싶은 개발자 또는 애호가.

주요 특징

• 다중 모달 기능: 텍스트 생성(Llama, Qwen, Phi), 이미지 생성(Stable Diffusion), 비전 AI(SmolVLM, Qwen-VL), 음성 전사(Whisper)를 지원합니다.
• 로컬 RAG: 로컬에서 PDF 및 텍스트 파일을 청크화하고 임베딩하여 프로젝트 지식 기반을 통해 디바이스 내 문서 분석을 수행합니다.
• 하드웨어 가속: 플래그십 기기에서 더 빠른 추론을 위해 GPU/NPU를 자동 감지하고 사용합니다.
• 도구 호출: 웹 검색, 계산기, 지식 기반 검색을 위한 내장 도구와 과도한 사용 방지 기능이 있습니다.
• 원격 서버 지원: Ollama 또는 LM Studio와 같은 OpenAI 호환 로컬 서버에 연결할 수 있습니다.
• 메모리 관리: Lean, Balanced, Aggressive 로딩 정책을 통해 RAM 사용량을 세밀하게 제어합니다.