off-grid-ai/OGAM

해결하는 문제

Off Grid AI는 모바일 기기와 Mac을 위한 완벽한 오프라인 AI 제품군을 제공하여 데이터가 기기 밖으로 나가지 않도록 보장합니다. 클라우드 기반 AI 서비스에 대한 의존도를 없애고, 개인정보 보호를 중시하는 텍스트 생성, 이미지 생성, 비전 AI 기능을 로컬 하드웨어에서 직접 실행합니다.

작동 원리

이 애플리케이션은 네이티브 하드웨어 가속(OpenCL 기반 Adreno GPU, Apple Silicon Metal, Snapdragon Hexagon NPU)을 활용하여 모델을 로컬에서 실행합니다. GGUF 모델(Llama 3.2, Qwen 3, Phi-4 등)을 지원하며, 텍스트 및 음성 변환을 위해 llama.cpp와 whisper.cpp를 통합했습니다. 또한 Stable Diffusion을 통한 이미지 생성을 위해 Core ML을 사용하며, 프로젝트 지식 베이스를 활용한 기기 내 RAG(검색 증강 생성)를 위해 MiniLM과 로컬 SQLite 데이터베이스를 사용합니다.

대상 사용자

완벽한 데이터 개인정보 보호를 원하는 사용자, 인터넷 연결 없이 AI 기능이 필요한 사용자, 그리고 스마트폰이나 Mac에서 다양한 오픈 소스 LLM 및 비전 모델을 실행하고자 하는 개발자를 위한 제품입니다.

주요 특징

• 멀티모달 기능: 텍스트 생성, 이미지 생성(Stable Diffusion), 비전 AI(SmolVLM, Qwen3-VL), 음성 변환(Whisper) 지원.
• 하드웨어 가속: Snapdragon 및 Apple Silicon에 최적화되어 초당 토큰 처리량을 극대화.
• 기기 내 RAG: 기기 내 임베딩과 코사인 유사도를 사용하여 PDF 및 텍스트 문서를 위한 로컬 지식 베이스 제공.
• 도구 호출: 웹 검색, 계산기, 지식 베이스 검색 도구가 내장되어 있으며 오작동 방지 기능 포함.
• 모델 관리: 다양한 로딩 정책(Lean, Balanced, Aggressive)을 통해 RAM 사용량을 세밀하게 제어.
• 원격 LLM 지원: Ollama나 LM Studio와 같은 로컬 네트워크 서버에 연결 가능.