off-grid-ai-mobile: 모바일 및 Mac을 위한 온디바이스 텍스트, 이미지 및 비전 기능을 제공하는 종합 오프라인 AI 스위트

해결하는 문제

Off Grid는 모바일 기기 및 macOS를 위한 종합적인 오프라인 AI 스위트입니다. 인터넷 연결이나 클라우드로의 데이터 전송 없이 강력한 AI 모델을 로컬에서 실행할 수 있게 해줍니다. 모든 프로세싱이 온디바이스에서 이루어지도록 보장함으로써 클라우드 기반 AI와 관련된 개인정보 보호 문제를 제거합니다.

작동 방식

이 앱은 네이티브 하드웨어 가속(NPU, Core ML)과 llama.cpp 및 whisper.cpp와 같은 최적화된 라이브러리를 활용하여 다양한 AI 모델을 로컬에서 실행합니다. 텍스트 생성(GGUF 모델), 이미지 생성(Stable Diffusion), 비전 AI(VLM), 그리고 음성-텍스트 변환(Whisper)을 지원하며, 이 모든 기능이 단일 인터페이스에 통합되어 있습니다. 또한 로컬 네트워크 설정을 선호하는 사용자를 위해 원격 LLM 서버(Ollama와 같은)로의 연결도 지원합니다.

대상 사용자

개인정보 보호를 중시하는 사용자, 개발자, 그리고 자신의 휴대폰이나 Mac에서 완전히 오프라인으로 작동하는 AI 어시스턴트를 원하는 모든 사람을 위한 도구입니다.

주요 특징

• 멀티모달 기능: 텍스트, 이미지 생성, 비전 AI 및 음성 전사 기능을 지원합니다.
• 온디바이스 RAG: PDF 및 텍스트 문서를 임베딩하고 MiniLM 모델과 SQLite를 사용하여 로컬에서 검색할 수 있는 프로젝트 지식 베이스를 포함합니다.
• 도구 호출(Tool Calling): 웹 검색, 계산기, 지식 베이스 검색 및 실행 방지(runaway prevention) 기능이 내장된 도구를 제공합니다.
• NPU 가속 이미지 생성: 실시간 미리보기와 20개 이상의 Stable Diffusion 모델을 지원합니다.
• 폭넓은 모델 지원: Qwen, Llama, Gemma, Phi 모델은 물론 사용자 정의 .gguf 파일과 호환됩니다.