off-grid-ai/OGAM

The Swiss Army Knife of Offline AI. Chat, see, speak, and generate images on your phone or Mac — GGUF LLMs, vision, Whisper speech-to-text, Stable Diffusion, tool calling, and local-network servers. Runs on your CPU, GPU, or NPU. No account, no API key, zero data leaves your device.

解決する課題

Off Grid AIは、Android、iOS、macOS上で完全にデバイス内で動作する、プライベートなAIスイートを提供します。クラウドベースのAIサービスの必要性を排除し、テキスト、画像、ビジョン処理を含む幅広いAI機能を提供しながら、データがユーザーのデバイスから外部に出ることはありません。

仕組み

このアプリケーションは、ネイティブのハードウェアアクセラレーション（SnapdragonのNPUやiOSのCore MLなど）と、llama.cppやwhisper.cppのような最適化されたライブラリを活用して、モデルをローカルで実行します。テキスト生成にはGGUFモデルを、画像生成にはStable Diffusionをサポートしています。RAG機能については、デバイス内埋め込み用にバンドルされたMiniLMモデルを、ドキュメントチャンクのローカル保存用にSQLiteを使用しています。

対象ユーザー

データのプライバシーとAIツールのオフラインアクセスを優先するユーザー、およびモバイルデバイスやMac上でLLM、ビジョンモデル、画像生成器を実行したい開発者。

ハイライト

マルチモーダル機能: テキスト生成 (Llama 3.2, Qwen 3, 等)、画像生成 (Stable Diffusion)、ビジョンAI (SmolVLM, Qwen3-VL)、および音声文字起こし (Whisper) をサポート。
オンデバイスRAG: デバイス内埋め込みとコサイン類似度検索を使用した、PDFおよびテキストドキュメント用のローカルナレッジベース。
ツール呼び出し: Web検索、計算機、ナレッジベースへのアクセスのための、暴走防止機能付き組み込みツール。
ハードウェアアクセラレーション: Snapdragon上のNPU加速画像生成、およびiOS上のCore ML。
リモートLLM統合: OpenAI互換APIを介して、OllamaやLM Studioのようなローカルネットワークサーバーに接続する機能。
Proティア: デバイス内テキスト読み上げ (Kokoro)、永続的なメモリを持つカスタムペルソナ、およびカレンダー、メール、MCPサーバーへのアクションドラフト機能の追加。