OGAM: モバイルおよびMac向けの、テキスト、画像、ビジョン機能を提供するプライバシー重視のオフラインAIスイート

何を解決するか

Off Grid AIは、モバイルデバイス（Android, iOS）およびmacOS向けに、完全オフラインのAIスイートを提供し、データがデバイスから外部に出ることを防ぎます。クラウドベースのAIサービスへの依存を排除し、プライバシーを重視したテキスト生成、画像作成、およびビジョン分析をデバイス上で提供します。

仕組み

このアプリは、ネイティブハードウェアアクセラレーション（Snapdragon上のNPU、iOS上のCore ML）および llama.cpp、whisper.cpp、MNN といった最適化されたライブラリを活用して、モデルをローカルで実行します。テキストには GGUF モデルを、画像には Stable Diffusion を、音声からテキストへの変換には Whisper をサポートしています。また、同梱の MiniLM モデルと SQLite を使用したローカルRAGシステムも含まれています。

対象ユーザー

データのプライバシーとAIツールへのオフラインアクセスを優先するユーザー、および、個人のハードウェア上で様々なオープンソースのLLMやビジョンモデルを実行したい開発者。

ハイライト

• マルチモーダル機能: テキスト生成（Llama, Qwen, Phi）、画像生成（Stable Diffusion）、およびビジョンAI（SmolVLM, Qwen-VL）をサポート。
• オンデバイスRAG: 埋め込み（embeddings）とコサイン類似度（cosine similarity）を使用した、PDFおよびテキストドキュメント用のローカルナレッジベース。
• ツール呼び出し: ウェブ検索、計算機、およびナレッジベース検索のための、暴走防止機能付き組み込みツール。
• 柔軟なモデルサポート: 独自の .gguf ファイルを持ち込むか、ローカルネットワーク上のOpenAI互換のリモートサーバーに接続することが可能。
• オンデバイス音声: リアルタイムの Whisper 音声からテキストへの変換、および（Proバージョンでは）Kokoro テキストから音声への変換。
• クロスプラットフォーム: Android、iOS、およびApple Silicon搭載Macでのネイティブパフォーマンス。