off-grid-ai/OGAM

何を解決するか

Off Grid AI は、Android、iOS、macOS で完全にオフラインで動作するプライベートな AI サイツを提供します。クラウドベースの AI サービスの必要性を排除し、デバイスからデータが一切流出しないことを保証することで、AI ツールにおけるデータのプライバシーと接続性の問題を解決します。

動作方法

このアプリケーションは、ネイティブなハードウェアアクセラレーション（Adreno GPU は OpenCL を通じて、Apple Silicon は Metal、Snapdragon Hexagon NPU）を活用して、さまざまなローカルモデルを実行します。テキストと音声処理には llama.cpp と whisper.cpp を使用し、画像処理には Core ML または NPU アクセラレーテッド Stable Diffusion を使用します。有限なデバイスの RAM を管理するためのモデルマネージャーと、バンドルされた MiniLM モデルを用いた埋め込みによる、ローカル SQLite ベースの RAG システムを備えています。

対象ユーザー

データのプライバシーを最優先するユーザー、インターネット接続がなくても AI 機能が必要なユーザー、および GGUF モデルやビジョン・ランゲージモデルをモバイルデバイスや Mac で実行したい開発者や愛好家。

特徴

• マルチモーダル機能: テキスト生成（Llama、Qwen、Phi）、画像生成（Stable Diffusion）、ビジョン AI（SmolVLM、Qwen-VL）、音声トランスクリプション（Whisper）をサポート。
• ローカル RAG: ローカルで PDF やテキストファイルをチャンク化・埋め込みし、プロジェクトの知識ベースを介してオフデバイスでのドキュメント分析を実現。
• ハードウェアアクセラレーション: フラッグシップデバイスでの高速推論のため、GPU/NPU の自動検出と利用。
• ツールコール: ウェブ検索、電卓、知識ベース検索の組み込みツールと、リソースの過剰使用を防止する仕組み。
• リモートサーバー対応: Ollama や LM Studio などの OpenAI 互換ローカルサーバーに接続可能。
• メモリ管理: Lean、Balanced、Aggressive のロードポリシーを用いた、RAM 使用量の細かい制御。