off-grid-ai/OGAM

解決する課題

Off Grid AIは、モバイルデバイスおよびMac向けの完全なオフラインAIスイートを提供し、データがデバイスから一切外部へ送信されないことを保証します。クラウドベースのAIサービスへの依存を排除し、プライバシーを重視したテキスト生成、画像生成、ビジョンAIをローカルハードウェア上で直接実行します。

仕組み

このアプリケーションは、ネイティブのハードウェアアクセラレーション（OpenCL経由のAdreno GPU、Apple Silicon Metal、Snapdragon Hexagon NPU）を活用してモデルをローカルで実行します。GGUFモデル（Llama 3.2、Qwen 3、Phi-4など）をサポートし、テキストおよび音声文字起こしのために llama.cpp と whisper.cpp を統合しています。また、Stable Diffusionによる画像生成にはCore MLを使用し、プロジェクト知識ベースを用いたデバイス上のRAG（検索拡張生成）にはMiniLMとローカルのSQLiteデータベースを活用しています。

対象ユーザー

完全なデータプライバシーを求めるユーザー、インターネット接続なしでAI機能が必要なユーザー、そしてスマートフォンやMac上でさまざまなオープンソースLLMやビジョンモデルを実行したい開発者向けです。

主な特徴

• マルチモーダル機能: テキスト生成、画像生成 (Stable Diffusion)、ビジョンAI (SmolVLM, Qwen3-VL)、音声文字起こし (Whisper) をサポート。
• ハードウェアアクセラレーション: SnapdragonおよびApple Silicon向けに最適化されており、1秒あたりのトークン生成数を最大化します。
• デバイス上でのRAG: デバイス上の埋め込みとコサイン類似度を使用して、PDFやテキストドキュメントのためのローカル知識ベースを提供します。
• ツール呼び出し: ウェブ検索、計算機、知識ベース検索のツールを内蔵し、暴走防止機能を備えています。
• モデル管理: 異なる読み込みポリシー（Lean、Balanced、Aggressive）により、RAM使用量を細かく制御できます。
• リモートLLMサポート: OllamaやLM Studioなどのローカルネットワークサーバーへの接続が可能です。