off-grid-ai/off-grid-ai-mobile

The Swiss Army Knife of Offline AI. Chat, Speak, and Generate Images - Privacy First, Zero Internet. Download an LLM and use it on your mobile device. No data ever leaves your phone. Supports text-to-text, vision, text-to-image

解決する課題

Off Grid AIは、完全にデバイス上で動作する完全なプライベートAIスイートを提供し、クラウド接続の必要性を排除し、データがユーザーのスマートフォンやMacから流出することを防ぎます。これにより、外部サーバーに依存することなく、マルチモーダルなAI機能（テキスト、画像、ビジョン、音声）へのアクセスを必要とするプライバシー重視のユーザーの課題を解決します。

仕組み

このアプリケーションは、ネイティブなハードウェアアクセラレーション（SnapdragonのNPUやiOSのCore MLなど）と、llama.cppやwhisper.cppのような最適化されたライブラリを活用して、モデルをローカルで実行します。テキスト生成にはGGUFモデルを、画像生成にはStable Diffusionをサポートしています。ナレッジベース機能には、デバイス内埋め込み用のMiniLMモデルと、コサイン類似度によるローカル保存・検索用のSQLiteを使用しています。

対象ユーザー

Android、iOS、macOSを利用しており、複数のモダリティのAIタスクを処理できる多機能なオフラインAIアシスタントを求める、プライバシー重視の個人、開発者、ユーザー。

ハイライト

マルチモーダル機能: テキスト生成 (Llama, Qwen, Phi)、画像生成 (Stable Diffusion)、ビジョンAI (SmolVLM, Qwen-VL)、音声文字起こし (Whisper) をサポート。
オンデバイスRAG: PDFやテキストドキュメントをローカルで埋め込み・検索できるプロジェクトナレッジベースを搭載。
ツール呼び出し: Web検索、計算機、および暴走防止機能を備えたナレッジベース検索のための組み込みツール。
ローカルサーバー接続: OllamaやLM StudioのようなOpenAI互換のローカルサーバーへの接続機能。
ハードウェア最適化: NPU加速による画像生成とリアルタイム音声文字起こし。