off-grid-ai-mobile: モバイルおよびMac向けに、デバイス上でのテキスト、画像、およびビジョン機能を提供する包括的なオフラインAIスイート

解決する課題

Off Gridは、モバイルデバイスおよびmacOS向けの包括的なオフラインAIスイートであり、インターネット接続やクラウドへのデータ送信を必要とせずに、強力なAIモデルをローカルで実行することをユーザーに可能にします。すべての処理がデバイス上で行われることを保証することで、クラウドベースのAIに関連するプライバシーの懸念を排除します。

仕組み

このアプリは、ネイティブハードウェアアクセラレーション（NPU, Core ML）および llama.cpp や whisper.cpp のような最適化されたライブラリを活用して、さまざまなAIモデルをローカルで実行します。テキスト生成（GGUFモデル）、画像生成（Stable Diffusion）、ビジョンAI（VLM）、および音声からテキストへの変換（Whisper）をサポートしており、これらはすべて単一のインターフェースに統合されています。また、ローカルネットワーク設定を好むユーザーのために、リモートLLMサーバー（Ollamaなど）への接続も可能です。

対象ユーザー

プライバシーを重視するユーザー、開発者、およびスマートフォンやMac上で完全にオフラインで動作するAIアシスタントを求めるすべての人。

ハイライト

• マルチモーダル機能: テキスト、画像生成、ビジョンAI、および音声文字起こしをサポート。
• オンデバイスRAG: PDFやテキストドキュメントを埋め込み、MiniLMモデルとSQLiteを使用してローカルで検索・取得できるプロジェクトナレッジベースを含みます。
• ツール呼び出し: ウェブ検索、計算機、およびランナウェイ防止機能を備えたナレッジベース検索のための組み込みツール。
• NPUアクセラレーションによる画像生成: リアルタイムプレビューと20以上のStable Diffusionモデルをサポート。
• 幅広いモデルサポート: Qwen, Llama, Gemma, および Phiモデル、ならびにカスタム .gguf ファイルと互換性があります。