dineshsoudagar/local-llms-on-android

何を解決するか

Pocket LLM は Android デバイス上で大規模言語モデル（LLM）を完全にオフラインで実行できるようにし、クラウドサービスに依存せずにプライバシーとアクセス性を確保します。また、同じホームネットワーク上の他のデバイスが Web UI や OpenAI 互換 API を通じてアクセスできるローカル AI サーバーとしてスマートフォンを変換します。

動作方法

アプリは ONNX および LiteRT バックエンドを使用して、GPU および NPU の加速を活用してモデルをデバイス上で実行します。組み込みモデル（Gemma 4 や Qwen など）をダウンロードしたり、独自の .litertlm ファイルをインポートしたりできます。ドキュメント処理には、RAG に似た質問に使用する BM25 検索と、スキャンされた PDF 用のオンデバイス OCR を使用しています。音声はネイティブモデルによる理解または多言語対応 Whisper フォールバックによる音声認識で処理されます。

対象ユーザー

プライバシーを重視するユーザー、AI ファン、およびポータブルでオフラインの AI アシスタントや、家庭ネットワーク用の低消費電力ローカル推論サーバーを必要とする開発者。

主な特徴

• ローカル LAN サーバー：パスワード保護された Web UI または OpenAI 互換 API を通じて、他のデバイスにモデルを提供。
• マルチモーダル対応：テキスト、画像（OCR およびネイティブビジョン）、音声（ネイティブ理解と Whisper 音声認識）をサポート。
• ドキュメントインテリジェンス：PDF やテキストファイルを添付して、BM25 検索を使って要約や特定の質問に回答。
• 柔軟なモデル対応：Gemma 4、Qwen3、DeepSeek R1 などの組み込みモデルを含み、カスタム .litertlm インポートにはベータ対応。
• プライバシー最優先：すべての推論とデータはデバイス上に留まり、テレメトリも一切ありません。