NightMean/OlliteRT

何を解決するか

OlliteRT は、Android デバイスを完全にローカルでプライベートな LLM サーバーに変換できるアプリです。クラウドサブスクリプション、API キー、高価な GPU ハードウェアの必要性を排除し、モバイルデバイスの CPU と GPU を活用して、ローカルネットワーク上でアクセス可能なモデルをホストします。

動作方法

このアプリは Google の LiteRT-LM ランタイムを使用して、Android 上でモデルを実行します。このランタイムを OpenAI 互換の HTTP API サーバーでラップし、OpenAI API と通信できるあらゆるソフトウェア（例：Open WebUI や Home Assistant）が、クラウドサービスではなく Android フォンにリクエストを送信できるようにします。

対象ユーザー

プライバシー保護、コスト削減、または古いモバイルハードウェアを低消費電力の AI サーバーとして再利用したい Android ユーザー（Android 12+、arm64-v8a）向けに設計されています。

特徴

• 広範な互換性：OpenAI および Anthropic 互換 API をサポートしており、多数の既存 AI クライアントと互換性があります。
• マルチモーダル機能：視覚、音声、および「思考」モデル（例：Gemma 4）をサポートします。
• 低消費電力：従来の GPU サーバーと比較して、はるかに低い電力消費（5–10W）です。
• 統合ツール：組み込みのベンチマーク、詳細なアクティビティログ、Grafana でモニタリング可能な Prometheus メトリクスを備えています。
• 柔軟なモデル管理：HuggingFace からのワンタップダウンロードや、カスタム .litertlm ファイルのインポートが可能です。