orailnoor/cross-platform-llm-client

解決する課題

PrivateLMは、大規模言語モデル（LLM）と対話するための統一されたクロスプラットフォームインターフェースを提供し、プライバシー重視のローカル実行とクラウドベースのAPIのパワーの間で選択するという問題を解決します。ユーザーは、プライバシーとオフライン使用のためにモデルを完全にデバイス上で実行できる一方、より高いパフォーマンスが必要な場合には主要なクラウドプロバイダーへのシームレスなフォールバックを提供します。

仕組み

Flutterで構築されたこのアプリは、デュアル推論パイプラインを使用します。

• ローカル推論: AndroidとiOSでは、llama.cppをラップしてGGUFモデルを実行します。デバイスのハードウェア（RAMとGPU）を自動的に検出し、スレッド数とVulkan/Metal GPUアクセラレーションを最適化します。
• クラウド推論: 正規化サービスがOpenAI、Anthropic、Google Gemini、Kimi（Moonshot AI）APIに接続し、ユーザーは単一のUI内でプロバイダーを切り替えることができます。
• データ管理: すべてのチャット履歴、設定、APIキーはHiveを使用してデバイス上にローカルに保存され、クラウドモードが明示的に使用された場合にのみデータがデバイスから送信されることを保証します。

対象ユーザー

プライベートでオフラインのローカルモデルと、Android、iOS、Webプラットフォームにわたる高性能なクラウドLLMの両方をサポートする単一のAIチャットクライアントを求めるユーザー向けに設計されています。

主な特長

• オンデバイス実行: GGUFモデルをAndroid（Vulkan）とiOS（Metal）でローカルに実行します。
• ハイブリッドモデルサポート: ローカル推論とクラウドAPI（OpenAI、Claude、Gemini、Kimi）をシームレスに切り替えます。
• マルチモーダル機能: テキストと画像の入力をサポートし、Qwen2-VLなどのローカルモデルによるビジョンサポートも含みます。
• ハードウェア最適化: 検出されたデバイスのRAMに基づいて、コンテキストサイズとトークン制限を自動的に推奨します。
• ローカルファーストのプライバシー: すべてのセッションと設定をHiveを介してローカルに保存します。