orailnoor/cross-platform-llm-client

何を解決するか

PrivateLM は、プライバシー重視のローカル実行とクラウドベースのLLMの強力さの間のジレンマを解消する、統合的でクロスプラットフォームなインターフェースを提供します。ユーザーはデータのプライバシーを確保するためにモデルを完全にデバイス上で実行するか、より複雑なタスクのためにクラウドAPIに切り替えることができます。

動作方法

Flutterで構築されたこのアプリは、二重推論パイプラインを使用しています。AndroidおよびiOSでのローカル実行には、llama_flutter_androidを介してllama.cppをラップし、GPUアクセラレーション（AndroidではVulkan、iOSではMetal）でGGUFモデルを実行します。クラウドアクセスには、OpenAI、Anthropic、Google Gemini、Kimi APIに接続する標準化されたサービスを提供します。アプリはデバイスのRAMを自動検出して最適な設定を推奨し、Hiveを使用してすべてのチャット履歴とAPIキーをローカルに保存します。

対象ユーザー

Android、iOS、Webプラットフォームで、プライベートでオフラインのローカルモデルと高性能なクラウドLLMの両方をサポートする単一のAIチャットクライアントを求めるユーザー。

特徴

• ハイブリッド推論: GGUFモデルとクラウドAPI（OpenAI、Claude、Gemini、Kimi）の間をスムーズに切り替え可能。
• ハードウェア最適化: 自動RAM検出とGPUアクセラレーションにより、デバイス上のパフォーマンスを最適化。
• マルチモーダル対応: テキストと画像の送信が可能で、ローカルでQwen2-VLなどのビジョンモデルをサポート。
• プライバシー最優先: Hiveを介したセッションとキーのローカル保存により、ローカルモードではデータがデバイス外に流出しないことを保証。
• タスク管理: 標準チャットに加えて、構造化されたAIワークフロー用の専用ビューを備えています。