orailnoor/cross-platform-llm-client
A unified cross-platform AI client supporting seamless transitions between standard cloud APIs and on-device, offline execution of custom and uncensored language models.
解決する課題
PrivateLMは、スマートフォンでのローカルモデル実行と強力なクラウドベースのAIサービスとの間のギャップを埋める、統一されたAIチャットインターフェースを提供します。AIプロバイダーごとに異なるアプリを必要とする問題を解決し、データを完全にデバイス内に保持する選択肢を確保します。
仕組み
Flutterで構築されたこのアプリは、モジュール式アーキテクチャを使用してローカルおよびクラウド推論の両方を処理します。ローカル利用では llama.cpp を統合し、VulkanまたはMetalによるGPUアクセラレーションを活用して、デバイスのハードウェア上で直接GGUFモデルを実行します。デバイスのRAMと性能を自動検出し、最適な設定を構成します。クラウドタスクでは、OpenAI、Anthropic、Google Gemini、Kimiに接続する中央ハブとして機能し、それぞれの異なるAPIフォーマットを統一されたチャット体験に正規化します。
対象ユーザー
このアプリは、Android、iOS、Webで動作する柔軟なAIチャットクライアントを求めるユーザー向けです。特に、自身のハードウェアでオフラインでモデルを実行したいプライバシー意識の高いユーザーや、単一のインターフェース内でローカルモデルとクラウドAPIを切り替えたいパワーユーザーに適しています。
ハイライト
- GGUFファイルを使用したAndroidおよびiOSでのローカル・オフラインモデル実行。
- 主要なクラウドAIプロバイダー(OpenAI, Anthropic, Gemini, Kimi)へのシームレスなフォールバック。
- テキストと画像の両方を送信できるマルチモーダルサポート。
- 端末のRAMに基づいてコンテキストとトークン制限を構成する自動デバイス最適化。
- Hiveを介してすべてのチャットと設定がデバイス上にローカル保存される完全なデータプライバシー。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト