orailnoor/cross-platform-llm-client

A unified cross-platform AI client supporting seamless transitions between standard cloud APIs and on-device, offline execution of custom and uncensored language models.

解決する課題

PrivateLMは、スマートフォンでのローカルモデル実行と強力なクラウドベースのAIサービスとの間のギャップを埋める、統一されたAIチャットインターフェースを提供します。AIプロバイダーごとに異なるアプリを必要とする問題を解決し、データを完全にデバイス内に保持する選択肢を確保します。

仕組み

Flutterで構築されたこのアプリは、モジュール式アーキテクチャを使用してローカルおよびクラウド推論の両方を処理します。ローカル利用では llama.cpp を統合し、VulkanまたはMetalによるGPUアクセラレーションを活用して、デバイスのハードウェア上で直接GGUFモデルを実行します。デバイスのRAMと性能を自動検出し、最適な設定を構成します。クラウドタスクでは、OpenAI、Anthropic、Google Gemini、Kimiに接続する中央ハブとして機能し、それぞれの異なるAPIフォーマットを統一されたチャット体験に正規化します。

対象ユーザー

このアプリは、Android、iOS、Webで動作する柔軟なAIチャットクライアントを求めるユーザー向けです。特に、自身のハードウェアでオフラインでモデルを実行したいプライバシー意識の高いユーザーや、単一のインターフェース内でローカルモデルとクラウドAPIを切り替えたいパワーユーザーに適しています。

ハイライト

  • GGUFファイルを使用したAndroidおよびiOSでのローカル・オフラインモデル実行。
  • 主要なクラウドAIプロバイダー(OpenAI, Anthropic, Gemini, Kimi)へのシームレスなフォールバック。
  • テキストと画像の両方を送信できるマルチモーダルサポート。
  • 端末のRAMに基づいてコンテキストとトークン制限を構成する自動デバイス最適化。
  • Hiveを介してすべてのチャットと設定がデバイス上にローカル保存される完全なデータプライバシー。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト