orailnoor/cross-platform-llm-client

解決的問題

PrivateLM 提供一個統一的跨平台介面，用於與 AI 模型互動，解決了注重隱私的本地執行與雲端基礎 LLM 強大能力之間的兩難困境。使用者可選擇在裝置上完全執行模型以確保資料隱私，或切換至雲端 API 以處理更複雜的任務。

運作方式

此應用基於 Flutter 建構，採用雙重推論管道。在 Android 與 iOS 上進行本地執行時，透過 llama_flutter_android 包裝 llama.cpp，利用 GPU 加速（Android 使用 Vulkan，iOS 使用 Metal）執行 GGUF 模型。針對雲端存取，提供標準化服務，連接 OpenAI、Anthropic、Google Gemini 與 Kimi API。應用程式會自動偵測裝置記憶體以推薦最佳設定，並使用 Hive 本地儲存所有對話紀錄與 API 金鑰。

適用對象

希望在 Android、iOS 與 Web 平台上，使用單一 AI 聊天客戶端同時支援私密離線本地模型與高效率雲端 LLM 的使用者。

主要特色

• 混合推論：無縫切換本地 GGUF 模型與雲端 API（OpenAI、Claude、Gemini、Kimi）。
• 硬體優化：自動偵測記憶體並啟用 GPU 加速，以實現裝置端最佳效能。
• 多模態支援：支援傳送文字與圖片，本地運行 Qwen2-VL 等視覺模型。
• 隱私優先：透過 Hive 本地儲存會話與金鑰，確保在本地模式下資料不會離開裝置。
• 任務管理：提供專用檢視介面，支援結構化 AI 工作流程，同時保留標準聊天功能。