orailnoor/cross-platform-llm-client

解决的问题

PrivateLM 提供了一个统一的跨平台界面，用于与 AI 模型交互，解决了隐私优先的本地执行与云上 LLM 强大能力之间的两难困境。用户可以选择在设备上完全运行模型以确保数据隐私，或切换到云 API 以处理更复杂的任务。

工作原理

该应用基于 Flutter 构建，采用双推理管道。在 Android 和 iOS 上进行本地执行时，通过 llama_flutter_android 包装 llama.cpp，利用 GPU 加速（Android 使用 Vulkan，iOS 使用 Metal）运行 GGUF 模型。对于云访问，提供标准化服务，连接 OpenAI、Anthropic、Google Gemini 和 Kimi API。应用会自动检测设备内存以推荐最佳设置，并使用 Hive 本地存储所有聊天记录和 API 密钥。

适用人群

希望在 Android、iOS 和 Web 平台上，使用单一 AI 聊天客户端同时支持私密离线本地模型和高性能云 LLM 的用户。

主要亮点

• 混合推理：无缝在本地 GGUF 模型与云 API（OpenAI、Claude、Gemini、Kimi）之间切换。
• 硬件优化：自动检测内存并启用 GPU 加速，以实现设备端最佳性能。
• 多模态支持：支持发送文本和图像，本地运行 Qwen2-VL 等视觉模型。
• 隐私优先：通过 Hive 本地存储会话和密钥，确保本地模式下数据不会离开设备。
• 任务管理：提供专用视图用于结构化 AI 工作流，同时支持标准聊天。