orailnoor/cross-platform-llm-client

解决的问题

PrivateLM 提供了一个统一的跨平台界面，用于与大型语言模型（LLM）交互，解决了在注重隐私的本地执行与基于云的 API 的强大功能之间进行选择的问题。它允许用户完全在设备上运行模型以保护隐私并支持离线使用，同时在需要更高性能时无缝回退到主流云提供商。

工作原理

该应用使用 Flutter 构建，采用双推理管道：

• 本地推理： 在 Android 和 iOS 上，它封装了 llama.cpp 来运行 GGUF 模型。它会自动检测设备硬件（RAM 和 GPU）以优化线程数和 Vulkan/Metal GPU 加速。
• 云推理： 一个规范化服务连接到 OpenAI、Anthropic、Google Gemini 和 Kimi（Moonshot AI）API，允许用户在单个 UI 中切换提供商。
• 数据管理： 所有聊天记录、设置和 API 密钥都使用 Hive 本地存储在设备上，确保数据仅在明确使用云模式时才离开设备。

适用人群

它专为希望使用单一 AI 聊天客户端，在 Android、iOS 和 Web 平台上同时支持私密、离线的本地模型和高性能云 LLM 的用户而设计。

亮点

• 设备端执行： 在 Android（Vulkan）和 iOS（Metal）上本地运行 GGUF 模型。
• 混合模型支持： 在本地推理和云 API（OpenAI、Claude、Gemini、Kimi）之间无缝切换。
• 多模态能力： 支持文本和图像输入，包括通过 Qwen2-VL 等本地模型提供视觉支持。
• 硬件优化： 根据检测到的设备 RAM 自动推荐上下文大小和 token 限制。
• 本地优先隐私： 通过 Hive 将所有会话和配置存储在本地。