google-ai-edge/LiteRT-LM

解决的问题

LiteRT-LM 是一个生产级的编排层，旨在在设备端运行大型语言模型 (LLM)。它解决了在各种硬件平台（包括移动设备、可穿戴设备和桌面环境）上执行高性能 AI 的挑战，且无需依赖云端基础设施。

运作方式

它提供了一个跨平台的执行环境，通过 GPU 和 NPU 进行硬件加速，以最大化性能。该系统支持多种模型（例如 Gemma、Llama、Phi-4 和 Qwen），并为 Python、Kotlin、Swift、JavaScript 和 C++ 等多种语言提供 API。

适用对象

为 Android、iOS、Web、桌面和 IoT 设备（例如 Raspberry Pi）构建设备端 GenAI 体验的开发者，以及将 AI 集成到 Chrome 和 Chromebook Plus 等产品中的开发者。

特色亮点

• 跨平台支持：适用于 Android、iOS、Web、桌面和 IoT。
• 硬件加速：针对 GPU 和 NPU 加速器进行优化，以达到极致性能。
• 多模态：除了文本外，还支持视觉和音频输入。
• 工具使用：包含对代理工作流程 (agentic workflows) 的函数调用支持。
• 广泛的模型支持：兼容于 Gemma、Llama、Phi-4 和 Qwen 等热门模型。
• 开发者工具：包含用于快速模型导入的 CLI 以及与 OpenAI 兼容的嵌入 (embeddings) 端点。