google-ai-edge/LiteRT

📚 什么是 LiteRT？

LiteRT 是 Google 的端侧运行时，用于在边缘硬件（手机、笔记本电脑、浏览器、IoT 设备等）上运行机器学习和生成式 AI 模型。它被定位为 TensorFlow Lite 的继任者，提供统一的 C++/Kotlin/JS API，可自动选择最佳加速器（CPU、GPU、NPU、WebGPU 等）并支持异步执行。

---

🚀 核心功能

功能	对您的意义
Compiled Model API	加载模型文件（.tflite 或 .litertlm）并执行单次调用推理。无需手动附加委托 – LiteRT 会为您选择最佳加速器。
统一 NPU 支持	单一 API 适用于来自 Google、Qualcomm、MediaTek、Intel、Broadcom 等厂商的 NPU，让您编写一次代码即可在多种设备上运行。
通过 ML Drift 进行 GPU 加速	使用新的缓冲区互通层来最小化 GPU 上的延迟，这对于生成式 AI 工作负载特别有用。
Web 推理	通过 LiteRT.js，您可以使用 WebGPU 和 WebAssembly 在浏览器中运行模型，无需服务器即可实现客户端 AI。
C++ Tensor API	一个轻量级、以张量为中心的库，用于直接在 C++ 中构建和操作图。
CLI 工具	litert 命令行实用程序有助于编码代理工作流（模型转换、量化、基准测试等）。

---

🛠 如何开始

1. 安装 CLI（需要 Python 3.13）：

   uv venv --clear --python=3.13 --seed
   source .venv/bin/activate
   uv pip install litert-cli-nightly
   litert --help
   

2. 选择平台 – Android、iOS、Linux、macOS、Windows、Web 或 IoT。README 列出了每个平台支持的加速器。
3. 转换您的模型
   • PyTorch → LiteRT：使用 LiteRT Torch Converter (litert-torch)。
   • 对于生成式模型（LLM、扩散模型），通过 LiteRT-LM 库导出为 .litertlm。
4. 运行推理：使用应用程序语言（C++、Kotlin、Swift、JavaScript、Python）中的 Compiled Model API。
5. 可选 – 在 litert-samples 仓库中探索示例应用程序（图像分割、语音识别）以获取现成代码。

---

📦 生态系统与相关项目

项目	角色
LiteRT-Torch	PyTorch 模型的转换器与生成式 API。
LiteRT-LM	专门用于端侧 LLM 推理的运行时。
LiteRT.js	专注于 Web 的运行时 (WebGPU + WASM)。
AI-Edge Quantizer	在将模型输入 LiteRT 之前进行高级量化。
MediaPipe	用于构建媒体中心流水线的补充框架，可使用 LiteRT 模型。
XNNPACK	底层使用的低级 CPU 算子库。

---

🎯 谁应该使用 LiteRT？

• 移动开发者：希望拥有一个可在 Android 和 iOS 上运行，并自动利用 GPU/NPU 的单一 API。
• 边缘 AI 工程师：目标为 Linux、Windows 或 IoT 板（Raspberry Pi）且需要高吞吐量推理。
• Web 开发者：希望使用 WebGPU 在客户端运行 ML 模型。
• 生成式 AI 从业者：希望在本地运行量化 LLM 或扩散模型，而无需云端后端。
• 工具构建者 / 编码代理：需要 CLI 进行模型转换、基准测试和部署自动化。

---

📚 深入了解

• 文档门户： https://ai.google.dev/edge/litert
• 迁移指南 (TensorFlow Lite → LiteRT)：https://ai.google.dev/edge/litert/migration
• 示例应用程序与 Colabs： https://github.com/google-ai-edge/litert-samples
• 社区： GitHub Issues、Discussions 以及 Hugging Face LiteRT 模型中心。

---

🛡 许可与贡献

LiteRT 采用 Apache-2.0 许可发布。欢迎通过常见的 pull-request 工作流进行贡献；详情请参阅 CONTRIBUTING.md。