google-ai-edge/litert-samples

Google AI Edge LiteRT Samples

它是什么

• 一个官方 Google 仓库，捆绑了可运行的示例应用、模型转换配方和辅助工具，用于 LiteRT – Google 的开源、高性能端侧机器学习运行时（TensorFlow Lite 的继任者）– 以及 LiteRT-LM，一个用于在端侧运行大型语言模型的层。

为什么重要

• 向开发者展示如何从 Hugging Face 检查点获取模型，将其转换为 .litertlm 或 .tflite 包，并使用 GPU/NPU 加速在 Android、iOS 或浏览器中高效运行。
• 提供端到端的流水线（转换 → 验证 → 应用脚手架），可复用于视觉、音频和多模态工作负载。

主要内容

• samples/ – 数十个即用型演示：
  • Android 上的语音转文本（ASR）和流式文本转语音（KittenTTS）。
  • PhotoTalk 多模态应用（视觉 + LLM 音频/文本生成）。
  • 图像生成（Bonsai diffusion）、图像分类、分割、数字分类等。
  • 一个模型动物园 Android 应用，可按需下载 29 个视觉/音频模型。
  • 用于更广泛设备兼容性的旧版 Interpreter API 示例。
  • Web/WASM Tensor API 游乐场，可直接在浏览器中运行 Gemma 3 等模型。
• models/ – 转换脚本和逐步食谱，用于将 Hugging Face 检查点转换为 LiteRT 兼容包。
• utilities/ – 用于 Android 的共享 Kotlin 辅助工具，以及一个 GPU 转换工具包，可将 PyTorch 模式重写为 LiteRT GPU 委托。
• skills/ – 自动化“代理”工作流，串联转换、量化、端侧验证和应用脚手架。

典型工作流

1. 选择一个模型（例如 Qwen3-ASR、Bonsai-Image-4B）。
2. 按照 models/conversion.md 食谱生成 .litertlm 或 .tflite 文件。
3. 在支持的设备上运行 samples/litert/ 或 samples/litert_lm/ 下的相应示例，或尝试 Web 游乐场。
4. （可选）使用 skills/ 自动化进行量化、验证并自动生成 Android 应用脚手架。

开始使用

• 安装 Android Studio（或用于 iOS 的 Xcode）和 Python 3.9+。
• 运行 pip install ai-edge-litert 获取 Python 运行时。
• 选择一个示例，阅读其 README.md，并按照三步说明（设备设置 → 构建 → 运行）操作。
• 对于浏览器演示，打开 samples/tensor_api_playground/index.html 或访问托管页面 https://google-ai-edge.github.io/litert-samples/。

适用人群

• 需要快速原型化端侧 ML 的移动/嵌入式开发者。
• 希望在真实硬件上测试量化或 GPU/NPU 加速的研究人员。
• 在手机或边缘设备上构建结合视觉、音频和 LLM 生成的多模态应用的工程师。

许可证

• Apache License 2.0（宽松，商业友好）。

---

所有信息均直接取自仓库的 README；未添加任何外部假设。