google-ai-edge/litert-samples

解决的问题

本仓库提供了 LiteRT（原 TensorFlow Lite）和 LiteRT-LM 的综合示例应用、模型配方及部署工具集合。它帮助开发者将机器学习模型从训练阶段迁移到 Android、iOS、Python 和 Web/WASM 平台的设备端执行，特别专注于最大化硬件加速（GPU/NPU）和效率。

工作原理

该项目分为四个主要领域：

• Application Samples：展示各种 API 范式的可运行应用，包括用于硬件加速的现代 CompiledModel API、传统的 Interpreter API 以及用于 LLM 的专用编排层 (LiteRT-LM)。
• Model Recipes：将模型转换为 LiteRT 格式并进行导出的脚本和流水线。
• Utilities：共享辅助脚本和用于为 LiteRT GPU delegate 优化 PyTorch 模式的 GPU 工具包。
• Agent Skills：一套自动化的“技能”，引导模型完成部署生命周期，涵盖转换、量化、设备端验证和应用脚手架。

适用对象

需要使用 Google 边缘 AI 框架实现语音识别、文本转语音、图像生成和 LLM 的实际示例，从而为移动设备 (Android/iOS) 和 Web 浏览器构建设备端 AI 应用的开发者。

亮点

• 多样化的模态：包括流式 TTS、ASR、多模态视觉-音频-文本应用以及文本生成图像扩散模型的示例。
• LMM/LLM 支持：通过 LiteRT-LM 运行大语言模型的专用示例。
• 硬件优化：用于 GPU/NPU 加速的工具，包括 GPU 转换工具包和 NPU JIT 加速。
• 部署生命周期自动化：用于精度安全量化和设备端验证的代理驱动型技能。