google-ai-edge/litert-samples
LiteRT and LiteRT-LM sample apps, model recipes, agent skills and utilities.
解决的问题
它为使用 LiteRT（前身为 TensorFlow Lite）和 LiteRT-LM 的开发者提供了一套完整的参考实现、模型配方与部署工具。它填补了从原始机器学习模型到利用 GPU 和 NPU 等硬件加速在设备端（Android、iOS、Web）高效部署之间的鸿沟。
运作方式
本存储库分为四个主要功能区：
- 应用程序示例：可执行的应用程序，展示了各种 API，包括用于硬件加速的现代 CompiledModel API、传统的 Interpreter API，以及通过 LiteRT-LM 进行的专业 LLM 编排。
- 模型配方：转换脚本与“食谱”，引导用户将 Hugging Face 等平台的模型转换为最佳化的
.litertlm或.tflite格式。 - 工具集：用于 GPU 优化的工具包，例如将 PyTorch 模式修补为与 LiteRT GPU 委托兼容。
- 代理技能：处理模型生命周期的自动化工作流程，包括转换、量化、设备端验证与应用程序架构搭建。
目标对象
希望直接在终端用户设备上部署高性能 AI 模型（视觉、音频与 LLM）的移动设备与 Web 开发者，以及机器学习工程师。
特色亮点
- 多元模态支持：包含流式文本转语音 (KittenTTS)、自动语音识别 (ASR)、文本转图像扩散模型 (Bonsai Image) 以及多模态应用 (PhotoTalk) 的示例。
- 硬件加速：专注于通过 GPU/NPU 加速与零拷贝缓冲区 (zero-copy buffers) 最大化性能。
- 端到端管线：提供从 Hugging Face 检查点到验证过的设备端部署之完整路径。
- 交互式游乐场：基于 Web/WASM 的环境，可直接在浏览器中测试 Tensor API 功能。
相关
- 项目
- 项目
- 项目
- 项目
- 项目