google-ai-edge/litert-samples

解決的問題

本儲存庫提供了 LiteRT（原 TensorFlow Lite）和 LiteRT-LM 的綜合範例應用、模型配方及部署工具集合。它幫助開發者將機器學習模型從訓練階段遷移到 Android、iOS、Python 和 Web/WASM 平台的裝置端執行，特別專注於最大化硬體加速（GPU/NPU）與效率。

工作原理

該專案分為四個主要領域：

• Application Samples：展示各種 API 範式的可執行應用，包括用於硬體加速的現代 CompiledModel API、傳統的 Interpreter API 以及用於 LLM 的專用編排層 (LiteRT-LM)。
• Model Recipes：將模型轉換為 LiteRT 格式並進行導出的腳本與流水線。
• Utilities：共享輔助腳本和用於為 LiteRT GPU delegate 優化 PyTorch 模式的 GPU 工具包。
• Agent Skills：一套自動化的「技能」，引導模型完成部署生命週期，涵蓋轉換、量化、裝置端驗證與應用腳手架。

適用對象

需要使用 Google 邊緣 AI 框架實現語音辨識、文字轉語音、圖像生成和 LLM 的實際範例，從而為行動裝置 (Android/iOS) 和 Web 瀏覽器建構裝置端 AI 應用程式的開發者。

亮點

• 多樣化的模態：包括串流 TTS、ASR、多模態視覺-音訊-文字應用以及文字生成圖像擴散模型的範例。
• LMM/LLM 支援：透過 LiteRT-LM 執行大型語言模型的專用範例。
• 硬體優化：用於 GPU/NPU 加速的工具，包括 GPU 轉換工具包和 NPU JIT 加速。
• 部署生命週期自動化：用於精度安全量化和裝置端驗證的代理驅動型技能。