google-ai-edge/litert-samples

解決する課題

このリポジトリは、LiteRT（旧 TensorFlow Lite）および LiteRT-LM のためのサンプルアプリケーション、モデルレシピ、およびデプロイメントツールの包括的なコレクションを提供します。開発者が機械学習モデルをトレーニングから、Android、iOS、Python、および Web/WASM プラットフォームにわたるオンデバイス実行へと移行することを支援し、特にハードウェアアクセラレーション（GPU/NPU）と効率性の最大化に焦点を当てています。

仕組み

プロジェクトは主に4つの領域で構成されています：

• Application Samples: ハードウェアアクセラレーションのための最新の CompiledModel API、従来の Interpreter API、および LLM 用の専用オーケストレーション層（LiteRT-LM）を含む、さまざまな API パラダイムを示す実行可能なアプリ。
• Model Recipes: モデルを LiteRT 形式に変換およびエクスポートするためのスクリプトとパイプライン。
• Utilities: 共有ヘルパースクリプトと、PyTorch のパターンを LiteRT GPU delegate に最適化する GPU ツールキット。
• Agent Skills: 変換、量子化、オンデバイス検証、およびアプリのスカフォールディングをカバーし、モデルのデプロイメントライフサイクルをガイドする一連の自動化された「スキル」。

対象者

Google のエッジ AI フレームワークを使用して、音声認識、テキスト読み上げ、画像生成、および LLM を実装する方法の具体的な例を必要とする、モバイル デバイス（Android/iOS）および Web ブラウザ向けのオンデバイス AI アプリケーションを構築する開発者。

ハイライト

• 多様なモダリティ: ストリーミング TTS、ASR、マルチモーダルな視覚・音声・テキストアプリ、およびテキストから画像へのディフュージョンを含むサンプル。
• LMM/LLM サポート: LiteRT-LM を介して大規模言語モデルを実行するための専用サンプル。
• ハードウェア最適化: GPU 変換ツールキットや NPU JIT 加速を含む、GPU/NPU 加速のためのツール。
• デプロイメントライフサイクルの自動化: 精度を維持した量子化とオンデバイス検証のための、エージェント駆動型のスキル。