google-ai-edge/LiteRT

LiteRT, successor to TensorFlow Lite. is Google's On-device framework for high-performance ML & GenAI deployment on edge platforms, via efficient conversion, runtime, and optimization

📚 LiteRTとは？

LiteRTは、エッジハードウェア（スマートフォン、ノートPC、ブラウザ、IoTデバイスなど）上で機械学習および生成AIモデルを実行するためのGoogleのオンデバイスランタイムです。TensorFlow Liteの後継として位置付けられており、最適なアクセラレータ（CPU、GPU、NPU、WebGPUなど）を自動的に選択し、非同期実行をサポートする統合されたC++/Kotlin/JS APIを提供します。

🚀 主要機能

機能	メリット
Compiled Model API	モデルファイル（`.tflite` または `.litertlm`）を読み込み、単一の呼び出しで推論を実行します。デリゲートを手動でアタッチする必要はありません。LiteRTが最適なアクセラレータを選択します。
統合NPUサポート	Google、Qualcomm、MediaTek、Intel、BroadcomなどのNPUで動作する単一のAPIにより、一度コードを書けば多くのデバイスで実行可能です。
ML DriftによるGPUアクセラレーション	新しいバッファ相互運用レイヤーを使用してGPU上のレイテンシを最小化します。これは生成AIワークロードで特に有用です。
Web推論	LiteRT.js を通じて、WebGPUとWebAssemblyを使用してブラウザ内でモデルを実行でき、サーバーなしでクライアントサイドAIを実現します。
C++ Tensor API	C++で直接グラフを構築および操作するための、軽量でテンソル中心のライブラリです。
CLIツール	`litert` コマンドラインユーティリティは、コーディングエージェントのワークフロー（モデル変換、量子化、ベンチマークなど）を支援します。

🛠 始め方

CLIのインストール（Python 3.13が必要）：

uv venv --clear --python=3.13 --seed
source .venv/bin/activate
uv pip install litert-cli-nightly
litert --help

プラットフォームの選択 – Android、iOS、Linux、macOS、Windows、Web、またはIoT。READMEに各プラットフォームでサポートされているアクセラレータが記載されています。
モデルの変換
- PyTorch → LiteRT：LiteRT Torch Converter (litert-torch) を使用します。
- 生成モデル（LLM、拡散モデル）の場合は、LiteRT-LM ライブラリ経由で .litertlm にエクスポートします。
推論の実行：アプリの言語（C++、Kotlin、Swift、JavaScript、Python）でCompiled Model APIを使用して実行します。
オプション – litert-samples リポジトリでサンプルアプリ（画像セグメンテーション、音声認識）を探索し、すぐに使えるコードを確認してください。

📦 エコシステムと関連プロジェクト

プロジェクト	役割
LiteRT-Torch	PyTorchモデル用のコンバーターおよび生成API。
LiteRT-LM	オンデバイスLLM推論に特化したランタイム。
LiteRT.js	Web向けランタイム (WebGPU + WASM)。
AI-Edge Quantizer	LiteRTにモデルを供給する前の高度な量子化。
MediaPipe	LiteRTモデルを利用できるメディア中心のパイプラインを構築するための補完フレームワーク。
XNNPACK	内部で使用される低レベルCPU演算子ライブラリ。

🎯 LiteRTの対象ユーザー

モバイル開発者：AndroidとiOSで動作し、GPU/NPUを自動的に活用する単一のAPIを求める方。
エッジAIエンジニア：Linux、Windows、またはIoTボード（Raspberry Pi）をターゲットにし、高スループットな推論が必要な方。
Web開発者：WebGPUを使用してクライアントサイドでMLモデルを実行したい方。
生成AIの実践者：クラウドバックエンドなしで、量子化されたLLMや拡散モデルをローカルで実行したい方。
ツールビルダー / コーディングエージェント：モデル変換、ベンチマーク、デプロイ自動化のためのCLIを必要とする方。

📚 詳細情報

ドキュメントポータル： https://ai.google.dev/edge/litert
移行ガイド (TensorFlow Lite → LiteRT)：https://ai.google.dev/edge/litert/migration
サンプルアプリとColab： https://github.com/google-ai-edge/litert-samples
コミュニティ： GitHub Issues、Discussions、およびHugging Face LiteRTモデルハブ。

🛡 ライセンスと貢献

LiteRTはApache-2.0ライセンスの下でリリースされています。通常のプルリクエストワークフローを通じた貢献を歓迎します。詳細は CONTRIBUTING.md を参照してください。