google-ai-edge/LiteRT

解決する課題

LiteRTは、エッジデバイス上で機械学習および生成AIモデルをデプロイするための高性能なランタイムを提供します。モバイル、ウェブ、IoTプラットフォームでの推論実行プロセスを簡素化し、利用可能なハードウェアアクセラレーション（CPU、GPU、NPU）の活用を最大化します。

仕組み

LiteRTは、PyTorch、TensorFlow、Jaxなどのフレームワークから変換された最適化済みモデルを実行する実行エンジンとして機能します。Compiled Model APIを利用して、アクセラレータの選択を自動化し、非同期実行を処理します。GenAIについては、LLM向けのLiteRT-LMや、WebGPUおよびWASMを介したブラウザベースの推論のためのLiteRT.jsなどの専用ツールを使用します。

対象ユーザー

Android、iOS、Linux、macOS、Windows、およびWeb向けにオンデバイスAIアプリケーションを構築する開発者、ならびにTensorFlow Liteからの移行を検討している開発者。

ハイライト

• 統合されたNPUアクセラレーション: さまざまなチップセットプロバイダーのNPUにアクセスするための単一のAPI。
• クロスプラットフォーム対応: Android、iOS、Linux、macOS、Windows、Web、およびIoT（Raspberry Pi）に対応。
• GenAI対応: 量子化されたLLMや拡散モデルをオンデバイスでデプロイするための専用サポート。
• Compiled Model API: 手動でのデリゲート作成の必要性を排除し、I/Oバッファ処理を改善することで開発を効率化。