google-ai-edge/litert-samples

LiteRT and LiteRT-LM sample apps, model recipes, agent skills and utilities.

解決する課題

LiteRT（旧TensorFlow Lite）およびLiteRT-LMを使用する開発者向けに、包括的なリファレンス実装、モデルレシピ、デプロイメントツールを提供します。機械学習モデルの構築から、GPUやNPUなどのハードウェアアクセラレーションを活用したデバイス上（Android、iOS、Web）での効率的なデプロイまでのギャップを埋めます。

仕組み

このリポジトリは、主に4つの機能領域で構成されています。

  • アプリケーションサンプル: ハードウェアアクセラレーション用の最新の CompiledModel API、従来の Interpreter API、および LiteRT-LM を介した高度な LLM オーケストレーションなど、さまざまな API を実演する実行可能なアプリ。
  • モデルレシピ: Hugging Face などのプラットフォームからモデルを最適化された .litertlm または .tflite 形式に変換するためのスクリプトと「クックブック」。
  • ユーティリティ: PyTorch パターンを LiteRT GPU デリゲートと互換性を持たせるためのパッチ適用など、GPU 最適化のためのツールキット。
  • エージェントスキル: 変換、量子化、デバイス上での検証、アプリの足場構築など、モデルのライフサイクルを処理する自動化ワークフロー。

対象読者

高性能な AI モデル（ビジョン、オーディオ、LLM）をエンドユーザーのデバイス上で直接デプロイしたいモバイルおよび Web 開発者、ならびに機械学習エンジニア。

ハイライト

  • 多様なモダリティのサポート: ストリーミングテキスト読み上げ (KittenTTS)、自動音声認識 (ASR)、テキストから画像への拡散モデル (Bonsai Image)、マルチモーダルアプリ (PhotoTalk) のサンプルが含まれています。
  • ハードウェアアクセラレーション: GPU/NPU アクセラレーションとゼロコピーバッファによるパフォーマンスの最大化に重点を置いています。
  • エンドツーエンドのパイプライン: Hugging Face のチェックポイントから検証済みのデバイス上デプロイまでの完全なパスを提供します。
  • インタラクティブなプレイグラウンド: ブラウザ上で直接 Tensor API の機能をテストできる Web/WASM ベースの環境。

関連

  • プロジェクト
    google-ai-edge/LiteRT

    LiteRTは、スマートフォン、ノートPC、ブラウザ、IoTデバイス全体でMLおよび生成AIモデルを実行するための、Googleの高性能なオンデバイスランタイムです。TensorFlow Liteの後継であり、最適なアクセラレータ（CPU、GPU、NPU、WebGPU）を自動的に選択する統合Compiled Model APIを提供します。エコシステムには、PyTorch用コンバーター、コーディングエージェントワークフロー用のCLI、Web向けのLiteRT.js、オンデバイスLLM推論用ライブラリが含まれます。Android、iOS、Linux、macOS、Windows、Web、Raspberry Piなど幅広いプラットフォームをサポートし、広範なハードウェアアクセラレーションに対応しています。

  • プロジェクト
    qualcomm/ai-hub-apps

    Qualcomm AI Hub Apps は、TensorFlow Lite、ONNX、Qualcomm の Genie SDK を使用して Snapdragon デバイス上でビジョン、オーディオ、言語モデルを実行する方法を示すサンプルの Android、Windows、Ubuntu アプリケーションとチュートリアルを提供し、オプションの CPU/GPU/NPU アクセラレーションを備えています。

  • プロジェクト
    google-ai-edge/LiteRT-LM

    ハードウェアアクセラレーションを活用し、デバイス上で高性能なクロスプラットフォームLLMを実行するための本番環境向けオーケストレーションレイヤー。

  • プロジェクト
    Liquid4All/cookbook

    Liquid AI のオープンウェイト Liquid Foundation Models (LFMs) と LEAP SDK をモバイル、デスクトップ、エッジデバイスに展開および微調整するための包括的な例、チュートリアル、アプリケーションのコレクション。

  • プロジェクト
    qualcomm/ai-hub-models

    Qualcomm AI Hub Modelsは、Snapdragon CPU、GPU、NPU向けに最適化済みの機械学習モデル（ビジョン、言語、生成AI）のカタログを提供するPythonパッケージおよびCLIツールです。AI Hub Workbenchを通じて、実際のQualcommデバイス上での量子化、コンパイル、パフォーマンスプロファイリングを処理し、ローカルでのPyTorch推論およびデバイス上の高速化ランタイム向けのサンプルアプリやデモが含まれています。