google-ai-edge/litert-torch

Support PyTorch model conversion with LiteRT.

何を解決するか

PyTorchモデルを.tflite形式に変換することで、Android、iOS、IoTアプリケーションでモデルをデバイス上で実行できるようにします。クラウドベースの推論の必要性を排除し、CPU、GPU、NPUハードウェアアクセラレータ上でローカルでモデルを実行可能にします。

動作方法

このライブラリはtorch.export()と統合され、Core ATen演算子の広範なカバレッジを提供して、モデルを.tfliteフラットバッファに変換します。大規模言語モデル（LLMs）やトランスフォーマー基盤のアーキテクチャ向けには、LiteRT-LMを介して展開可能なモバイル最適化モデルの作成および量子化を可能にする専用のGenerative APIを含んでいます。

対象ユーザー

エッジデバイスにPyTorchで訓練されたモデルをデプロイしたいAI開発者およびモバイルエンジニア向けに設計されています。さまざまなハードウェアアクセラレータ上で高いパフォーマンスを維持できます。

主な特徴

  • 広範なハードウェア対応: CPU、GPU、NPUの初期サポート。
  • PyTorch統合: torch.export()を基盤として、スムーズな変換ワークフローを実現。
  • Generative API: デバイス上でLLMを展開するためのトランスフォーマー型モデルの作成および量子化に特化したツール。
  • クロスプラットフォーム: Android、iOS、IoT環境をターゲットにしています。

関連

  • プロジェクト
    PINTO0309/onnx2tf

    ONNXモデルをLiteRT、TFLite、TensorFlow、ネイティブPyTorchコードに変換し、クロスフレームワーク展開を容易にするツールです。

  • プロジェクト
    Talmaj/onnx2pytorch

    ONNX モデルを PyTorch に変換するコンバーター。すべてのデフォルトドメイン演算子をサポートし、onnxruntime との厳格なテストを通じて正確な推論を保証します。

  • プロジェクト
    google-ai-edge/litert-samples

    Google AI Edge LiteRT Samples は、LiteRT（TensorFlow Lite の後継）および LiteRT-LM 向けのオンデバイス機械学習デモ、モデル変換レシピ、自動化ツールを集めた真のオープンソースコレクションです。音声、視覚、テキストから画像、マルチモーダルアプリをカバーする Android、iOS、Web/WASM の例と、Hugging Face チェックポイントを LiteRT 互換バンドルに変換するスクリプトを提供します。このリポジトリは、高性能なエッジ AI アプリケーションを構築する開発者を対象としています。

  • プロジェクト
    pytorch/executorch

    スマートフォンやラップトップからマイクロコントローラまで、エッジデバイス上でAIモデルをローカルに実行するためのPyTorchネイティブスタック。最適化されたハードウェアアクセラレーションを備えています。

  • プロジェクト
    apple/coremltools

    PyTorch や TensorFlow などのフレームワークで作成された機械学習モデルを、Apple デバイスでのオフデバイス実行に適した Core ML 形式に変換するための Python パッケージ。