pytorch/executorch

解決する課題

ExecuTorchは、エッジデバイス上でAIモデルをローカルに展開するための、PyTorchネイティブで統一された方法を提供します。ハードウェアごとにモデルを異なる形式に変換する複雑さを排除し、スマートフォンやラップトップからウェアラブル、マイクロコントローラまで、あらゆるデバイスで高性能な推論を実行できるようにします。

仕組み

ExecuTorchはtorch.exportワークフローを使用してPyTorchモデルをキャプチャし、特定のターゲット向けに最適化します。このプロセスにより、軽量ランタイムで実行できるバックエンド固有の.pteファイルが作成されます。このシステムは、モデルグラフの特定部分をGPU、NPU、またはDSPに委任し、ポータブルなCPUカーネルをフォールバックとして維持することで、分割されたハードウェアアクセラレーションを可能にします。

対象者

パフォーマンスやネイティブなPyTorch統合を犠牲にすることなく、PyTorchモデルをデバイス上で実行する必要があるAIエンジニアや組み込みシステム開発者向けに設計されています。

主な特長

• 幅広いハードウェアサポート: Android、iOS、macOS、Linux、Windows、WebAssembly、およびArm Cortex-MやArduinoなどの組み込みシステムをサポート。
• PyTorchネイティブ: torch.exportから直接動作し、デバッグを容易にするソースマッピングを維持。
• 適切なサイズのランタイム: 必要な演算子とカーネルのみを含む選択的ビルドを可能にし、制約のあるデバイス向けにバイナリサイズを削減。
• 多様なワークロードサポート: ローカルLLM、音声（音声認識/合成）、マルチモーダルモデル、コンピュータビジョン向けに最適化。
• エンタープライズスケール: Instagram、WhatsApp、FacebookなどのMetaのアプリでオンデバイスAIを強化。