pytorch/executorch

On-device AI across mobile, embedded and edge for PyTorch

What it solves

ExecuTorch 提供一種統一的方式，在裝置上部署 PyTorch AI 模型，範圍從微控制器到高階智慧手機。它消除手動 C++ 重寫、 中間格式轉換（如 ONNX 或 TFLite）以及供應商鎖定的需求，讓開發者能快速從研究階段轉到生產階段，同時保留模型語意。

How it works

ExecuTorch 使用前置編譯 (AOT) 來為邊緣設備準備模型。此流程包含三個主要步驟：

  1. Export：使用 torch.export() 捕獲 PyTorch 模型圖。
  2. Compile：模型會被量化、最佳化，並分割至特定硬體後端，產生 .pte 檔案。
  3. Execute：輕量級 C++ 執行環境（基礎佔用 50KB）載入並執行裝置上的 .pte 檔案。

它使用標準化的 Core ATen 運算子集合與分割器，將子圖委派給專用硬體 (NPU/GPU)，並提供 CPU 後備。

Who it’s for

想在行動裝置（Android、iOS）與嵌入式系統（Linux、Windows、macOS、MCU）上部署 LLM、視覺、語音與多模態模型，且不想離開 PyTorch 生態系的開發者與研究人員。

Highlights

  • Native PyTorch Export：直接匯出，無需中間格式。
  • Production‑Proven：Meta 用於 Instagram、WhatsApp 與 Quest 3。
  • Tiny Runtime：基礎佔用 50KB，極致可攜性。
  • Broad Hardware Support：支援 12+ 後端，包括 Apple、Samsung、Qualcomm、ARM 與 MediaTek。
  • Advanced Deployment Tools：內建量化（透過 torchao）、記憶體規劃與選擇性建置系統，以最小化二進位大小。