pytorch/executorch

解决的问题

ExecuTorch 提供了一种统一的、PyTorch 原生的方式，在边缘设备上本地部署 AI 模型。它消除了为每种硬件将模型转换为不同格式的复杂性，使开发者能够在从智能手机、笔记本电脑到可穿戴设备和微控制器的各种设备上运行高性能推理。

工作原理

ExecuTorch 使用 torch.export 工作流来捕获 PyTorch 模型，然后针对特定目标进行优化。此过程会生成一个特定于后端的 .pte 文件，可由轻量级运行时执行。该系统支持分区硬件加速，其中模型图的特定部分被委托给 GPU、NPU 或 DSP，同时保留可移植的 CPU 内核作为后备。

适用人群

它专为需要在设备上运行 PyTorch 模型而不牺牲性能或原生 PyTorch 集成的 AI 工程师和嵌入式系统开发者而设计。

亮点

• 广泛的硬件支持：支持 Android、iOS、macOS、Linux、Windows、WebAssembly 以及 Arm Cortex-M 和 Arduino 等嵌入式系统。
• PyTorch 原生：直接从 torch.export 工作，保留源映射以便于调试。
• 恰到好处的运行时：允许选择性构建，仅包含必要的算子和内核，从而减小受限设备的二进制大小。
• 多样化工作负载支持：针对本地 LLM、语音（语音识别/合成）、多模态模型和计算机视觉进行了优化。
• 企业级规模：为 Meta 的 Instagram、WhatsApp 和 Facebook 等应用提供设备端 AI 支持。