pytorch/executorch

해결하는 문제

ExecuTorch는 엣지 디바이스에서 AI 모델을 로컬로 배포하는 통합된 PyTorch 네이티브 방식을 제공합니다. 모든 하드웨어에 대해 모델을 각각 다른 형식으로 변환하는 복잡성을 제거하여 개발자가 스마트폰과 노트북에서 웨어러블 및 마이크로컨트롤러에 이르기까지 모든 기기에서 고성능 추론을 실행할 수 있게 합니다.

작동 방식

ExecuTorch는 torch.export 워크플로우를 사용하여 PyTorch 모델을 캡처한 다음 특정 대상을 위해 최적화합니다. 이 프로세스는 경량 런타임에서 실행할 수 있는 백엔드별 .pte 파일을 생성합니다. 이 시스템은 모델 그래프의 특정 부분을 GPU, NPU 또는 DSP에 위임하고 휴대용 CPU 커널을 폴백으로 유지하는 분할 하드웨어 가속을 허용합니다.

대상 사용자

성능이나 네이티브 PyTorch 통합을 희생하지 않고 디바이스에서 PyTorch 모델을 실행해야 하는 AI 엔지니어와 임베디드 시스템 개발자를 위해 설계되었습니다.

주요 특징

• 광범위한 하드웨어 지원: Android, iOS, macOS, Linux, Windows, WebAssembly 및 Arm Cortex-M 및 Arduino와 같은 임베디드 시스템을 지원합니다.
• PyTorch 네이티브: torch.export에서 직접 작동하며 더 쉬운 디버깅을 위해 소스 매핑을 유지합니다.
• 적정 크기 런타임: 필요한 연산자와 커널만 포함하도록 선택적 빌드를 허용하여 제한된 디바이스의 바이너리 크기를 줄입니다.
• 다양한 워크로드 지원: 로컬 LLM, 음성(음성 인식/합성), 멀티모달 모델 및 컴퓨터 비전에 최적화되어 있습니다.
• 엔터프라이즈 규모: Instagram, WhatsApp 및 Facebook과 같은 Meta의 앱에서 온디바이스 AI를 지원합니다.

SUMMARY: 스마트폰과 노트북에서 마이크로컨트롤러에 이르는 엣지 디바이스에서 AI 모델을 로컬로 실행하기 위한 PyTorch 네이티브 스택으로, 최적화된 하드웨어 가속을 제공합니다.

TITLE: 폰, 웨어러블 및 마이크로컨트롤러에서 AI 모델을 배포하기 위한 PyTorch 네이티브 추론 스택