aws-neuron/aws-neuron-sdk

해결하는 문제

AWS의 자체 AI 하드웨어 가속기(Inferentia 및 Trainium)를 위한 딥러닝 및 생성형 AI 워크로드의 개발, 프로파일링, 배포를 고성능 환경에서 제공합니다.

작동 방식

SDK에는 머신러닝 모델을 하드웨어가 실행할 수 있는 형식으로 변환하는 그래프 컴파일러와 런타임이 포함되어 있습니다. PyTorch 및 JAX와 같은 인기 있는 프레임워크와 통합되며, 추론 서빙을 위한 vLLM Neuron도 지원합니다. 고급 사용자를 위해 Neuron Kernel Interface(NKI)를 통해 NeuronCore를 직접 프로그래밍하여 사용자 정의 커널을 개발할 수 있습니다.

대상 사용자

대규모 AI 모델의 학습 또는 추론을 AWS EC2 인스턴스(Inf1, Inf2, Trn1, Trn2, Trn3 등)에서 수행하는 머신러닝 엔지니어 및 개발자입니다.

주요 특징

• 고성능 딥러닝 및 생성형 AI 지원
• PyTorch, JAX, vLLM 통합
• Neuron Kernel Interface(NKI)를 통한 직접 하드웨어 프로그래밍
• Neuron Explorer을 포함한 전용 개발자 도구