aws-neuron/aws-neuron-sdk
Powering AWS purpose-built machine learning chips. Blazing fast and cost effective, natively integrated into PyTorch and TensorFlow and integrated with your favorite AWS services
解決的問題
為 AWS 自有的 AI 硬體加速器（Inferentia 與 Trainium）提供高效率的開發、效能分析與部署環境，專門針對深度學習與生成式 AI 工作負載。
運作方式
SDK 包含圖形編譯器與執行時，可將機器學習模型轉換為硬體可執行的格式。它與 PyTorch 與 JAX 等主流框架整合，並支援 vLLM Neuron 用於推論服務。對於進階使用者，Neuron Kernel Interface (NKI) 允許直接程式設計 NeuronCore 以建立自訂內核。
適用對象
使用 AWS EC2 實例（如 Inf1、Inf2、Trn1、Trn2 與 Trn3）進行大規模 AI 模型訓練或推論的機器學習工程師與開發者。
主要特色
- 高效能深度學習與生成式 AI 支援
- 與 PyTorch、JAX 與 vLLM 整合
- 透過 Neuron Kernel Interface (NKI) 實現直接硬體程式設計
- 專用開發者工具，包含 Neuron Explorer
相關
- 專案
- 專案
- 專案
- Dispatch
- Dispatch