aws-neuron/aws-neuron-sdk
Powering AWS purpose-built machine learning chips. Blazing fast and cost effective, natively integrated into PyTorch and TensorFlow and integrated with your favorite AWS services
解决的问题
为 AWS 自有的 AI 硬件加速器（Inferentia 和 Trainium）提供高性能的开发、性能分析和部署环境，专门用于深度学习和生成式 AI 工作负载。
工作原理
SDK 包含一个图编译器和运行时，可将机器学习模型转换为硬件可执行的格式。它与 PyTorch 和 JAX 等主流框架集成，并支持 vLLM Neuron 用于推理服务。对于高级用户，Neuron Kernel Interface (NKI) 允许直接编程 NeuronCore 以实现自定义内核。
适用人群
使用 AWS EC2 实例（如 Inf1、Inf2、Trn1、Trn2 和 Trn3）进行大规模 AI 模型训练或推理的机器学习工程师和开发者。
主要亮点
- 高性能深度学习和生成式 AI 支持
- 与 PyTorch、JAX 和 vLLM 集成
- 通过 Neuron Kernel Interface (NKI) 实现直接硬件编程
- 专用开发者工具，包括 Neuron Explorer
相关
- 项目
- 项目
- 项目
- Dispatch
- Dispatch