aws-neuron/aws-neuron-sdk
Powering AWS purpose-built machine learning chips. Blazing fast and cost effective, natively integrated into PyTorch and TensorFlow and integrated with your favorite AWS services
何を解決するか
AWSの独自AIハードウェアアクセラレータ（InferentiaおよびTrainium）向けに、深層学習および生成AIワークロードの開発、プロファイリング、デプロイメントを高パフォーマンスで行える環境を提供します。
動作方法
SDKには、機械学習モデルをハードウェアが実行可能な形式に変換するグラフコンパイラとランタイムが含まれます。PyTorchやJAXなどの人気フレームワークと統合されており、推論サービングにはvLLM Neuronもサポートしています。高度なユーザー向けには、NeuronCoreを直接プログラミングできるNeuron Kernel Interface（NKI）も提供されています。
対象ユーザー
大規模AIモデルの学習または推論を、AWS EC2インスタンス（Inf1、Inf2、Trn1、Trn2、Trn3など）で行っている機械学習エンジニアおよび開発者です。
主な特徴
- 高パフォーマンスな深層学習および生成AIサポート
- PyTorch、JAX、vLLMとの統合
- Neuron Kernel Interface（NKI）による直接ハードウェアプログラミング
- Neuron Explorerを含む専用の開発者ツール
関連
- プロジェクト
- プロジェクト
- プロジェクト
- Dispatch
- Dispatch