onnxruntime: 머신러닝 모델을 위한 크로스 플랫폼 추론 및 학습 가속기

해결하는 문제

ONNX Runtime은 머신러닝 모델의 실행(추론) 및 학습을 위한 고성능 크로스 플랫폼 엔진을 제공합니다. 이는 다양한 하드웨어, 드라이버 및 운영 체제에 걸친 모델 이식성 및 성능 최적화 문제를 해결하여, 개발자가 PyTorch 또는 TensorFlow와 같은 학습 프레임워크에서 프로덕션 환경으로 모델을 효율적으로 이동할 수 있도록 합니다.

작동 방식

하드웨어 가속기, 그래프 최적화 및 변환을 활용하여 최적의 성능을 제공하는 가속기 역할을 합니다. 딥러닝 프레임워크(PyTorch, TensorFlow/Keras) 및 클래식 머신러닝 라이브러리(scikit-learn, LightGBM, XGBoost)의 광범위한 모델을 지원합니다.

대상 사용자

다양한 플랫폼에 모델을 배포하고 빠르고 비용 효율적인 성능을 보장해야 하는 개발자 및 머신러닝 엔지니어, 그리고 멀티 노드 NVIDIA GPU에서 트랜스포머 모델의 학습을 가속화하려는 사용자들을 대상으로 합니다.

주요 특징

• 크로스 플랫폼 지원: 다양한 하드웨어, 드라이버 및 운영 체제에서 작동합니다.
• 광범위한 프레임워크 호환성: PyTorch, TensorFlow/Keras, scikit-learn, LightGBM, XGBoost의 모델을 지원합니다.
• 추론 가속화: 하드웨어 가속 및 그래프 최적화를 통해 더 빠른 사용자 경험과 더 낮은 비용을 제공합니다.
• 학습 가속화: PyTorch 스크립트에 대한 최소한의 코드 변경만으로 멀티 노드 NVIDIA GPU에서 트랜스포머 모델의 학습 시간을 가속화합니다.