microsoft/onnxruntime
ONNX Runtime: cross-platform, high performance ML inferencing and training accelerator
무엇을 해결하는가
다양한 하드웨어 및 소프트웨어 환경에서 느린 추론 및 학습 시간을 해결하기 위해 머신러닝을 위한 크로스 플랫폼 가속기를 제공합니다. 이를 통해 PyTorch, TensorFlow, scikit-learn과 같은 다양한 프레임워크의 모델이 다양한 하드웨어 가속기에서 효율적으로 실행될 수 있습니다.
어떻게 작동하는가
ONNX Runtime은 그래프 최적화 및 변환을 활용하여 최적의 성능을 제공합니다. 다양한 하드웨어, 드라이버 및 운영 체제와 호환되어 추론 및 학습 모두에 대한 고성능 엔진으로 작동할 수 있습니다.
누구를 위한 것인가
다양한 프레임워크의 머신러닝 모델을 고성능 및 저비용의 프로덕션 환경에 배포해야 하는 개발자와 데이터 과학자를 위해 설계되었습니다.
주요 기능
- 추론 및 학습에 대한 크로스 플랫폼 지원.
- PyTorch, TensorFlow/Keras, scikit-learn, LightGBM, XGBoost의 모델 지원.
- 다중 노드 NVIDIA GPU에서 트랜스포머 모델 학습 가속.
- 하드웨어 가속기 및 그래프 변환을 통해 성능 최적화.