huggingface/optimum-benchmark
🏋️ A unified multi-backend utility for benchmarking Transformers, Timm, PEFT, Diffusers and Sentence-Transformers with full support of Optimum's hardware optimizations & quantization schemes.
Optimum-Benchmark란 무엇인가요?
Optimum-Benchmark는 머신러닝 모델이 다양한 하드웨어 및 소프트웨어 설정에서 얼마나 잘 작동하는지 측정하기 위한 도구입니다. 이 도구는 많은 인기 오픈 소스 AI 라이브러리를 만든 Hugging Face에서 구축했습니다.
AI 모델을 위한 스톱워치와 줄자라고 생각하면 됩니다. 모델이 얼마나 빨리 실행되는지, 메모리를 얼마나 사용하는지, 에너지를 얼마나 소비하는지, 초당 몇 개의 요청을 처리할 수 있는지 알려줍니다. 핵심 기능은 단일 통합 인터페이스를 통해 다양한 모델 라이브러리, 하드웨어 유형 및 최적화 기술 전반에서 작동한다는 점입니다.
왜 필요한가요?
README에는 세 가지 주요 동기가 나열되어 있습니다:
- 하드웨어 비교: 하드웨어 공급업체는 동일한 모델을 실행할 때 자사 칩이 경쟁사 대비 어떤 성능을 내는지 알고 싶어 합니다.
- 모델 비교: 사용자는 선택한 모델이 다른 모델과 비교하여 지연 시간, 처리량, 메모리 사용량, 에너지 소비 측면에서 어떤 성능을 보이는지 알고 싶어 합니다.
- 최적화 테스트: 연구원과 엔지니어는 다양한 최적화 및 양자화 방식(모델을 더 작거나 빠르게 만드는 기술)을 벤치마킹하여 실제로 어떤 것이 도움이 되는지 확인하고 싶어 합니다.
어떻게 작동하나요?
벤치마크 실행은 세 가지 구성 요소로 정의됩니다:
- Launcher(런처) — 벤치마크 프로세스가 시작되는 방식입니다. 옵션으로는
process(단일 격리 프로세스에서 실행),torchrun(분산 컴퓨팅을 위해 여러 프로세스에 걸쳐 실행),inline(디버깅 전용, 실제 벤치마크에는 권장되지 않음)이 있습니다. - Scenario(시나리오) — 측정 대상입니다.
inference(모델이 출력을 생성하는 속도) 또는training(모델이 학습하는 속도) 중 하나입니다. - Backend(백엔드) — 실행할 소프트웨어 라이브러리와 하드웨어 장치입니다. 예로는 CPU의 PyTorch, CUDA의 ONNXRuntime, ROCM의 vLLM 등이 있습니다.
무엇을 측정하나요?
추론 및 학습 시나리오 모두에서 다음을 추적할 수 있습니다:
- Latency(지연 시간) — 각 작업에 걸리는 시간
- Throughput(처리량) — 단위 시간당 완료되는 작업 수
- Memory usage(메모리 사용량) — 모델이 소비하는 RAM/VRAM 양
- Energy consumption(에너지 소비량) — 하드웨어가 소비하는 전력
또한 측정 전 웜업 실행을 지원하며, 입력 형태(텍스트 모델의 시퀀스 길이 등)를 제어하고 모델에 사용자 지정 인수(확산 모델이 프롬프트당 생성해야 하는 이미지 수 등)를 전달할 수 있습니다.
어떤 백엔드와 장치가 지원되나요?
README에 따르면 다음은 완전히 지원됩니다(✅ 표시됨):
- PyTorch — CPU 및 CUDA (NVIDIA GPU)
- ONNXRuntime — CPU, CUDA, ROCM (AMD GPU) 및 TensorRT 실행 공급자
- Py-TXI — CPU 및 GPU (Hugging Face의 TGI 및 TEI 추론 서버를 래핑)
- Neural Compressor — CPU
- TensorRT-LLM — CUDA
- OpenVINO — CPU 및 GPU
- vLLM — CUDA, ROCM 및 CPU
또한 뉴스 섹션에서는 llama-cpp-python 바인딩을 벤치마킹하기 위한 LlamaCpp 백엔드에 대해 언급하고 있습니다.
아직 지원되지 않는 백엔드로 Habana Gaudi Processor(HPU) 기반의 PyTorch가 나열되어 있습니다.
어떻게 설치하나요?
권장되는 방법은 빠른 Python 패키지 관리자인 uv를 사용하는 것입니다:
uv add optimum-benchmark
또는 기존 pip를 사용합니다:
pip install optimum-benchmark
optimum-benchmark[openvino] 또는 optimum-benchmark[vllm]과 같이 특정 백엔드에 대한 추가 종속성을 설치할 수도 있습니다.
벤치마크는 어떻게 실행하나요?
두 가지 방법이 있습니다:
1. Python API — 라이브러리를 가져오고, 벤치마크(런처, 시나리오, 백엔드 선택)를 구성하고, 실행하는 Python 스크립트를 작성합니다. 이는 자동으로 격리된 환경을 생성하는 uv 스크립트와 잘 작동합니다.
2. Hydra CLI — YAML 구성 파일을 사용하여 명령줄에서 실행합니다:
optimum-benchmark --config-dir examples/ --config-name cuda_pytorch_bert
이 명령은 runs/ 디렉토리에 여러 출력 파일을 생성합니다:
benchmark_config.json— 사용된 정확한 구성benchmark_report.json— 전체 결과(지연 시간, 메모리, 에너지 등)benchmark_report.txt및benchmark_report.md— 사람이 읽을 수 있는 보고서 버전benchmark.json— 구성 및 보고서 결합benchmark.log— 실행 로그 출력
CLI는 구성 값 재정의(예: 모델 또는 장치 변경)와 --multirun 플래그를 사용한 여러 구성에 걸친 스윕 실행도 지원합니다.
현재 상태
README에는 다음과 같이 명시되어 있습니다: "Optimum-Benchmark는 진행 중인 작업이며 아직 프로덕션 환경에서 사용할 준비가 되지 않았습니다." 이 프로젝트는 활발히 개발 중이며, CPU, CUDA, ROCM 환경 전반에서 모든 풀 리퀘스트마다 300개 이상의 테스트가 실행됩니다. 또한 이 프로젝트는 Hugging Face의 LLM-Perf Leaderboard 코드베이스를 호스팅합니다.
최근 추가된 주목할 만한 기능(뉴스 섹션)
- PyPI 패키지 사용 가능 (
pip install optimum-benchmark) - 모든 백엔드에 대한 모델 로딩 지연 시간/메모리/에너지 추적
- NUMA 노드를 제어하기 위한
numactl지원(세밀한 CPU 성능 제어용) - 재현 가능한 테스트를 위한 4개의 최소 Docker 이미지(CPU, CUDA, ROCM)
- vLLM 추론 엔진 벤치마킹을 위한 vLLM 백엔드
- Py-TXI 벤치마킹을 위한 Py-TXI 백엔드
- 격리 및 분산 벤치마크 실행을 위한 Python API
기여 방법
프로젝트 기여를 환영합니다. README에서는 특히 더 많은 백엔드(TensorFlow, TFLite, JAX), 최적화 및 양자화 방식에 대한 더 많은 테스트, 더 많은 하드웨어 지원(HPU, Apple M-series), 일반적인 작업에 대한 작업 평가기 등을 원한다고 언급하고 있습니다.
관련
- 프로젝트
- Dispatch
- Dispatch
- Dispatch
- Dispatch