SemiAnalysisAI/InferenceX

InferenceX™ – 오픈소스 추론 연구 플랫폼

개요 – InferenceX(이전 InferenceMAX)는 최신 하드웨어 및 소프트웨어 스택에서 대규모 언어 모델(LLM)의 실제 추론 성능을 지속적으로 측정하는 커뮤니티 주도 벤치마크 제품군입니다. 재현 가능한 벤치마크 하니스, 라이브 공개 대시보드, 그리고 온프레미스 또는 클라우드에서 테스트를 실행하기 위한 도구를 제공합니다.

주요 구성 요소

디렉토리	목적
InferenceX-e2e/	엔드투엔드 추론 서빙 벤치마크(처리량, 지연 시간, 초당 토큰 등).
CollectiveX/	다중 노드 설정을 위한 네트워킹 및 집단 통신 벤치마크(베타).
OperatorX/	저수준 연산자 및 커널 성능 테스트(베타).
power_model/	시스템 수준 전력 소비 모델링(오픈소스).
shared/	다른 제품군에서 사용되는 공유 유틸리티 및 공통 코드.
experimental/	안정적인 제품군에 아직 포함되지 않은 다양한 실험.

중요성

• 빠르게 진화하는 소프트웨어 스택 – LLM 추론 프레임워크(vLLM, SGLang, TensorRT-LLM 등)는 매일 성능 업데이트를 받습니다. 고정 시점 벤치마크는 곧 낡아집니다. InferenceX는 최신 릴리스를 자동으로 실행하여 거의 실시간 진행 상황을 제공합니다.
• 하드웨어 독립적 – 다양한 GPU/XPU(볼 때 NVIDIA H100/H200, AMD MI300X/MI355X, Intel Xe, TPUv7x 등) 및 실험용 칩을 지원하여 사용자가 공급업체 간 비교를 할 수 있습니다.
• 공개 대시보드 – 결과는 https://inferencex.com/로 스트리밍되며, DeepSeek-V4, Qwen-3.8, GLM-5, Kimi-K3, MiniMax-M3 등 모델의 지연 시간/처리량 곡선을 누구나 탐색할 수 있습니다.
• 오픈 라이선스 – Apache 2.0이므로 누구나 벤치마크를 포크, 확장하거나 자체 CI 파이프라인에 포함할 수 있습니다.

일반적인 워크플로우

1. 하니스 설치 – inferencex-e2e/docs/agentx-standalone.md 가이드에 따라 서버에 agentx 클라이언트를 설치합니다.
2. 사전 설정 선택 – agentx profile <preset>(예: minimax-m3-launch)을 사용하여 특정 모델/하드웨어 조합에 대해 사전 구성된 벤치마크를 실행합니다.
3. 결과 제출 – 도구는 메트릭을 중앙 대시보드로 푸시하거나 개인 분석을 위해 로컬에 저장할 수 있습니다.
4. 비교 – 라이브 대시보드를 탐색하거나 JSON 출력을 쿼리하여 다른 하드웨어, 소프트웨어 버전 또는 이전 실행과 비교합니다.

시작하기

# 저장소 복제
git clone https://github.com/SemiAnalysisAI/InferenceX.git
cd InferenceX
# 종속성 설치 (Ubuntu 예시)
sudo apt-get install -y python3-pip cmake build-essential
pip install -r inferencex-e2e/requirements.txt
# 로컬 GPU에서 빠른 벤치마크 실행
agentx profile demo

자세한 CI/Slurm 통합은 PR_REVIEW_CHECKLIST.md 및 AGENTS.md 파일을 참조하세요.

커뮤니티 및 기여

• PR을 환영합니다. 저장소에는 전체 CONTRIBUTING 가이드와 벤치마크 품질 체크리스트가 포함되어 있습니다.
• 프로젝트는 업계 파트너(OpenAI, Meta, Microsoft, Oracle, AMD, NVIDIA 등)와 오픈소스 재단(PyTorch, vLLM, SGLang)의 혼합으로 지원됩니다.
• 지원자 및 인용의 공개 목록은 https://inferencex.semianalysis.com/quotes에서 볼 수 있습니다.

라이선스 – Apache License 2.0(허용적, 상업적으로 친화적).

결론 – InferenceX는 오늘날의 하드웨어에서 LLM이 얼마나 빠르게 실행되는지 측정하는 재현 가능하고 지속적으로 업데이트되는 방법을 제공하여 연구자, 엔지니어 및 하드웨어 공급업체가 소프트웨어 최적화와 새로운 칩의 실제 성능 영향을 추적하는 데 도움을 줍니다.