SemiAnalysisAI/InferenceX

Open Source Continuous Inference Benchmark Research Platform — Kimi K3 2.8T, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 & soon™ TPUv6e/v7/Trainium2/3 | 开源持续推理基准研究平台 — Kimi K2.7-Code、MiniMax M3、DeepSeekv4、GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72，即将推出™ TPUv6e/v7/Trainium2/3

What it solves

InferenceX는 빠르게 진화하는 LLM 추론 생태계에서 벤치마크 데이터가 구식화되는 문제를 해결합니다. 소프트웨어 스택(vLLM 및 SGLang 등)이 커널 최적화 및 스케줄링 혁신을 통해 매일 개선되기 때문에, 정적 벤치마크는 금방 구식화되어 최신 소프트웨어 릴리스가 달성할 수 있는 실제 성능을 representation(성능을 나타내지 못하게 됩니다.

How it works

자동화된 지속적 벤치마크 연구 플랫폼으로 작동합니다. NVIDIA (Blackwell, Hopper) 및 AMD (MI300 series) GPU를 포함한 광범위한 하이엔드 하드웨어에서 인기 있는 오픈소스 추론 프레임워크의 실시간 성능을- 추적하며, 공개 대시보드를 통해 성능 향상 추세를 실시간으로 제공합니다.

Who it's for

이 플랫폼은 대규모 "token factory" 운영자(OpenAI, Meta, Microsoft, Oracle 등), ML 연구자, 및 실시간 성능 향상 및 하드웨어 비교가 필요한 추론 프레임워크 유지 관리자들을 위해 설계되었습니다.

Highlights

  • Continuous Tracking: 특정 시점이 아닌 소프트웨어 기반의 성능 향상을 거의 실시간으로 포착합니다.

  • Broad Hardware Support: GB200, B200, MI325X, H100 등을 포함한 최첨단 가속기들을 공식적으로 지원합니다.

  • Framework Agnostic: SGLang, vLLM, vLLM, TensorRT-LLM 등 업계 표준 스택을 벤치마크합니다.

  • Public Transparency: 커뮤니티가 추론 성능 곡선을 모 모니터링할 수 있도록 무료, 오픈소스 라이브 대시보드를 제공합니다.