SemiAnalysisAI/InferenceX

해결하는 문제

InferenceX는 AI 벤치마크가 오래되어 더 이상 유효하지 않은 문제를 해결합니다. vLLM이나 SGLang과 같은 LLM 추론 소프트웨어는 매일 커널 최적화와 스케줄링 혁신을 통해 진화하기 때문에, 한 시점에서 측정한 벤치마크는 빠르게 낡아서 최신 소프트웨어 릴리스의 실제 성능을 반영하지 못하게 됩니다.

작동 방식

이 플랫폼은 인기 있는 오픈소스 추론 프레임워크를 거의 실시간으로 추적하고 벤치마크하는 자동화된 지속적 연구 플랫폼입니다. NVIDIA Blackwell, Hopper, AMD Instinct GPU를 포함한 다양한 고성능 하드웨어에서 지속적으로 평가를 수행함으로써, 소프트웨어 스택의 개선에 따라 발생하는 점진적인 성능 향상을 포착하고, 성능의 최전선을 실시간으로 보여줍니다.

대상 사용자

이 플랫폼은 OpenAI, Meta, Microsoft와 같은 대규모 '토큰 공장' 운영자, ML 연구자, 추론 프레임워크를 사용하는 개발자 등 최신의 하드웨어 및 소프트웨어 성능 데이터가 필요한 사용자를 위한 것입니다.

주요 특징

• 지속적 추적: 소프트웨어 생태계의 속도에 맞춰 실시간 성능 업데이트를 제공합니다.
• 광범위한 하드웨어 지원: GB300 NVL72, B200, MI355X, H100을 포함한 최신 GPU를 대규모로 지원합니다.
• 프레임워크 통합: SGLang, vLLM, TensorRT-LLM, CUDA, ROCm 등의 주요 스택을 분석합니다.
• 공개 대시보드: 무료로 공개된 오픈소스 라이브 대시보드를 제공하여 성능을 공개적으로 추적할 수 있습니다.