SemiAnalysisAI/InferenceX

解决的问题

InferenceX 解决了 AI 基准测试过时的问题。由于 LLM 推理软件（如 vLLM 和 SGLang）通过内核优化和调度创新每日演进，单点时间的基准测试很快就会过时，无法反映最新软件版本的实际性能。

工作原理

它作为一个自动化的持续研究平台，近乎实时地追踪和基准测试流行的开源推理框架。通过在广泛的高端硬件（包括 NVIDIA Blackwell、Hopper 和 AMD Instinct GPU）上持续运行评估，它能够捕捉软件栈改进带来的增量性能提升，提供性能前沿的实时指标。

适用人群

该平台专为大规模“令牌工厂”（如 OpenAI、Meta 和 Microsoft）的运营者、机器学习研究人员以及需要准确、最新硬件和软件性能数据的推理框架开发者设计。

主要亮点

• 持续追踪：以软件生态系统的速度运行，提供实时性能更新。
• 广泛硬件支持：支持大量前沿 GPU，包括 GB300 NVL72、B200、MI355X 和 H100。
• 框架集成：分析主流栈，包括 SGLang、vLLM、TensorRT-LLM、CUDA 和 ROCm。
• 公开仪表板：提供免费、开源的实时仪表板，供公众性能追踪。