SemiAnalysisAI/InferenceX

InferenceX™ – 开源推理研究平台

它是什么 – InferenceX（前身为InferenceMAX）是一个社区驱动的基准测试套件，持续测量大规模语言模型（LLM）在最新硬件和软件堆栈上的真实推理性能。它附带一组可复现的基准测试工具、一个实时公开仪表板，以及用于在本地或云端运行测试的工具。

主要组件

目录	用途
InferenceX-e2e/	端到端推理服务基准测试（吞吐量、延迟、每秒令牌数等）。
CollectiveX/	用于多节点设置的网络和集体通信基准测试（测试版）。
OperatorX/	低级算子和内核性能测试（测试版）。
power_model/	系统级功耗建模（开源）。
shared/	其他套件使用的共享工具和公共代码。
experimental/	尚未纳入稳定套件的各种实验。

为什么重要

• 快速发展的软件堆栈 – LLM推理框架（vLLM、SGLang、TensorRT-LLM等）每天都在进行性能升级。固定点基准测试很快就会过时。InferenceX自动运行最新版本，提供近乎实时的进展视图。
• 硬件无关 – 支持广泛的GPU/XPU（包括NVIDIA H100/H200、AMD MI300X/MI355X、Intel Xe、TPUv7x等）甚至实验性芯片，让用户能够跨供应商进行比较。
• 公开仪表板 – 结果流式传输到https://inferencex.com/，任何人都可以探索DeepSeek-V4、Qwen-3.8、GLM-5、Kimi-K3、MiniMax-M3等模型的延迟/吞吐量曲线。
• 开放许可证 – Apache 2.0，因此任何人都可以分叉、扩展或将基准测试嵌入到自己的CI流水线中。

典型工作流程

1. 安装测试工具 – 按照inferencex-e2e/docs/agentx-standalone.md指南在服务器上安装agentx客户端。
2. 选择预设 – 使用agentx profile <preset>（例如，minimax-m3-launch）为特定模型/硬件组合运行预配置的基准测试。
3. 提交结果 – 工具可以将指标推送到中央仪表板，或存储在本地以供私有分析。
4. 比较 – 浏览实时仪表板或查询JSON输出，与其他硬件、软件版本或以前的运行进行比较。

开始使用

# 克隆仓库
git clone https://github.com/SemiAnalysisAI/InferenceX.git
cd InferenceX
# 安装依赖（Ubuntu示例）
sudo apt-get install -y python3-pip cmake build-essential
pip install -r inferencex-e2e/requirements.txt
# 在本地GPU上运行快速基准测试
agentx profile demo

有关详细的CI/Slurm集成，请参阅PR_REVIEW_CHECKLIST.md和AGENTS.md文件。

社区与贡献

• 欢迎提交PR；仓库包含完整的CONTRIBUTING指南和基准测试质量检查清单。
• 该项目得到行业合作伙伴（OpenAI、Meta、Microsoft、Oracle、AMD、NVIDIA等）和开源基金会（PyTorch、vLLM、SGLang）的混合支持。
• 支持者和引言的公开列表可在https://inferencex.semianalysis.com/quotes获取。

许可证 – Apache License 2.0（宽松、商业友好）。

底线 – InferenceX提供了一种可复现、持续更新的方式来衡量LLM在当前硬件上的运行速度，帮助研究人员、工程师和硬件供应商跟踪软件优化和新芯片的真实性能影响。