SemiAnalysisAI/InferenceX

InferenceX™ – オープンソース推論研究プラットフォーム

概要 – InferenceX（旧InferenceMAX）は、最新のハードウェアおよびソフトウェアスタック上で大規模言語モデル（LLM）の実世界の推論パフォーマンスを継続的に測定する、コミュニティ主導のベンチマークスイートです。再現可能なベンチマークハーネス、ライブ公開ダッシュボード、およびオンプレミスまたはクラウドでテストを実行するためのツールを備えています。

主要コンポーネント

ディレクトリ	目的
InferenceX-e2e/	エンドツーエンドの推論サービングベンチマーク（スループット、レイテンシ、トークン毎秒など）。
CollectiveX/	マルチノード構成向けのネットワーキングおよび集団通信ベンチマーク（ベータ版）。
OperatorX/	低レベルオペレーターおよびカーネルパフォーマンステスト（ベータ版）。
power_model/	システムレベルの消費電力モデリング（オープンソース）。
shared/	他のスイートで使用される共有ユーティリティおよび共通コード。
experimental/	安定したスイートにまだ含まれていないさまざまな実験。

重要性

• 急速に進化するソフトウェアスタック – LLM推論フレームワーク（vLLM、SGLang、TensorRT-LLMなど）は毎日パフォーマンスアップデートを受け取ります。固定ポイントのベンチマークはすぐに陳腐化します。InferenceXは最新リリースを自動的に実行し、ほぼリアルタイムの進捗ビューを提供します。
• ハードウェア非依存 – 幅広いGPU/XPU（NVIDIA H100/H200、AMD MI300X/MI355X、Intel Xe、TPUv7xなど）および実験的なチップをサポートし、ユーザーはベンダー間で比較できます。
• 公開ダッシュボード – 結果はhttps://inferencex.com/にストリーミングされ、DeepSeek-V4、Qwen-3.8、GLM-5、Kimi-K3、MiniMax-M3などのモデルのレイテンシ/スループット曲線を誰でも探索できます。
• オープンライセンス – Apache 2.0であり、誰でもベンチマークをフォーク、拡張、または独自のCIパイプラインに組み込むことができます。

典型的なワークフロー

1. ハーネスをインストール – inferencex-e2e/docs/agentx-standalone.mdガイドに従って、サーバーにagentxクライアントをインストールします。
2. プリセットを選択 – agentx profile <preset>（例：minimax-m3-launch）を使用して、特定のモデル/ハードウェアの組み合わせ向けに事前構成されたベンチマークを実行します。
3. 結果を送信 – ツールはメトリクスを中央ダッシュボードにプッシュするか、プライベート分析のためにローカルに保存できます。
4. 比較 – ライブダッシュボードを閲覧するか、JSON出力をクエリして、他のハードウェア、ソフトウェアバージョン、または以前の実行と比較します。

はじめに

# リポジトリをクローン
이リポジトリをクローン
git clone https://github.com/SemiAnalysisAI/InferenceX.git
cd InferenceX
# 依存関係をインストール（Ubuntuの例）
sudo apt-get install -y python3-pip cmake build-essential
pip install -r inferencex-e2e/requirements.txt
# ローカルGPUでクイックベンチマークを実行
agentx profile demo

詳細なCI/Slurm統合については、PR_REVIEW_CHECKLIST.mdおよびAGENTS.mdファイルを参照してください。

コミュニティと貢献

• PRを歓迎します。リポジトリには完全なCONTRIBUTINGガイドと、ベンチマーク品質のチェックリストが含まれています。
• このプロジェクトは、業界パートナー（OpenAI、Meta、Microsoft、Oracle、AMD、NVIDIAなど）とオープンソース財団（PyTorch、vLLM、SGLang）の混合によって支えられています。
• サポーターと引用の公開リストはhttps://inferencex.semianalysis.com/quotesで入手できます。

ライセンス – Apache License 2.0（寛容、商用利用に適しています）。

結論 – InferenceXは、今日のハードウェアでLLMがどれだけ速く実行されるかを測定するための再現可能で継続的に更新される方法を提供し、研究者、エンジニア、ハードウェアベンダーがソフトウェア最適化と新しいチップの真のパフォーマンスへの影響を追跡するのに役立ちます。