Hugging Face Infinity CPU パフォーマンス ケーススタディ

Hugging Face Infinity は、CPU インフラストラクチャ上にデプロイされた Transformer モデルのレイテンシを低減し、スループットを向上させるために設計された、コンテナ化された推論ソリューションです。特定のハードウェア アーキテクチャ向けにモデルを最適化することで、リアルタイムのユースケースを可能にし、大規模なデプロイメントにおけるインフラストラクチャ コストを削減します。

Hugging Face Infinity のアーキテクチャ

Infinity は、ハードウェア アクセラレーションされた推論パイプラインを提供するために連携して動作する、2 つの主要なコンポーネントで構成されています。

• Infinity Container: ハードウェアに最適化された推論ソリューションを提供し、HTTP /predict エンドポイントを公開する Docker コンテナ。
• Infinity Multiverse: Infinity Container との互換性を確保するために、Hugging Face Transformer モデルをターゲット ハードウェア アーキテクチャ向けに最適化するモデル最適化サービス。

各 Infinity Container は、単一のモデルと単一のタスクを提供するために設計されています。サポートされているタスクには、token classification、sequence classification、ranking、および feature extraction/document embedding が含まれます。

Intel Ice Lake でのパフォーマンス ベンチマーク

Amazon EC2 C6i インスタンス（Ice Lake アーキテクチャを採用した第 3 世代 Intel Xeon Scalable プロセッサを搭載）を使用したケーススタディにおいて、Hugging Face は sequence classification 用の DistilBERT モデルのベンチマークを実施しました。

エンドツーエンドの測定

モデルの実行のみを測定するベンチマークとは異なり、Infinity のパフォーマンスは、前処理、予測、および後処理を含むエンドツーエンドのパイプラインとして測定されます。

主な結果

Ice Lake に最適化されたコンテナで実行される Infinity は、他の構成と比較して以下の改善を実現しました。

• Vanilla Transformers との比較: Ice Lake ハードウェア上で、レイテンシとスループットが最大 800% 向上。
• Cascade Lake との比較: Cascade Lake アーキテクチャに基づくインスタンスと比較して、レイテンシとスループットが最大 34% 向上。

スループットの比較

2 つの物理コアでバッチサイズ 1 で実行した場合、Infinity はすべてのシーケンス長において vanilla Transformers に対して大幅なスループットの向上を示しました。

Sequence Length	Infinity	Transformers	Improvement
8	248 req/sec	49 req/sec	+506%
16	212 req/sec	16 req/sec	+424%
128	55 req/sec	18 req/sec	+305%
256	27 req/sec	9 req/sec	+300%
384	17 req/sec	5 req/sec	+340%
512	12 req/sec	4 req/sec	+300%

レイテンシ メトリクス

シーケンス長が最大 64 トークンまでの場合、Infinity は 1-4ms という非常に低いレイテンシを実現できます。また、ベンチマークでは、Infinity が p95、p99、および最大レイテンシ (p100) の間で最小限の偏差で一貫したパフォーマンスを維持していることも示されました。

デプロイメントへの影響

スループットまたはレイテンシのいずれかに最適化できる能力により、企業は、同じワークロードに対してインフラストラクチャ コストを削減するか、あるいは、以前は CPU ベースのインフラストラクチャでは実用的ではなかったリアルタイム AI アプリケーションを可能にすることができます。

---

注: 2022 年 12 月現在、Hugging Face Infinity は商用推論ソリューションとしては提供されていません。Hugging Face は現在、マネージド インフラストラクチャには Inference Endpoints を、オープンソースのハードウェア最適化には Optimum Intel および Optimum ONNX Runtime ライブラリの使用を推奨しています。