Intel Meteor Lake上のPhi-2：ローカルLLM推論

Hugging Faceは、最先端の小型言語モデルを最適化されたハードウェア、効率的なモデルアーキテクチャ、量子化を組み合わせることで、中程度のラップトップでローカルに実行できることを実証しました。具体的には、MicrosoftのPhi-2モデルをIntel Meteor Lake（Core Ultra）プロセッサ上で4ビット量子化を使用してデプロイすることで、クラウドベースのAIサーバーを必要とせずに許容できるパフォーマンスを実現できます。

ローカルLLM推論の有効化

ローカル推論は外部APIへの依存を排除し、いくつかの重要な利点を提供します：

  • Privacy: データはローカルデバイスに残り、外部サーバーに送信されません。
  • Latency: ネットワーク往復がなくなるため、応答時間が短縮されます。
  • Connectivity: モデルは完全にオフラインで動作できます。
  • Cost: ユーザーはAPI呼び出しやモデルホスティングに伴う費用を回避できます。
  • Customizability: ユーザーはモデルをファインチューニングしたり、特定タスク向けにローカルのRetrieval-Augmented Generation（RAG）を実装できます。

Intel Meteor Lake アーキテクチャ

2023年12月に発売され、Core Ultraに改名されたIntel Meteor Lakeは、ハイパフォーマンスラップトップ向けに最適化されたチップレットベースのアーキテクチャです。主に3つのコンピュートコンポーネントを備えています：

  • CPU: 最大16コアの省電力プロセッサ。
  • Integrated GPU (iGPU): 最大8つのXeコアを搭載。各コアは16個のXe Vector Engines（XVE）を持ち、256ビットベクトル演算が可能で、効率的なドット積計算のためのDP4a命令を実装しています。
  • Neural Processing Unit (NPU): 電力効率の高いクライアントAI計算向けに設計された専用AIエンジンで、CPUとiGPUの負荷を軽減します。

Microsoft Phi-2 モデル

Phi-2は2023年12月にリリースされた27億パラメータのモデルです。そのサイズにもかかわらず、Phi-2は報告されたベンチマークで複数の70億および130億パラメータモデルを上回り、はるかに大きなLlama-2 70Bモデルと競合できる性能を示します。そのため、リソースが限られたラップトップ環境に最適な候補となります。

OpenVINO と Optimum Intel による量子化

Phi-2をラップトップハードウェアで実用化するために、Hugging FaceはIntel OpenVINO（AI推論を最適化するオープンソースツールキット）をoptimum-intelライブラリに統合して利用しています。

4ビット重み量子化

実装ではメモリと計算要件を削減するために4ビット重み量子化を使用します。主な設定パラメータは以下です：

  • Ratio: 重みを4ビットに量子化する割合を制御します（例：80%）。残りは8ビットのままです。
  • Group Size: 重み量子化グループのサイズを定義します（例：128）。各グループはスケーリングファクタを共有します。

これらの値を減らすと、通常はモデル精度が向上しますが、モデルサイズと推論レイテンシが増加します。

実装ワークフロー

開発者は以下の手順でモデルをデプロイできます：

  1. optimum[openvino,nncf] をインストールします。
  2. ビット数、グループサイズ、Ratio を指定した OVWeightQuantizationConfig を定義します。
  3. export=True を指定して OVModelForCausalLM でモデルをロードし、OpenVINO形式に変換します。
  4. モデルをコンパイルし、標準的な Hugging Face パイプラインで推論を実行します。

パフォーマンス結果

Core Ultra 7 155H CPU搭載の中程度のラップトップでテストしたところ、4ビット量子化されたPhi-2モデルは、高校レベルの物理問題の解答やNumPyを用いた全結合層のPythonクラス作成など、複雑なタスクに対しても高い出力品質を維持することが確認されました。生成速度は日常的なローカル使用に十分であると評価されました。

Sources