Arm と ExecuTorch 0.7: 生成AI を何十億台のデバイスへ拡大

Arm と ExecuTorch 0.7 ベータは、デフォルトで KleidiAI を統合し、幅広い Arm CPU アーキテクチャ向けに自動 AI アクセラレーションを提供します。この統合により、生成AI（GenAI）および大規模言語モデル（LLM）は、最新のハイエンドハードウェアだけでなく、Raspberry Pi 5 を含む最大5年前のデバイスでも効率的に実行できるようになります。

KleidiAI と ExecuTorch 0.7 による自動アクセラレーション

ExecuTorch 0.7 ベータは、Arm KleidiAI を統合することで、Android およびクロスプラットフォーム開発者向けにターンキー性能を実現します。KleidiAI は、XNNPack、MediaPipe、MNN、ONNX Runtime、llama.cpp などの広く使用されているエッジAIフレームワークに組み込まれる AI アクセラレータ層として機能します。

ExecuTorch 0.7 でデフォルトで KleidiAI を有効にすることで、開発者はカスタムチューニングやコード変更なしに即座にパフォーマンス最適化を利用できます。その結果、以下が実現します：

  • モデルの起動が高速化
  • レイテンシの低減
  • メモリフットプリントの削減

幅広いハードウェア互換性のための SDOT の活用

フラッグシップスマートフォンを超えて GenAI のアクセシビリティを拡大するため、Arm は SDOT（Signed Dot Product）命令を活用しています。Armv8.2 アーキテクチャで導入された SDOT は、8 ビット符号付き整数のベクトルに対する効率的なドット積演算を可能にし、Int8 や Int4 精度フォーマットを使用する LLM のマトリックス乗算ルーチンを加速する上で重要です。

SDOT は Arm エコシステム全体で広くサポートされており、約30億台（全 Arm ベースデバイスの約72%）に搭載されています。この広範な利用可能性により、Llama 3.2 1B のようなモデルが、Android デバイスの大多数や Raspberry Pi 5 のようなエッジハードウェア上で効率的に実行できるようになります。

パフォーマンスベンチマークとユースケース

ハイエンドハードウェアのパフォーマンス

ExecuTorch と KleidiAI の以前の協業は、I8MM 機能（Armv8.6 アーキテクチャ以降）を用いた Int4 マトリックス乗算に焦点を当てていました。Galaxy S24+ でこの構成は以下を達成しました：

  • Prefill パフォーマンス: 非 KleidiAI カーネルに比べ 20% 以上高く、1 秒あたり 350 トークン以上を実現。
  • Decode パフォーマンス: 1 秒あたり 40 トークン以上。

このパフォーマンスは、約600 トークン（およそ未読メッセージ50件）を要約するなど、リアルタイムのオンデバイスタスクに十分で、スムーズなユーザー体験を提供します。

旧ハードウェアでのアクセシビリティ

SDOT 拡張のみをサポートするデバイスはフラッグシップの速度には及ばない場合がありますが、デコードフェーズは多くの場合、平均的な人間の読書速度よりも速くなります。これにより、実用的なオフライン GenAI のユースケースがいくつか可能になります：

  • プライベートスマートアシスタント: ローカル LLM と音声認識・音声合成モデルを組み合わせ、完全オフラインで音声ベースの対話を実現。
  • コンテキスト認識テキスト補完: インターネット接続なしで、ローカルテキストエディタ内でリアルタイムかつインテリジェントな提案を提供し、執筆やコーディングのワークフローを支援。

結論

SDOT、KleidiAI、ExecuTorch 0.7 の組み合わせにより、Arm は生成AI の機能を何十億台もの既存デバイスへ拡張し、テクノロジーをハイエンドフラッグシップから世界中の幅広いハードウェアへと広げています。

Sources