lucienhuangfu/eLLM

何を解決するか

eLLM は、大規模言語モデル（LLM）を実行する際の CPU のメモリ帯域幅のボトルネックを克服することを目的としています。GPU（HBM）に比べて CPU（DDR）ははるかに大きなメモリ容量を持っていますが、処理速度は遅いです。eLLM は「ストレージを計算に置き換える」戦略を採用し、マルチターンのエージェントワークフロー、および数百万トークンのコンテキスト窓といった長期間のタスクにおいて、CPU での推論が GPU を上回ることを実現しています。

動作方法

フレームワークは実行パイプラインを最適化して、繰り返しの計算やメモリアクセスを削減します：

• エラスティック静的計算グラフ：次元を先に配置するレイアウトを使用し、異なる入力長に対応できる同じグラフを再構築せずに利用可能にします。
• 静的形状の KV キャッシュ：ページ化ブロック管理を事前に割り当てられた固定形状のテンソルに置き換え、メタデータのオーバーヘッドを削減し、メモリアクセスパターンを改善します。
• 巨大次元のテンソル：大きなシーケンス次元を確保することで、完全なシングルパスのプレフィルを可能にし、プロンプトをチャンク化したり、パラメータを繰り返し読み込みしたりする必要をなくします。
• セッションキャッシュ：複数の対話ターンにわたって KV 状態を維持し、システムが新しい入力を逐次プレフィルするだけで、過去の履歴全体を再計算する必要がなくなります。

対象ユーザー

長期間の AI エージェントの開発者や研究者向けです。たとえば、コンピュータ操作エージェント、大規模リポジトリ向けコードコピロット、企業知識ベース向け RAG システム、数時間から数日間の状態を維持する深層研究エージェントなどです。

特徴

• GPUを凌駕するパフォーマンス：長期間の推論において GPU を上回ると主張し、既存の CPU 推論フレームワーク（例：SGLang）と比較して大幅な高速化を実現しています。
• vLLM API 互換性：既存の LLM エコシステムに直接接続可能です。
• 長文コンテキスト対応：TB スケールの DDR メモリを活用し、ほぼ無制限のコンテキスト窓をサポートします。
• 純粋な CPU 推論：GPU や NPU を必要とせず、ハードウェアコストとエネルギー消費を削減できます。
• 一貫性のある結果：推論結果は GPU での出力と完全に一致しています。