airllm: 1レイヤーずつロードすることで、低スペックGPU上で巨大なLLMを実行するメモリ効率の高い推論エンジン

何を解決するか

AirLLMを使用すると、VRAMが非常に限られているコンシューマー向けハードウェア上で、巨大な大規模言語モデル（LLM）を実行できます。Llama 3.1 405BやDeepSeek-V3 671Bのようなモデルを、わずか8GBから12GBのメモリを持つGPUで実行することを可能にし、高価なハイエンドGPUや、蒸留（distillation）や枝刈り（pruning）といった複雑なモデル圧縮技術の必要性を回避します。

仕組み

モデル全体をVRAMにロードする代わりに、AirLLMはモデルを分解してレイヤーごとに保存します。推論中、GPU上には一度にモデルの1レイヤーのみを保持するため、VRAMの要件はモデルの総サイズではなく、単一レイヤーのサイズによって決まります。また、ディスク上の重みのサイズを削減し、ロード時間を最大3倍高速化するために、オプションのブロック単位の量子化（4-bitまたは8-bit）もサポートしています。

対象ユーザー

モデルの精度を犠牲にすることなく、低スペックな汎用コンピュータやホビー向けGPUカード上で、最先端の巨大なLLMを実行したい開発者や研究者。

ハイライト

• 極限のVRAM効率: 70Bモデルを4GB GPUで、671Bモデルを12GB GPUで実行可能。
• 幅広いモデルサポート: 単一の AutoModel インターフェースを介して、Llama, Qwen, DeepSeek, Mistral, Mixtral, Phi, Gemma などをサポート。
• 精度低下なし: デフォルトでは量子化、蒸留、または枝刈りを必要とせずに動作。
• クロスプラットフォーム対応: LinuxおよびApple Silicon (MacOS) で動作。
• パフォーマンス最適化: モデルのロードと計算をオーバーラップさせて推論を高速化するためのプリフェッチ機能が含まれています。