InternLM/lmdeploy

解決する課題

LMDeployは、大規模言語モデル (LLMs) および視覚言語モデル (VLMs) を効率的に実行するための課題に対処します。モデルの圧縮、推論（テキスト生成プロセス）の高速化、そして単一または複数のマシン間でのスケーラブルなサービスとしての提供を可能にするツールキットを提供します。

仕組み

LMDeployは2つの異なる推論エンジンを提供します。1つはカスタムCUDAカーネルを使用して最大限のパフォーマンスを実現するために高度に最適化されたTurboMind、もう1つは使いやすさと迅速な実験のために設計されたPyTorchベースのエンジンです。連続バッチ処理 (continuous batching)、ブロック化KVキャッシュ (blocked KV cache)、テンソル並列化 (tensor parallelism) などの技術を通じて高いスループットを実現します。さらに、高度なモデル量子化（4-bit weight-onlyやKVキャッシュ量子化など）をサポートしており、品質を大幅に損なうことなくメモリ使用量を削減し、速度を向上させます。

対象ユーザー

LLMsやVLMsを本番環境にデプロイする必要がある開発者やエンジニア向けです。NVIDIA GPUやHuawei Ascendプラットフォームでハードウェアの利用率を最大化したい方、あるいは新しいモデルを迅速にテスト・統合するための柔軟なPythonネイティブエンジンを必要としている方に適しています。

ハイライト

• スループットに最適化された高性能推論エンジン (TurboMind および PyTorch)
• Llama、Qwen、DeepSeek、InternVLシリーズを含む、幅広いLLMsおよびVLMsのサポート
• 標準のFP16と比較してパフォーマンスを大幅に向上させる高度な量子化サポート (AWQ, 4-bit, FP8)
• マルチモデル、マルチマシン、マルチカードサービングを含む柔軟なデプロイオプション
• HuggingFace、ModelScope、openMindなどの人気モデルハブとの容易な統合