InternLM/lmdeploy

何を解決するか

LMDeploy は、大規模言語モデル（LLM）および視覚言語モデル（VLM）の圧縮、デプロイ、配信を簡素化・高速化するためのツールキットです。LLM推論における高い計算コストと遅延の課題に対処し、高性能なエンジンと量子化技術を提供します。

動作方法

このプロジェクトは2つの異なる推論エンジンを提供しています：

• TurboMind：究極のパフォーマンス最適化に焦点を当て、永続的バッチ処理（連続バッチ）、ブロック化KVキャッシュ、テンソル並列、高性能CUDAカーネルなどの機能を活用しています。
• PyTorch Engine：Pythonベースのエンジンで、開発者の導入障壁を下げ、新しい機能の迅速な実験を可能にしています。

また、量子化手法（AWQやKVキャッシュ量子化など）を組み込み、モデルサイズとメモリ使用量を削減し、複数のマシンやGPUにまたがるマルチモデルデプロイを管理するリクエスト配布サービスも提供しています。

対象ユーザー

• MLエンジニアおよびDevOps：高スループット・低遅延でLLM/VLMを本番環境にデプロイしたい人。
• AI研究者：新しいモデルアーキテクチャの迅速な実験に柔軟なエンジンが必要な開発者。
• 企業ユーザー：複数のGPUやマシンにわたってLLMサービスをスケーリングしたい組織。

主な特徴

• 高スループット：特定のシナリオでは、vLLMよりも最大1.8倍高いリクエストスループットを実現。
• 広範なモデル対応：Llama、Qwen、InternLM、DeepSeek、Mistral、Phiなど、多数のモデルに対応。
• マルチモーダル対応：InternVLやLLaVAを含む視覚言語モデル（VLM）を完全サポート。
• 効果的な量子化：4ビット重みのみおよびKV量子化をサポート。FP16と比較して推論速度を大幅に向上。
• 柔軟なデプロイ：マルチモデル、マルチマシン、マルチカード推論サービスをサポート。