HuangOwen/Awesome-LLM-Compression

解決する問題

大規模言語モデル（LLM）はしばしば巨大であり、実行が遅く、トレーニングにコストがかかります。このプロジェクトは、性能をあまり犠牲にせずにこれらのモデルをより小さく、より速く、より効率的にするための研究とツールの厳選コレクションを提供します。

仕組み

これは、学術論文とソフトウェアツールの包括的で整理されたリポジトリとして機能します。コンテンツは、量子化、プルーニング、蒸留、KVキャッシュ圧縮などの技術別に分類され、さらに年ごとに並べられています。ユーザーはこれらのカテゴリを閲覧して、モデルのトレーニングと推論を高速化するための最新の最先端手法を見つけることができます。

対象者

このプロジェクトは、リソースに制約のあるハードウェアへのLLMのデプロイを最適化し、本番環境でのレイテンシを削減し、トレーニングの計算コストを下げる必要がある研究者、機械学習エンジニア、開発者を対象としています。

ハイライト

• 広範な研究ライブラリ：サーベイ、量子化、プルーニング、蒸留、効率的なプロンプティングをカバーする数百の論文にアクセスできます。
• ツールディレクトリ：推論エンジン、量子化ライブラリ、モデル圧縮ツールキットの分類リスト。
• 時系列の整理：論文は年ごとにグループ化され、折りたたみ可能なセクションがあり、最新の進歩を簡単に見つけられます。
• 実用的な焦点：リストされた多くの技術について、コードリポジトリ、GitHubページ、モデルチェックポイントへのリンクが含まれています。