HuangOwen/Awesome-LLM-Compression

해결하는 문제

대규모 언어 모델(LLM)은 종종 방대하여 실행 속도가 느리고 훈련 비용이 많이 듭니다. 이 프로젝트는 성능을 크게 희생하지 않으면서 이러한 모델을 더 작고, 빠르고, 효율적으로 만들기 위한 연구와 도구의 엄선된 모음을 제공합니다.

작동 방식

학술 논문과 소프트웨어 도구의 포괄적이고 체계적인 저장소 역할을 합니다. 콘텐츠는 양자화, 가지치기, 증류, KV 캐시 압축과 같은 기술별로 분류되고, 연도별로 추가 정렬됩니다. 사용자는 이러한 카테고리를 탐색하여 모델 훈련 및 추론을 가속화하는 최신 최첨단 방법을 찾을 수 있습니다.

대상 사용자

이 프로젝트는 리소스가 제한된 하드웨어에 LLM을 배포하기 위해 최적화하고, 프로덕션에서 지연 시간을 줄이거나, 훈련의 계산 비용을 낮추어야 하는 연구자, 머신러닝 엔지니어, 개발자를 위한 것입니다.

주요 특징

• 광범위한 연구 라이브러리: 설문 조사, 양자화, 가지치기, 증류, 효율적인 프롬프팅을 다루는 수백 개의 논문에 접근할 수 있습니다.
• 도구 디렉토리: 추론 엔진, 양자화 라이브러리, 모델 압축 툴킷의 분류된 목록.
• 시간순 구성: 논문은 접을 수 있는 섹션으로 연도별로 그룹화되어 최신 발전 사항을 쉽게 찾을 수 있습니다.
• 실용적 초점: 나열된 많은 기술에 대한 코드 저장소, GitHub 페이지, 모델 체크포인트 링크를 포함합니다.