ZLKong/Awesome-Collection-Token-Reduction

A collection of token reduction (token pruning, merging, clustering, etc.) techniques for ML/AI

해결하는 문제

토큰 감소(프루닝, 병합, 클러스터링, 압축, 적응형 사고)는 머신러닝 및 생성형 AI 모델이 처리하는 토큰 수를 줄여 품질 저하 없이 더 빠르고 효율적으로 만드는 일련의 기술입니다. 이 프로젝트는 빠르게 발전하는 이 분야의 최신 학술 연구를 엄선하여 연구자와 엔지니어가 관련 논문을 쉽게 찾고 새로운 발전을 추적할 수 있도록 합니다.

작동 방식

이 저장소는 발행 연도와 응용 분야(비전, 언어, 멀티모달, 에이전트 시스템, 하드웨어 공동 설계, 상태 공간 모델)별로 정리된 수동 유지 관리 논문 컬렉션입니다. 각 항목에는 논문 링크가 포함되며, 가능한 경우 오픈소스 코드 링크도 포함됩니다. 함께 제공되는 Google 시트는 각 논문의 작업, 토큰 감소 유형, 기여 및 방법론에 대한 구조화된 요약을 제공합니다. 프로젝트는 또한 토큰 감소가 효율성 이상의 것이어야 한다고 주장하고 향후 연구 방향을 제시하는 포지션 페이퍼(arXiv:2505.18227)를 호스팅합니다. 이슈 및 풀 리퀘스트를 통한 기여를 환영합니다.

대상 독자

이 리소스는 비전, 언어 및 멀티모달 모델에서 토큰 효율성을 연구하거나 추적하는 AI 연구자, 대학원생 및 실무자를 위해 설계되었습니다. 또한 자신의 프로젝트에 토큰 감소 기술을 적용하려는 사람이나 최신 기술 동향을 빠르게 파악해야 하는 모든 사람에게 유용합니다.

주요 특징

여러 모달리티와 응용 시나리오에 걸친 토큰 프루닝, 병합, 클러스터링, 압축 및 적응형 사고를 다룹니다.
연도(2024~2026)와 분야별로 정리되어 최근 진행 상황을 쉽게 파악할 수 있습니다.
토큰 감소를 단순한 속도 향상 이상의 광범위한 도구로 제시하고 향후 방향을 제시하는 포지션 페이퍼를 포함합니다.
많은 오픈소스 구현 링크를 제공하여 직접 실험할 수 있습니다.
적극적으로 유지 관리되며 빈번한 업데이트(예: 2026년 에이전트 시스템 섹션 신설)와 커뮤니티 기여를 위한 개방형 초대가 이루어집니다.