ZLKong/Awesome-Collection-Token-Reduction

解決する課題

トークン削減（プルーニング、マージ、クラスタリング、圧縮、適応的思考）は、機械学習および生成AIモデルが処理するトークン数を削減し、品質を犠牲にすることなく高速化・効率化を実現する一連の技術です。このプロジェクトは、この急速に進化する分野における最新の学術研究を厳選し、研究者やエンジニアが関連論文を簡単に見つけ、新しい動向を追跡できるようにします。

仕組み

このリポジトリは、発表年と応用分野（ビジョン、言語、マルチモーダル、エージェントシステム、ハードウェア協調設計、状態空間モデル）ごとに整理された、手動でメンテナンスされた論文コレクションです。各エントリには論文へのリンクが含まれ、利用可能な場合はオープンソースコードへのリンクも含まれます。付随するGoogleシートには、各論文のタスク、トークン削減タイプ、貢献、方法論の構造化された要約が提供されます。プロジェクトはまた、トークン削減が効率性を超えたものであるべきだと主張し、将来の研究方向性を概説するポジションペーパー（arXiv:2505.18227）を公開しています。貢献は、issueやプルリクエストを通じて歓迎されています。

対象読者

このリソースは、ビジョン、言語、マルチモーダルモデルにおけるトークン効率に取り組む、または注目しているAI研究者、大学院生、実務者向けに設計されています。また、自身のプロジェクトにトークン削減技術を適用したいと考え、最新技術の簡単な調査を必要とする人にも役立ちます。

ハイライト

• 複数のモダリティと応用シナリオにわたるトークンのプルーニング、マージ、クラスタリング、圧縮、適応的思考をカバー。
• 年（2024〜2026年）と分野ごとに整理されており、最近の進歩を簡単に確認できます。
• トークン削減を単なる高速化以上の広範なツールとして位置づけ、将来の方向性を示すポジションペーパーを含む。
• 多くのオープンソース実装へのリンクを提供し、実践的な実験を可能にします。
• 積極的にメンテナンスされ、頻繁に更新（例：2026年にエージェントシステムセクションを新設）され、コミュニティからの貢献を広く歓迎しています。