EnnengYang/Awesome-Model-Merging-Methods-Theories-Applications

무엇인가

이것은 모델 병합에 대한 엄선되고 지속적으로 업데이트되는 학술 논문 모음입니다. 모델 병합은 원래 훈련 데이터나 대규모 계산 없이 두 개 이상의 훈련된 AI 모델(예: LLM)의 가중치를 결합하여 더 강력하거나 다기능 모델을 만드는 방법입니다.

이것은 특정 서베이 논문(ACM Computing Surveys, 2026년 게재)에 동반되며, 연구자와 실무자에게 살아있는 리소스가 되는 것을 목표로 합니다.

포함 내용

README는 수백 개의 논문을 명확한 구조로 구성합니다:

• 서베이 논문 — 모델 병합의 개요.
• 벤치마크 및 평가 도구 — 데이터셋, 라이브러리, 실증 비교(예: MergeKit, FusionBench).
• 고급 방법 — 병합 전 단계(미세 조정 전략, 가중치 정렬), 병합 중 기술(가중 평균, 부분공간 방법, 라우팅), 이론적 분석으로 세분화됩니다.
• 응용 — 대규모 언어 모델(LLM), 멀티모달 LLM(MLLM), 이미지/비디오 생성기, 그리고 많은 고전적인 ML 하위 분야(지속 학습, 연합 학습, 적대적 방어 등)에 걸쳐 있습니다.

테이블의 각 항목은 논문 제목, 연도, 발표 장소를 표시하며, 종종 실험에 사용된 모델(예: Llama-3-8B, Mistral-7B)을 나열하는 비고 열이 있습니다. 프로젝트는 또한 뉴스 섹션에서 언급된 대로 크기가 7B 이상인 모델을 사용한 논문을 플래그합니다.

사용 방법

• 관련 논문을 빠르게 찾기 — 분류된 테이블을 탐색합니다.
• "비고" 열 확인 — 연구가 어떤 모델을 사용했는지 확인하여 재현성을 돕습니다.
• 기여 — README는 새 논문 추가, 항목 수정, 더 나은 분류 제안을 위한 풀 리퀘스트를 명시적으로 환영합니다.

이것은 본질적으로 모델 병합에 관심이 있는 모든 사람(주요 논문을 찾는 초보자부터 최신 작업을 추적하는 전문가까지)을 위한 구조화되고 탐색 가능한 참고 문헌입니다.