nick7nlp/Awesome-LLM-On-Policy-Distillation

해결하는 문제

연구자와 실무자들은 대규모 언어 모델(LLM)의 온-폴리시 증류에 관한 빠르게 증가하는 연구를 탐색하는 데 어려움을 겪는 경우가 많습니다. 이는 학생 모델이 자신이 생성한 텍스트를 사용하여 교사로부터 학습하는 훈련 기법입니다. 이 프로젝트는 362편의 관련 논문(그중 134편은 코드 포함)을 구조화되고 검색 가능한 컬렉션으로 정리하여 간결한 요약, 주제별 그룹, 안내된 읽기 경로를 제공함으로써 적절한 논문을 찾고, 핵심 혁신을 이해하며, 구현을 위한 코드를 식별하기 쉽게 만듭니다.

작동 방식

이 프로젝트는 설문 조사 "대규모 언어 모델을 위한 온-폴리시 증류에 대한 조사"(arXiv에서 제공)의 읽기 동반자 역할을 합니다. 논문을 "목표 및 업데이트 규칙", "감독은 어디에서 오는가?", "여러 에이전트는 어떻게 학습하는가"와 같은 주제별 섹션으로 그룹화합니다. 각 항목에는 한 줄 요약, 게시 날짜, 카테고리 태그(예: 직접 OPD, 하이브리드 OPD), 가능한 경우 논문 및 코드 링크가 포함됩니다. 이 동반자는 여러 진입점을 제공합니다: 모든 항목을 탐색하거나, 주제를 확장하여 요약을 직접 읽거나, 기초 논문에서 고급 변형으로 이어지는 큐레이션된 읽기 경로를 따를 수 있습니다. 대화형 웹사이트(OPDHub)는 컬렉션 전체에 대한 검색 및 필터링도 지원합니다.

대상 독자

모델 증류, 정렬 또는 사후 훈련에 종사하는 LLM 연구자, 대학원생, 엔지니어를 대상으로 합니다. 최신 기술을 빠르게 조사하고, 다양한 증류 목표 설계를 비교하거나, 자신의 실험에 재사용 가능한 코드를 찾고자 하는 모든 사람에게 특히 유용합니다. 읽기 경로는 초보자가 틈새 변형에 뛰어들기 전에 핵심 논문부터 시작하는 데도 도움이 됩니다.

주요 특징

• 362편의 논문을 수집했으며, 그중 134편은 코드 포함, 2026년 10월 13일 기준 업데이트
• 논문은 주제별로 정리되어 있으며 각 논문에 간결한 한 줄 요약 제공
• 특정 질문에 답하는 큐레이션된 읽기 경로, 예: "학생은 어떻게 학습하는가?" 또는 "무엇이 전이되고 무엇이 전이되지 않는가?"
• 각 항목은 arXiv 논문에 연결되며, 많은 항목에 직접 코드 링크 포함
• 동반자 웹사이트 OPDHub를 통해 전체 텍스트 검색 및 필터링 가능