huskydoge/Awesome-Loop-Models

해결하는 문제

대부분의 신경망은 입력을 한 번의 직선 패스로 처리합니다. 레이어가 쌓이고 각 레이어는 정확히 한 번 사용됩니다. 이 프로젝트는 다른 모델 패밀리인 루프 모델에 초점을 맞춥니다. 여기서 동일한 학습된 레이어, 블록 또는 연산자가 단일 순방향 패스 내의 깊이를 따라 또는 모델 자체 출력을 피드백하여 시간에 걸쳐 여러 번 재사용됩니다. 이러한 재사용은 매개변수 효율성, 더 나은 추론, 적응형 계산, 테스트 시간 확장 용이성과 같은 이점을 제공하지만, 이러한 모델은 많은 논문에 흩어져 있어 추적하기 어렵습니다. 이 프로젝트는 루프 모델에 대한 연구를 수집, 구성 및 구조화하여 사람들이 관련 작업을 찾고, 설계 선택을 이해하고, 분야의 진행 상황을 추적할 수 있도록 합니다.

작동 방식

이 저장소는 huuskydoge와 기여자들이 유지 관리하는 루프 모델 논문 및 블로그의 선별되고 구조화된 목록입니다. 전체 카탈로그는 대화형 웹 브라우저(README에 링크됨)에 있으며, 검색, 장별 탐색, 섹션 및 루프 설계별 필터링, 요약, 발표처, 코드 링크 및 일일 브리핑을 읽을 수 있습니다.

각 항목은 YAML 파일(papers/*.yaml 또는 blogs/*.yaml)에서 Python 빌드 스크립트(scripts/build.py)에 의해 생성됩니다. 카탈로그는 주제 맵으로 구성됩니다. 5개의 주요 부분(기초, 루핑이 제공하는 것, 구축/훈련/배포, 이해/응용, 미해결 문제)이 장과 섹션으로 나뉩니다. 각 논문에는 loop_topology, sharing, depth_control과 같은 설계 축과 주장(claims, comparison)에 대한 제어된 값이 태그됩니다. 엄격한 범위 정의가 포함됩니다. 공유 구성 요소를 진정으로 재사용하는 모델만 범위에 포함됩니다. 에이전트 루프, 반복된 전체 모델 호출 및 단순 시퀀스 재귀는 제외됩니다. README에는 "여기서 시작" 필수 읽기 핵심 참조 목록, "최신 추가" 섹션, "가장 많이 인용된" 표 및 장문 블로그 게시물 목록이 포함됩니다.

대상 독자

루프, 재귀 깊이, 가중치 공유, 딥 이퀄리브리엄 및 유사한 신경 아키텍처에 대해 작업하거나 관심이 있는 연구자, 엔지니어 및 학생. 논문을 찾고, 설계 트레이드오프를 이해하고, 새로운 출판물을 추적하거나 분야의 미해결 문제에 대한 개요를 얻고자 하는 모든 사람에게 유용합니다.

하이라이트

• 대화형 브라우저 — 한 곳에서 검색, 필터링, TL;DR, 발표처 정보, 코드 링크 및 일일 브리핑을 읽을 수 있습니다.
• 구조화된 주제 맵 — 논문은 10개 장에 걸쳐 32개 섹션으로 구성되어 주제별 탐색이 쉽습니다.
• 마지막 업데이트 기준 354개 논문 및 8개 블로그, 매일 새로운 arXiv 논문을 추가하는 워치.
• 제어된 메타데이터 — 각 논문은 설계 축(루프 토폴로지, 공유, 깊이 제어)과 주장된 이점을 기록하며 자유 형식 태그는 없습니다.
• 명확한 범위 정의 — 에이전트 루프, 반복된 전체 모델 호출 및 일반 시퀀스 재귀를 명시적으로 제외하여 목록의 초점을 유지합니다.
• 오픈 기여 — 구조화된 YAML 템플릿과 빌드 스크립트를 사용하여 풀 리퀘스트를 통해 누구나 논문이나 블로그를 제출할 수 있습니다.