PSRben/VisionHOPE

해결하는 문제

VisionHOPE는 정적 신경망 레이어의 한계를 해결하기 위해 설계된 시각적 백본 아키텍처입니다. 모델의 내부 메모리와 해당 메모리를 업데이트하는 규칙이 이미지를 처리하는 동안 동적으로 진화하는 "자기 수정" 학습 시스템을 도입하여, 기존 CNN이나 Transformer에 비해 더 적응력 있는 특징 추출을 가능하게 합니다.

작동 원리

핵심은 자기 참조 중첩 학습 (SRNL) 연산자입니다. 이 연산자는 5개의 결합된 메모리를 사용하여 콘텐츠를 저장하고 키/값 표현을 생성하는 동시에 학습률과 유지율을 제어합니다. 이러한 재귀적 업데이트 중에 안정성을 보장하기 위해 모델은 소프트 인젝션 캡과 스펙트럼 클램핑을 사용합니다. 이 아키텍처는 행과 열에 정렬된 4방향 스캔을 사용하여 이미지를 처리한 다음, 공간 복원 및 채널별 융합을 거쳐 최종 출력을 생성합니다.

대상 사용자

이 프로젝트는 이미지 분류, 객체 탐지, 의미론적 분할과 같은 작업을 위한 고성능 계층적 백본을 찾는 컴퓨터 비전 연구원 및 엔지니어를 위한 것입니다. 기존 비전 파이프라인에 통합하거나 독립형 백본으로 사용할 수 있는 모듈식 구성 요소를 제공합니다.

주요 특징

• 이미지별로 메모리와 업데이트 규칙을 조정하는 새로운 자기 참조 학습 메커니즘 구현.
• 다양한 비전 작업에 적합한 계층적 모델 (Tiny, Small, Base) 제공.
• 스펙트럼 클램핑 및 소프트 인젝션 캡을 통한 안정적이고 확장되지 않는 메모리 재귀.
• 분류 (ImageNet), 탐지 (COCO), 분할 (ADE20K)을 위한 즉시 사용 가능한 PyTorch 구현 포함.
• 매개변수 융합 및 최적화된 CUDA 커널을 통한 빠른 추론 모드 지원.