DiScoFormer: 밀도와 점수를 위한 하나의 트랜스포머, 분포 전반에 걸쳐

DiScoFormer (밀도와 점수 트랜스포머)는 주어진 데이터 포인트 집합으로부터 분포의 밀도와 점수를 추정하도록 설계된 트랜스포머 기반 모델입니다. 기존 방법과 달리, 모델을 새로운 분포마다 재훈련할 필요 없이 단일 순전파에서 두 추정치를 모두 제공합니다.

기술 아키텍처 및 메커니즘

DiScoFormer는 공유된 트랜스포머 백본과 두 개의 특화된 출력 헤드를 사용합니다: 하나는 밀도를 위한 것이고, 다른 하나는 점수를 위한 것입니다. 이 아키텍처는 점수가 로그 밀도의 기울기라는 수학적 관계를 활용합니다.

크로스 어텐션과 KDE 일반화

이 모델은 기존 데이터 포인트의 위치뿐만 아니라 임의의 임의의 점에서도 밀도와 점수를 평가하기 위해 크로스 어텐션을 활용합니다. 연구자들은 분석적으로 단일 어텐션 헤드의 가중치가 거의 가우시안 커널임을 보여주며, 이로써 트랜스포머 아키텍처가 커널 밀도 추정(KDE)의 엄격한 일반화임을 입증합니다. KDE는 모든 점에 대해 단일 고정된 대역폭을 사용하는 반면, DiScoFormer는 여러 스케일을 학습하고 데이터를それに 적응시킵니다.

분포 외 적응을 위한 일관성 손실

점수 헤드는 로그-밀도 헤드의 기울기와 일치해야 하므로, 두 헤드 사이의 어떤 차이는 라벨 없는 일관성 손실로 작용합니다. 추론 중에, 모델은 컨텍스트를 고정한 상태에서 이 일관성 손실에 대해 그래디언트 단계를 밟아 분포 외 입력에 적응할 수 있으며, 이는 실제 밀도 또는 점수 라벨이 필요하지 않습니다.

훈련 방법론

DiScoFormer는 가우시안 혼합 모델(GMM)을 사용하여 훈련되었습니다. GMM은 보편적인 밀도 근사기이며, 정확한 감독을 위해 폐쇄형 밀도와 점수를 제공하기 때문에 선택되었습니다. 가상적으로 무한한 예시를 제공하기 위해, 각 훈련 배치마다 새로운 GMM이 샘플링되었습니다.

성능 및 벤치마크

DiScoFormer는 모든 테스트된 메트릭에서 커널 밀도 추정(KDE)을 능가하며, 차원이 증가함에 따라 성능 격차가 확대됩니다.

• 고차원 정확도: 100차원에서 DiScoFormer는 최고 수준의 수동으로 튜닝된 KDE와 비교하여 점수 오차를 약 6.5배, 밀도 오차를 37배 이상 감소시킵니다.
• 일반화: 모델은 훈련 중에 보지 못한 분포에서도 정확성을 유지하며, 여기에는 Student-t와 라플라스 분포와 같은 비가우시안 형태뿐만 아니라 훈련 중에 만난 것보다 더 많은 모드를 가진 혼합물도 포함됩니다.
• 효율성: KDE는 매우 작은 데이터셋에서는 여전히 더 빠르지만, DiScoFormer는 더 많은 샘플에 대해 더 잘 확장되며, 고차원에서 KDE와 동일한 메모리 제한을 겪지 않습니다.

기계 학습 및 과학에 대한 함의

점수 추정은 확산 기반 이미지 생성기와 같은 생성 모델링, 베이지안 추론, 과학 컴퓨팅(예: 플라즈마 시뮬레이션)에서 중요한 구성 요소입니다. DiScoFormer는 사전 훈련된 플러그인 추정기를 제공하여 특정 문제에 대해 모델을 재훈련할 필요를 없애며,これによりこれらのさまざまな分野での計算コストを潜在的に削減できます。