시장 데이터 생성을 위한 자기회귀 확산

요약

Jane Street 연구에 따르면 자기회귀 확산을 사용하여 합성 시장 데이터를 생성할 수 있지만, 금융 시계열의 "울퉁불퉁함"을 처리하려면 특정 수정이 필요합니다. 핵심 시사점은 시장 데이터가 연속 값(예: 타이밍 및 가격)과 이산 동작(예: 주문 유형)의 혼합으로 존재하며, 표준 확산 모델은 이러한 불연속성이 플로우 매칭과 "원자 평활화"라는 기법을 통해 관리되지 않으면 실패한다는 것입니다.

시장 데이터 양식의 과제

시장 데이터는 완전히 연속적이지도 완전히 이산적이지도 않아 생성 모델에 근본적인 과제를 제기합니다. 주문장은 주문 추가, 취소, 체결과 같은 이산 동작을 통해 진화하지만, 이러한 동작의 매개변수는 종종 연속적으로 보입니다.

주요 복잡성은 다음과 같습니다:

높은 카디널리티: 가격은 종종 카디널리티가 너무 높아 연속 변수처럼 동작합니다.
시간적 급증: 이벤트 타이밍은 정규 분포를 따르지 않습니다. 주문은 버스트로 또는 정수 간격으로 도착합니다.
점 질량: "페니잉"(가격을 1틱 개선)은 가격 변화 분포에 급격한 스파이크를 생성하며, 표준 연속 확산 모델은 이를 표현하는 데 어려움을 겪습니다.

모델 아키텍처 및 설정

이러한 과제를 해결하기 위해 연구는 4년간의 미국 주식 데이터로 훈련된 인코더-디퓨저 아키텍처를 활용했습니다. 모델은 스트림에서 다음 이벤트(타임스탬프, 가격, 이벤트 종류)를 생성하고 이를 시퀀스에 자기회귀적으로 추가하는 것을 목표로 합니다.

아키텍처 구성 요소

인코더: 인과적으로 마스킹된 트랜스포머 인코더는 시퀀스의 각 위치에 대한 잠재 임베딩을 생성합니다.
이벤트 종류 헤드: 다음 이벤트가 거래인지 최우선 매수/매도 호가(BBO) 업데이트인지 예측하는 범주형 헤드입니다.
확산 헤드: 잠재 임베딩과 실제 이벤트 종류(AdaLN 조건화 사용)에 조건화된 헤드로, 가격 및 경과 시간과 같은 연속 대상을 생성합니다.

추론 중에 모델은 범주형 헤드에서 이벤트를 샘플링한 다음, 해당 샘플링된 이벤트를 사용하여 연속 특성에 대한 확산 헤드를 조건화합니다.

플로우 매칭 vs. DDPM

Denoising Diffusion Probabilistic Models(DDPM)을 사용한 초기 실험은 불안정한 것으로 판명되었습니다. 연구자들은 샘플에 추가된 노이즈를 예측하는 DDPM이 종종 88-95%의 값이 평균에서 8 표준 편차 이상 벗어나는 폭발적인 노이즈 제거 궤적을 초래한다는 것을 발견했습니다.

이 불안정성은 깨끗한 대상 추정치를 계산할 때 노이즈 예측($\epsilon$)의 스케일링에 기인합니다. 이를 해결하기 위해 연구는 플로우 매칭(특히 정류된 플로우)으로 전환했습니다. 플로우 매칭은 노이즈와 데이터 사이를 선형으로 보간하고 해당 선을 따라 속도를 예측하므로, 더 적은 단계로 정확하게 통합할 수 있고 기본적으로 훨씬 더 높은 안정성을 나타내는 거의 직선에 가까운 샘플링 궤적을 생성합니다.

원자 평활화로 불연속성 처리

시장 데이터에는 날카로운 경계와 점 질량(예: 0초에 동시에 도착하는 많은 이벤트)이 포함되어 있기 때문에 연구자들은 불연속성을 처리하기 위해 두 가지 주요 방법을 실험했습니다:

1. 범주형 분할

범주형 예측의 불균형(BBO 변경이 거래보다 훨씬 많음)을 줄이기 위해 연구자들은 BBO 변경을 더 세분화된 클래스(예: "크기만" 또는 "매도 호가 상승")로 분할했습니다. 이를 통해 경과 시간 0과 같은 특정 불연속성을 자체 범주형 클래스로 처리하여 확산 헤드의 대상을 단순화할 수 있었습니다.

2. 원자 평활화

모든 가능한 불연속성에 대해 범주형 클래스를 만드는 확장 불가능한 특성을 피하기 위해 연구는 "원자 평활화"를 도입했습니다. 이 프로세스는 실제 스파이크 분포를 평활화한 다음, 확산 프로세스를 깨뜨릴 수학적 불연속성을 만들지 않고 확률 질량을 포착하도록 스파이크를 "재조각"하는 것을 포함합니다.

결과 및 평가

성능은 모델 출력의 주변 분포를 총 변동(TV) 발산을 사용하여 실제 시장 데이터와 비교하여 평가되었습니다.

주요 발견

주변 정렬: 플로우 매칭과 원자 평활화의 조합은 이벤트 종류와 연속 대상 모두에 대해 현실적인 주변 분포를 생성했습니다.
판별자 테스트: 실제 이벤트와 합성 이벤트를 구별하도록 훈련된 분류기는 원자 평활화에 최적화된 샘플이 훨씬 더 현실적임을 발견했습니다.
자기회귀 롤아웃: 모델은 합성 시장 이벤트 시퀀스를 생성할 수 있지만, 시간이 지남에 따라 정확도는 저하됩니다. 예를 들어, CME 미국 데이터의 합성 롤아웃에서 매수-매도 스프레드는 예측 지평이 길어질수록 넓어지는 경향이 있습니다.

커뮤니티 통찰 및 반론

실무자 간의 논의는 이 접근 방식에 대한 몇 가지 이론적 및 실용적 장애물을 강조했습니다:

"시장의 통찰력을 필연적으로 통합할 것이기 때문에 안정적으로 정확할 수 있는 시장 모델은 없습니다. 그 통찰력이 더 이상 정확하지 않을 때까지는 말입니다."

다른 기술적 관찰에는 GAN처럼 훈련된 특수 디코더를 사용하는 잠재 확산이 프로젝트 중에 발생한 픽셀 수준(또는 이벤트 수준) 오류를 더 완화했을 수 있다는 제안이 포함되었습니다. 또한 일부에서는 주문 도착 간 시간이 정규 분포보다는 Hawkes 프로세스(한 이벤트가 다른 이벤트의 확률을 증가시키는)를 따를 가능성이 높으며, 이는 연구에서 설명된 데이터의 "덩어리진" 특성을 설명한다고 언급했습니다.