市場データ生成のための自己回帰拡散

概要

Jane Streetの研究によると、自己回帰拡散を用いて合成市場データを生成することは可能ですが、金融時系列の「ぎくしゃくした」性質を扱うには特定の修正が必要です。主な要点は、市場データは連続値（タイミングや価格など）と離散的なアクション（注文タイプなど）のハイブリッドであり、標準的な拡散モデルは、フローマッチングと「アトムスムージング」と呼ばれる手法でこれらの不連続性を管理しない限り失敗するということです。

市場データのモダリティの課題

市場データは完全に連続でも完全に離散でもなく、生成モデルにとって根本的な課題となっています。オーダーブックは、注文の追加、キャンセル、執行などの離散的なアクションを通じて進化しますが、それらのアクションのパラメータはしばしば連続的に見えます。

主な複雑さは以下の通りです：

高カーディナリティ： 価格はカーディナリティが非常に高いことが多く、連続変数のように振る舞います。
時間的スパイク： イベントのタイミングは正規分布に従いません。注文はバーストまたは整数間隔で到着します。
点質量： 「ペニーイング」（価格を1ティック改善すること）は、価格変動の分布に鋭いスパイクを生み出し、標準的な連続拡散モデルでは表現が困難です。

モデルアーキテクチャとセットアップ

これらの課題に対処するため、研究では4年間の米国株式データでトレーニングされたエンコーダー・ディフューザーアーキテクチャを使用しました。モデルは、ストリーム内の次のイベント（タイムスタンプ、価格、イベント種類）を生成し、それをシーケンスに自己回帰的に追加することを目的としています。

アーキテクチャコンポーネント

エンコーダー： 因果的にマスクされたトランスフォーマーエンコーダーが、シーケンス内の各位置の潜在埋め込みを生成します。
イベント種類ヘッド： 次のイベントがトレードかベストビッド・オファー（BBO）更新かを予測するカテゴリカルヘッド。
拡散ヘッド： 潜在埋め込みと真のイベント種類（AdaLNコンディショニングを使用）に条件付けられたヘッドで、価格や経過時間などの連続ターゲットを生成します。

推論中、モデルはカテゴリカルヘッドからイベントをサンプリングし、そのサンプリングされたイベントを使用して連続特徴の拡散ヘッドを条件付けます。

フローマッチング vs. DDPM

Denoising Diffusion Probabilistic Models（DDPM）を使用した初期実験は不安定であることが判明しました。研究者らは、サンプルに追加されたノイズを予測するDDPMが、しばしば爆発的なデノイジング軌道を引き起こし、88〜95%の値が平均から8標準偏差以上乖離することを発見しました。

この不安定性は、クリーンなターゲット推定値を計算する際のノイズ予測（$\epsilon$）のスケーリングに起因します。これを解決するため、研究はフローマッチング（具体的には整流フロー）に移行しました。フローマッチングはノイズとデータの間を線形に補間し、その線に沿った速度を予測するため、ほぼ直線のサンプリング軌道が得られ、より少ないステップで正確に積分でき、そのままでも大幅に高い安定性を示します。

アトムスムージングによる不連続性の処理

市場データには鋭い境界や点質量（例えば、多くのイベントが0秒で同時に到着するなど）が含まれるため、研究者らは不連続性を処理するための2つの主要な方法を実験しました：

1. カテゴリカルフラクチャリング

カテゴリカル予測の不均衡（BBO変更がトレードを大幅に上回る）を減らすため、研究者らはBBO変更をより細かいクラス（例：「サイズのみ」や「アスク上昇」）に分割しました。これにより、経過時間ゼロなどの特定の不連続性を独自のカテゴリカルクラスとして扱い、拡散ヘッドのターゲットを簡素化できました。

2. アトムスムージング

考えられるすべての不連続性に対してカテゴリカルクラスを作成する拡張性の低さを回避するため、研究では「アトムスムージング」を導入しました。このプロセスでは、真のスパイク状の分布を平滑化し、その後、拡散プロセスを壊す数学的不連続性を作成せずに確率質量を捉えるためにスパイクを「再彫刻」します。

結果と評価

パフォーマンスは、モデルの出力の周辺分布を真の市場データとTotal Variational（TV）ダイバージェンスを使用して比較することで評価されました。

主な発見

周辺分布の整合： フローマッチングとアトムスムージングの組み合わせにより、イベント種類と連続ターゲットの両方で現実的な周辺分布が生成されました。
判別器テスト： 実イベントと合成イベントを区別するようにトレーニングされた分類器は、アトムスムージング用に最適化されたサンプルが大幅に現実的であることを発見しました。
自己回帰ロールアウト： モデルは市場イベントの合成シーケンスを生成できますが、時間の経過とともに精度は低下します。例えば、CME米国データの合成ロールアウトでは、予測期間が長くなるにつれてビッド・アスクスプレッドが広がる傾向があります。

コミュニティの洞察と反論

実務者間の議論では、このアプローチに対するいくつかの理論的および実践的なハードルが強調されました：

「市場のモデルで安定して正確であり続けるものはありません。なぜなら、市場は必然的に、正確なモデルの洞察を、それらの洞察が正確でなくなるまで組み込むからです。」

その他の技術的観察には、GANのようにトレーニングされた特殊なデコーダーを使用した潜在拡散が、プロジェクト中に遭遇したピクセルレベル（またはイベントレベル）のエラーをさらに軽減した可能性があるという提案が含まれていました。さらに、注文の到着間隔は正規分布ではなく、おそらくホークス過程（1つのイベントが他のイベントの確率を高める）に従うため、研究で説明されているデータの「塊状」な性質が説明されると指摘する人もいました。