用于市场数据生成的自回归扩散

摘要

Jane Street 的研究表明，虽然自回归扩散可用于生成合成市场数据，但该过程需要特定修改来处理金融时间序列的“锯齿状”特性。主要结论是，市场数据是连续值（如时间和价格）与离散动作（如订单类型）的混合体，除非通过流匹配和一种称为“原子平滑”的技术来管理这些不连续性，否则标准扩散模型会失效。

市场数据模态的挑战

市场数据既非完全连续也非完全离散，这给生成模型带来了根本性挑战。虽然订单簿通过离散动作（如添加、取消或执行订单）演变，但这些动作的参数通常表现为连续。

关键复杂性包括：

• 高基数： 价格通常具有如此高的基数，以至于它们表现得像连续变量。
• 时间尖峰： 事件时间并非正态分布；订单以突发或整数间隔到达。
• 点质量： “便士化”（将价格提高一个最小变动单位）会在价格变化分布中产生尖锐尖峰，而标准连续扩散模型难以表示这些尖峰。

模型架构与设置

为了应对这些挑战，研究采用了编码器-扩散器架构，并在四年美国股票数据上进行了训练。该模型旨在生成流中的下一个事件（时间戳、价格、事件类型），并将其自回归地附加到序列中。

架构组件

• 编码器： 一个因果掩码的 Transformer 编码器为序列中的每个位置生成潜在嵌入。
• 事件类型头： 一个分类头，预测下一个事件是交易还是最优买卖报价（BBO）更新。
• 扩散头： 一个以潜在嵌入和真实事件类型为条件（使用 AdaLN 条件化）的头，用于生成连续目标，如价格和经过时间。

在推理过程中，模型从分类头中采样一个事件，然后使用该采样事件来条件化扩散头以生成连续特征。

流匹配与 DDPM 的对比

使用去噪扩散概率模型（DDPM）的初步实验被证明是不稳定的。研究人员发现，DDPM 预测添加到样本中的噪声，常常导致去噪轨迹爆炸，其中 88-95% 的值偏离均值超过八个标准差。

这种不稳定性归因于在计算干净目标估计时噪声预测（$\epsilon$）的缩放。为了解决这个问题，研究转向了流匹配（特别是修正流）。流匹配在噪声和数据之间线性插值，并预测沿该线的速度，从而产生几乎笔直的采样轨迹，可以在更少的步骤中准确积分，并且开箱即用地表现出显著更高的稳定性。

使用原子平滑处理不连续性

由于市场数据包含尖锐边界和点质量（例如，许多事件在零秒同时到达），研究人员尝试了两种主要方法来处理不连续性：

1. 分类分解

为了减少分类预测中的不平衡（其中 BBO 变化远远多于交易），研究人员将 BBO 变化分解为更细粒度的类别（例如，“仅大小”或“卖价上升”）。这使他们能够将某些不连续性（如经过时间为零）视为独立的分类类别，从而简化扩散头的目标。

2. 原子平滑

为了避免为每个可能的不连续性创建分类类别的不可扩展性，研究引入了“原子平滑”。该过程涉及平滑真实的尖峰分布，然后“重新雕刻”尖峰以捕获概率质量，而不会产生会破坏扩散过程的数学不连续性。

结果与评估

通过使用总变差（TV）散度将模型输出的边际分布与真实市场数据进行比较来评估性能。

主要发现

• 边际对齐： 流匹配和原子平滑的组合为事件类型和连续目标都产生了逼真的边际分布。
• 判别器测试： 一个经过训练以区分真实和合成事件的分类器发现，针对原子平滑优化的样本显著更逼真。
• 自回归展开： 该模型可以生成合成市场事件序列，尽管准确性随时间推移而下降。例如，在 CME 美国数据的合成展开中，买卖价差随着预测范围的增加而趋于扩大。

社区见解与反驳

从业者之间的讨论突出了这种方法的几个理论和实践障碍：

“不存在能够保持稳定准确的市场模型，因为市场将不可避免地纳入任何准确模型的见解，直到这些见解不再准确。”

其他技术观察包括建议潜在扩散——使用类似 GAN 训练的专业解码器——可能进一步减轻项目期间遇到的像素级（或事件级）错误。此外，一些人指出，订单到达间隔时间可能遵循 Hawkes 过程（其中一个事件增加其他事件的概率），而不是正态分布，这解释了研究中描述的数据的“聚集”性质。