Mistral Timestral：从 5M 到 209M 参数的时间序列基础模型

Mistral AI 发布了 Timestral，这是其首个时间序列基础模型系列，其中最大的 209M 参数变体在该领域三大主要公开基准测试——GIFT-Eval、TIME 和 fev-bench——上均排名第一，以仅三分之二的模型参数击败了之前的最优模型。这一发布之所以重要，是因为它将重塑语言和视觉领域的预训练范式带入了企业时间序列数据，并且整个系列可在 CPU 上运行，使得零样本预测在现有监控和规划流程中变得切实可行。

Timestral 是什么

Timestral 是一个时间序列基础模型（TSFM）系列，可生成概率性的多变量预测，并支持仅过去协变量和已知未来协变量。Mistral 将其描述为其首个时间序列基础模型系列。

这些模型在大规模和多样化的语料库上进行了预训练，使得学习到的模式能够跨序列迁移，从而对模型从未见过的数据（包括数据稀缺的领域）进行零样本预测。结果已提交至 GIFT-Eval 和 TIME 排行榜。

基准测试结果

据 Mistral 称，在预训练的零样本模型中，Timestral 在三大主要公开预测基准测试的所有五项指标上均排名第一。这些结果来自单个检查点，没有进行集成。

GIFT-Eval: Timestral 出现在 83 个可比较的预训练和零样本条目中的前十名。数值越低越好。
TIME: Timestral 出现在 35 个排行榜条目的前十名。两个指标均为数值越低越好。
fev-bench: Timestral 出现在 37 个排行榜条目的前十名，以 SQL 技能评分衡量。数值越高越好。

Mistral 表示，209M 模型以仅三分之二的模型参数击败了之前的最优模型。

四种模型规模及其精度-延迟权衡

Timestral 发布了四种规模——5M、28M、123M 和 209M 参数——所有模型共享相同的架构和训练方法。Mistral 声称每种规模都位于精度与模型规模的帕累托前沿：对于每种模型规模，没有公开模型的预测效果更好。

Mistral 报告的具体比较如下：

28M 模型在 GIFT-Eval 和 TIME 上击败了约为其四倍大小的 Chronos-2。
209M 模型以更少的参数击败了 TimesFM-3 和 Falcon-2.0。
123M 模型在达到 209M 模型 0.2% 的精度差异以内，且延迟仅为后者的四分之三。
28M 模型比 209M 模型快五倍。

无需 GPU 的 CPU 推理

Timestral 在推理时不需要 GPU。在配备 8 线程的标准服务器 CPU 上，基于三周 15 分钟历史数据预测未来一天，5M 模型耗时 10 毫秒，209M 模型耗时 140 毫秒。较小的模型以一定的精度换取速度。

关键技术贡献

Mistral 将 Timestral 的结果归因于四个组合的想法，每个想法都将在即将发布的技术报告中详细描述。

1. 解耦地平线预测（DHF）

使用连续分块掩码训练的因果解码器（如 Toto 2.0 和 TimesFM-3 中使用的）会掩码掉要预测的值，因此这些值看起来像缺失值，并且也会丢失作为后续预测的上下文。Mistral 的 DHF 方法将两者分开：完整历史保留在序列中，学习到的预测标记读取其之前的历史。因此，每个观测值既作为目标又作为上下文，真实缺口保持标记为缺失，训练地平线长度和缺失数据增强可以相互独立地调整。

2. 协变量感知注意力

每个输入序列都被分配一个角色：目标变量、仅过去协变量或已知未来协变量。已知未来协变量在整个窗口内可见，而目标保持因果性，信息仅从协变量流向目标。因此，Timestral 可以使用假日日历或天气预报，而不会将目标自身的未来泄露到其预测中。

3. 合成数据优先

Timestral 的大部分训练数据是合成数据。Mistral 首先生成了具有连贯时间动态的单变量过程，包括趋势、季节性和多样的噪声模式。然后，它使用多变量合成器通过在这些过程之间引入非线性依赖关系来构建多变量序列。

4. 两阶段训练

Timestral 首先在纯粹合成数据上以 8192 的上下文大小进行大规模预训练，然后在真实和合成数据的混合数据上进行后训练，上下文长度延长 4 倍。训练目标是对 21 个分位数的弹球损失，这是 CRPS 的离散近似。

为什么时间序列基础模型对企业很重要

时间序列是企业中最常见的数据类型之一，从传感器遥测到可观测性指标，基于时间序列的预测驱动着容量规划、能源、供应链、风险和运维等决策。

Mistral 将该领域的发展划分为三个阶段。经典模型（如 ARIMA 和线性回归）仍是成熟可靠的工具，但它们通常针对单个序列拟合，并且只从该序列的历史中学习。深度学习模型（如 PatchTST）增加了跨多个相关序列学习非线性模式的能力，但它们通常仍需要对每个数据集从头训练，因此所学到的内容无法迁移到新领域。时间序列基础模型将预训练方法引入时间序列，学习可跨序列迁移的模式，并对未见数据执行零样本预测。

工业示例：工厂中的数千个传感器

Mistral 通过一个包含数千个传感器的工业工厂说明了模型的能力。

多变量预测。 泵的振动、温度和压力并非独立变化；一个参数的上升往往解释或导致另一个参数的变化。Timestral 对相关序列进行联合建模，从而可以利用这些依赖关系，而不是孤立地预测每个传感器。
概率预测。 单个预测值可能无法展现全貌。Timestral 预测完整的分位数集合，因此团队可以了解不确定性范围，设置反映这种不确定性的警报阈值，并围绕风险而非单个数字进行维护规划。
分类协变量。 某些协变量从一组类别中取值，而不是连续数值，例如星期几或机器状态（运行中、闲置、维护中）。将这些编码为数字会强加它们不具有的顺序或尺度。Timestral 直接将其作为分类输入处理。
已知未来协变量。 某些传感器行为的驱动因素事先已知，例如生产计划、计划停机维修和天气预报。Timestral 可以基于这些因素进行条件预测，因此计划内的负荷增加会被预期到，而不是被标记为突发事件。

从模型到系统

Timestral 是一个数值模型，可以在现有监控流程中运行，或与 Mistral 的语言模型配对，用于多模态代理工作流。Mistral 勾勒了该工厂工作流：

Timestral 在工厂传感器流上持续运行，实时检测异常。
当它标记泵上的异常时，代理嵌入信号，并与过去传感器数据的嵌入进行比较，以找到相似的历史故障。
代理启动子代理进行根本原因分析，利用工厂上下文，如维护记录、轮班日志和操作员备注、设备手册、历史工单以及相关设备的读数。
代理根据发现起草建议的诊断，并附上支持证据和可能的下一步措施。

工厂管理者获得基于传感器数据的诊断和计划，而不仅仅是警报。

使用 Mistral Forge 调整 Timestral

公开基准测试衡量一般性能，但生产数据在行为和结构上可能存在显著差异，并且随着市场制度变化、设备退化和需求模式变动，数据分布可能会随时间漂移。Mistral 认为，持久价值在于根据域内数据分析调整模型，并在分布移动时重新训练。

Timestral 可通过 Mistral Forge 使用，该平台与 Mistral 用于语言模型的训练流程相同。它支持：

开箱即用的零样本推理。
架构扩展，如特定领域的协变量。
在专有数据上进行微调，在保持一般性能的同时专注于特定领域。
对训练数据的控制，包括调整训练混合比例、重放预训练数据，以及生成反映目标领域的合成数据样本。Mistral 表示，对数据的完全控制确保了任何回测过的数据在预训练期间都未被看到。

完整流程可部署在客户硬件上，包括气隙环境。

规格与可用性

属性	Timestral
类型	时间序列基础模型（TSFM）
参数	5M、28M、123M 和 209M
上下文长度	32,768 个时间步
输出	概率预测，21 个分位数
输入	多变量目标、仅过去协变量和已知未来协变量
部署	本地部署、VPC 或气隙环境
许可证	修改版 MIT

Mistral 已在 GitHub 上发布了代码仓库 github.com/mistralai/timestral，用户可以在自己的数据上运行 Timestral。完整结果的技术报告将随后发布。Mistral 欢迎拥有更专业预测问题或对研究合作感兴趣的组织联系他们。