Mistral Timestral：5M–209M 参数的时间序列基础模型在 GIFT-Eval、TIME 和 fev-bench 中名列前茅

Mistral 发布了其首个时间序列基础模型系列 Timestral。其中最大的模型拥有 2.09 亿（209M）个参数，在预训练零样本（zero-shot）模型中，于该领域三大主要公共基准测试（GIFT-Eval、TIME 和 fev-bench）中均排名第一，且仅用三分之二的模型参数就超越了之前的最先进水平。

这些结果来自单个检查点，无需集成，并已提交至 GIFT-Eval 和 TIME 排行榜。Timestral 可生成概率性、多变量预测，并支持仅包含过去数据和已知未来协变量的输入。

什么是 Timestral

Timestral 是一个时间序列基础模型（TSFM）系列，发布了四种尺寸：5M、28M、123M 和 209M 参数。这四种模型共享相同的架构和训练方案。

属性	Timestral
类型	时间序列基础模型 (TSFM)
参数	5M, 28M, 123M 和 209M
上下文长度	32,768 个时间步
输出	概率预测，21 个分位数
输入	多变量目标，仅过去数据和已知未来协变量
部署	本地、VPC 或气隙环境
许可	修改版 MIT

该模型是一个数值预测模型，而非语言模型。Mistral 将其定位为可以运行在现有监控流水线中，或在多模态智能体工作流中与语言模型配合使用的工具。

基准测试结果

在三个主要的公共预测基准测试中，Timestral 在预训练零样本模型的所有五个指标中均排名第一。在 GIFT-Eval 和 TIME 中，数值越低越好；在 fev-bench 中，报告的指标是 SQL 技能得分，数值越高越好。

GIFT-Eval： 在 83 个可比较的预训练和零样本条目中排名前十。
TIME： 在 35 个排行榜条目中排名前十。
fev-bench： 按 SQL 技能得分，在 37 个排行榜条目中排名前十。

Mistral 报告称，其 28M 模型在 GIFT-Eval 和 TIME 上击败了规模约大四倍的 Chronos-2。其 209M 模型在参数更少的情况下击败了 TimesFM-3 和 Falcon-2.0。

模型尺寸与精度权衡

每一个 Timestral 尺寸都处于预测精度与模型尺寸的帕累托前沿：Mistral 声称，对于每种模型尺寸，目前没有公开模型能提供更好的预测效果。更大的模型能提升预测性能；更小的模型则更快、更便宜。

Timestral 在推理时不需要 GPU。在配备 8 线程的标准服务器 CPU 上，使用 5M 模型从 3 周的 15 分钟历史数据预测未来一天需要 10 毫秒，而 209M 模型则需要 140 毫秒。

中间尺寸的模型以一种可衡量的方式权衡了精度与延迟：28M 模型比 209M 模型快五倍，而 123M 模型在延迟为其四分之三的情况下，得分与 209M 模型相差不到 0.2%。

为什么时间序列基础模型很重要

ARIMA 和线性回归等经典模型仍然是预测时间序列的成熟工具，但它们通常针对单个序列进行拟合，且仅从该序列的历史中学习。PatchTST 等深度学习模型增加了跨多个相关序列学习非线性模式的能力，但它们通常仍需在每个数据集上从头开始训练，因此所学知识无法迁移到新领域。

时间序列基础模型将预训练方法引入了时间序列领域。通过在庞大且多样化的语料库上进行训练，Timestral 学习到了跨序列迁移的模式，即使在数据稀缺的领域，也能对从未见过的数据进行零样本预测。

Mistral 从企业需求的角度阐述了其动机：时间序列是企业中最常见的数据类型之一，从传感器遥测到可观测性指标。基于此的预测驱动着容量规划、能源、供应链、风险和维护方面的决策。工业工厂根据生产计划预测过程传感器数据，在设备故障前捕捉设备漂移，并规划数千项资产的容量和备件。金融团队预测流量、交易量和波动性，以指导数千个账户的头寸、对冲和资金管理。

工业用例：模型在工厂数据上的表现

Mistral 描述了对于拥有数千个设备传感器的工业工厂而言，至关重要的四种能力。

多变量预测。 泵的振动、温度和压力并非独立变化。其中一个的上升往往解释或导致了另一个的变化。Timestral 联合建模相关序列，因此它可以利用这些依赖关系，而不是孤立地预测每个传感器。

概率预测。 单个预测值可能无法展示全貌。Timestral 预测一整套分位数，因此团队可以看到不确定性的范围，设置反映该不确定性的警报阈值，并围绕风险而非单一数字来规划维护。

分类协变量。 一些协变量取值于一组类别而非连续数字，例如星期几或机器状态（运行、空闲、维护中）。将这些编码为数字会强加它们本身不具备的顺序或尺度。Timestral 直接将它们作为分类输入。

已知未来协变量。 传感器行为的一些驱动因素是预先已知的，例如生产计划、计划停机和天气预报。Timestral 可以以这些因素为条件，因此计划中的负载增加会被视为预期之内，而不是被标记为意外。

从模型到系统

Mistral 描述了一个多步骤的智能体工作流，其中 Timestral 与语言模型并肩运行：

Timestral 在工厂的传感器流上持续运行，实时检测异常。
当它在泵上标记出异常时，智能体对信号进行嵌入，并将其与过去传感器数据的嵌入进行比较，以寻找相似的历史故障。
智能体启动子智能体进行根本原因分析，利用工厂背景信息，如维护记录、轮班日志和操作员笔记、设备手册、过去的工作订单以及相关设备的读数。
智能体根据调查结果起草建议的诊断方案，并附带证据和可能的后续步骤。

其预期的结果是，工厂经理获得的是由传感器数据支持的诊断和计划，而不仅仅是一个警报。

关键技术贡献

Mistral 将这些结果归功于四个结合的想法，并表示每个想法都将在即将发布的技术报告中详细描述。

1. 解耦视界预测 (DHF)。 与 Toto 2.0 和 TimesFM-3 一样，使用连续补丁掩码训练的因果解码器会掩盖待预测的值，因此这些值看起来像缺失数据，同时也作为后续预测的上下文丢失了。DHF 将两者分开：完整的历史记录保留在序列中，学习到的预测标记在它们之前读取历史记录。因此，每个观测值既作为目标又作为上下文，真正的间隙保持被标记为缺失，训练视界长度和缺失数据增强可以独立调整。

2. 协变量感知注意力。 每个输入序列都被分配一个角色：目标变量、仅过去协变量或已知未来协变量。已知未来协变量在整个窗口中可见，而目标保持因果关系，信息仅从协变量流向目标。这使得 Timestral 能够使用假期日历或天气预报，而不会将目标自身的未来泄露到其预测中。

3. 合成优先数据。 大部分训练数据是合成的。Mistral 首先生成了具有连贯时间动态的单变量过程，包括趋势、季节性和多样化的噪声模式。然后，它使用多变量合成器通过在这些过程之间引入非线性依赖关系来构建多变量序列。

4. 两阶段训练。 Timestral 首先在上下文大小为 8192 的纯合成数据上进行大规模预训练，然后在混合了真实和合成数据且上下文长度增加 4 倍的情况下进行后训练。训练目标是 21 个分位数上的弹球损失（pinball loss），这是 CRPS 的离散近似。

通过 Mistral Forge 进行适配和部署

公共基准测试衡量的是通用性能，但生产数据在行为和结构上可能存在显著差异，并且随着市场机制变化、设备退化和需求模式转移，数据会随时间推移而发生偏移。Mistral 认为，持久的价值在于将模型适配到域内数据，并随着分布的变化对其进行再训练。

Mistral Forge 提供了 Timestral，这是 Mistral 用于其语言模型的相同训练流水线。Forge 支持：

开箱即用的零样本推理。
架构扩展，例如特定领域的协变量。
在专有数据上进行微调，在保持通用性能的同时专注于特定领域。
对训练数据的控制，包括调整训练组合、重放预训练数据以及为目标域生成合成样本。Mistral 表示，对数据的完全控制确保了其回测的任何内容在预训练期间均未被见过。

整个流水线可以部署在客户的硬件上，包括气隙环境。

可用性

Mistral 已发布了一个 GitHub 仓库 github.com/mistralai/timestral，以便用户可以在自己的数据上运行 Timestral。包含完整结果的技术报告即将发布。Mistral 也欢迎针对更专业的预测问题和研究合作进行联系。

Hacker News 讨论中的质疑

Hacker News 上 98 条评论的讨论帖主要分为两派：一派对工程实现充满热情，另一派则怀疑通用时间序列基础模型是否是一个正确的抽象。

反对单一时间序列桶的观点

最详细的批评来自一位主要从事音频和视觉机器学习的评论者，他质疑“时间序列”是否是一个有意义的单一类别：

我的领域主要是音频/视觉 ML，所以我没有特别的领域专业知识，但我不知道你怎么能把所有的“时间序列”都归为一个大桶。我天真的理解是，提高准确性的方法是尽可能获得联合信息。

同一位评论者认为，已知未来协变量应该是系统的基础，而不是可选的增强功能，并以电价预测为例：

对我来说，这应该是整个系统的基础，而不是提高预测质量的条件？就像如果你在模拟电力消耗，如果你拥有的只是 N 个先前样本的窗口，你会被一个知道一天中的时间、即将到来的假期、天气预报等相对简单的系统彻底击败。

他们还提出了一个问题，即 5M 参数的模型是否能对协变量标签有任何有用的归纳偏置：

一个 5M 的模型根本不知道什么是“银行假日”，它只是看到一个任意类别从 0 变为 1，并且不会有任何关于它意味着什么或如何将它们与其他信息片段联系起来的有用的归纳偏置。

支持 TSFM 作为节省劳动力基础设施的观点

一个反驳观点集中在规模化预测的运营现实上——许多序列，每个序列的历史数据都太少，无法支持其自身的模型：

当然，你可以在带有假期或事件协变量的时间序列上训练一个 XGboost 模型，但如果你有 1 万个不同的序列需要预测呢？你可以为每个序列训练 1 万个不同的模型，但它们学习的历史数据非常少。或者，你可以训练一个单一的通用模型来覆盖所有 1 万个序列，但除了序列之间的特征开发开销外，你还得处理序列之间的规模不匹配问题。TSFM 在建模这些序列中的每一个时节省了大量工作，并且可能更好地泛化到更准确的预测。

评估是困难的部分

几位评论者认为预测很难客观评估，因为只有一个观测到的历史记录可供测试：

我不知道一个人如何客观地评估预测。我们只观察到一个宇宙。我们将模型过拟合到我们拥有的这个单一观测结果上。这就是为什么归根结底没有人信任或责怪预测模型，特别是在全有或全无类型的决策中。

另一条评论提出了一种具体的测试方法——具有受控信噪比的合成数据生成过程：

要有意义地测试预测模型，请使用具有高信噪比的数据生成过程，其中经典方法（经验条件分布，即计数）可以捕获大部分信号。然后检查模型是否也捕获了该信号。如果你只在高噪声过程上进行测试，任何模型看起来都与 SOTA 相当。

基准测试的呈现方式受到批评

一位评论者对结果的可视化方式提出了异议：

他们把 0.03 的改进看起来像 5 倍的差异，这太疯狂了

许可和开放权重

规格表将 Timestral 列在修改版 MIT 许可下，但至少有一位评论者认为这些条款具有限制性：

他们能获得如此接近领先者 t0-gamma 的性能令人印象深刻，但遗憾的是许可具有限制性

另一位评论者将此次发布描述为迈向该领域开放竞争的一步，提到了 Nixtla 的工具：

我记得使用过那个，非常好，所以很高兴现在该领域有了更多的开放竞争

另一条评论直接询问 Timestral 与 Nixtla 的 TimeGPT 相比如何，并链接到了 Nixtla 仓库。

可观测性：黑盒足够吗？

一位信号处理研发工程师询问 Timestral 提供了什么样的动力系统可观测性，对比了三种建模方法：拟合具有未知参数的已知模型结构、无模型基函数搜索以及纯输入/输出黑盒。他们指出，第一种方法可以深入了解变量是如何耦合的以及耦合强度如何，这支持了关于调整参数的商业决策。在查看了规格表后，同一位评论者总结道：

编辑：看起来它是一个纯黑盒，你可以在本地运行。

对客户故事的怀疑

一位评论者认为时间序列基础模型的吸引力是营销驱动的，并指出了缺乏具名的参考客户：

呃……时间序列数据与文本数据有着根本的不同。我明白为什么时间序列“基础模型”看起来很有吸引力，特别是对 Mistral 的营销人员来说。现实世界的可用性非常有限，这可能就是为什么博客文章以虚构客户为特色，而不是实际参考的原因。

模型在序列模型领域的位置

一位评论者建议，大语言模型在抽象层面上是一类更通用的时间序列模型——“就像一个通用序列模型”。另一位评论者指出了该领域长期以来的兴趣，称他们自 2006 年以来一直看好时间序列预测，并且 Spacetimeformer 是一个重大的飞跃，但被语言模型的进步所掩盖。

对 Mistral 本身的混合反应

该讨论帖还包含了关于 Mistral 作为一家公司的更广泛评论。一位评论者称赞此次发布是“一些伟大的欧洲主权”，而另一位则批评了 Mistral 的其他模型发布，并认为欧洲需要重新审视如何培养和留住技术人才。第三位评论者表示他们正在迁移到 Timestral 进行宏观预测工作。讨论帖中的几条评论被版主标记，有些读起来更像是讽刺或宣传，而不是技术性的。

实际问题

一个反复出现的情绪，由一位评论者最直白地表达出来，即该模型很有趣，但很难定位：

我喜欢它与众不同，但我很难想到使用它的方法。

相反的观点来自一位评论者，他指出了工具的变化有多大：五年前构建和部署预测模型需要几个月的时间，而现在在 LLM 的辅助下，加上对专有数据的微调，可以在几分钟内产生类似的结果。他们表达的愿望是拥有一个具有这种性能水平的开放权重模型。