Hacker News 中文摘要

RSS订阅

Timestral: Mistral release time-series foundation models

米斯特拉尔(Mistral)今天发布其首个时间序列基础模型家族泰姆斯特拉尔(Timestral)。最大模型仅209M参数,在GIFT-Eval、TIME和fev-bench三大公开基准上均排名第一,以仅三分之二的参数量超过此前最优结果。该家族提供概率性多变量预测,支持仅过去协变量与已知未来协变量,在预测精度与模型规模的帕累托前沿上各尺寸均领先,结果已提交至GIFT-Eval和TIME排行榜。

正文

今天,我们发布 Timestral,这是我们第一个时间序列基础模型系列。我们最大的模型只有 209M 参数,却在 GIFT-Eval、TIME 和 fev-bench 这三个领域主要公共基准上全部排名第一,以仅三分之二的参数量超过了此前的最佳水平。

Timestral 提供概率化、多变量预测,并支持仅过去和已知未来的协变量。我们的模型系列位于预测精度与模型规模的帕累托前沿,在各个规模上都提供领先性能。结果已提交至 GIFT-Eval 和 TIME 排行榜。

时间序列是企业中最常见的数据类型之一,从传感器遥测到可观测性指标都是如此。基于它构建的预测支撑着容量规划、能源、供应链、风险和维护等方面的决策。

工厂会根据生产计划预测过程传感器,在设备发生漂移并在故障前捕捉到它,并为成千上万资产规划产能和备件。金融团队预测流量、交易量和波动率,用于在成千上万个账户上做出头寸、对冲和资金决策。

ARIMA 和线性回归等经典模型仍是成熟的时间序列预测工具。这类模型通常针对单条序列拟合,只从该序列自身的历史中学习。

PatchTST 等深度学习模型增加了从许多相关序列中学习非线性模式的能力,但它们通常仍要在每个数据集上从头训练,因此学到的东西无法迁移到新领域。

时间序列基础模型把预训练方法引入时间序列。我们的模型在大规模多样化语料上训练,学到的模式可以跨序列迁移,即使面对从未见过的数据、乃至数据稀缺的领域,也能进行零样本预测。

基准测试结果

我们在 GIFT-Eval、TIME 和 fev-bench 三个主要公共预测基准上评估了 Timestral。在预训练零样本模型中,它在全部五项指标上均排名第一;这些结果来自单一检查点,没有使用集成。

GIFT-Eval 的结果取自 83 个可比预训练零样本条目中的前十名,数值越低越好;TIME 的结果取自 35 个排行榜条目中的前十名,两项指标均为越低越好。

fev-bench 上按 SQL 技能得分排名的前十名(共 37 个排行榜条目),越高越好

面向每个规格优化的模型系列

Timestral 被优化为四个模型组成的系列:5M、28M、123M 和 209M 参数。较大的模型提升预测性能,较小的模型则更快、更便宜。四者共享相同的架构和训练配方。每个规模都位于精度与模型规模的帕累托前沿:在对应参数规模下,没有公开模型预测得更好。

在 GIFT-Eval、TIME 和 fev-bench 上,得分与模型规模的关系(显示为 1 − 技能得分)越低越好。我们的 28M 模型在 GIFT-Eval 和 TIME 上击败了体量约为其四倍的 Chronos-2;209M 模型以更少参数击败了 TimesFM-3 和 Falcon-2.0。

Timestral 在推理时不需要 GPU。在一台 8 线程的标准服务器 CPU 上,基于三周 15 分钟粒度历史预测未来一天,5M 模型耗时 10 毫秒,209M 模型耗时 140 毫秒。更小的模型用一部分精度换取速度:28M 模型比 209M 模型快五倍;123M 模型的得分与 209M 相差在 0.2% 以内,而延迟只有后者的四分之三。

一个工业示例

设想一座工厂,其设备上装有成千上万个传感器。Timestral 可以通过几种方式改进对这些数据的预测。

多变量预测。 泵的振动、温度和压力并非独立变化,一个指标上升往往会解释或引起另一个指标变化。Timestral 对相关序列联合建模,因此能利用这些依赖关系,而不是孤立地预测每个传感器。

概率预测。 单一预测值可能无法反映全貌。Timestral 预测一整套分位数,团队因此能看到不确定性范围,设置与之匹配的告警阈值,并围绕风险而非单个数值规划维护。

类别协变量。 有些协变量取值来自一组类别,而非连续数值,例如星期几,或机器状态(运行、空闲、维修中)。把它们编码成数字会强加它们本不具有的顺序或尺度。Timestral 直接将其作为类别输入,以改进预测。

已知未来协变量。 有些传感器行为的驱动因素提前已知,例如生产计划、计划停机、天气预报。Timestral 可以以此为条件提升预测质量,因此计划内的负载上升会被预期到,而不会被标为异常。

从模型到系统

Timestral 是一个数值模型,可以运行在现有监控流水线中,也可以与我们的语言模型配合,用于多模态智能体工作流。

在工厂里,流程可能是这样的:

  1. Timestral 持续运行在工厂的传感器数据流上,实时检测异常。

  2. 当它标记某台泵出现异常时,一个智能体会对信号做嵌入,并与过去传感器数据的嵌入比对,找出相似的历史故障。

  3. 智能体随后启动子智能体进行根因分析,利用该工厂的上下文,例如维护记录、班次日志和操作员备注、设备手册、过往工单,以及相关设备的读数。

  4. 智能体根据发现起草一份建议诊断,附上支持证据和可能的后续步骤。

工厂经理得到的就不再只是一条告警,而是一个有传感器数据支撑的诊断和方案。

关键技术贡献

这些结果结合了多项思路,每一项都会在技术报告中详细说明。

  1. 解耦时界预测(Decoupled Horizon Forecasting)。 Toto 2.0 和 TimesFM-3 等因果解码器使用连续分块掩码进行训练,会掩码待预测的值,使它们看起来像缺失值,也会作为后续预测的上下文丢失。我们的方法 DHF 将二者分开:完整历史保留在序列中,学习到的预测 token 读取其之前的历史。因此每个观测值都同时充当目标和上下文,真实缺口仍被标记为缺失,训练时界长度和缺失数据增强也可以相互独立地调整。

  2. 协变量感知注意力。 每条输入序列都被赋予一个角色:目标变量、仅过去协变量或已知未来协变量。已知未来协变量在整个窗口内可见,而目标保持因果性,信息只从协变量流向目标。因此 Timestral 可以使用节假日日历或天气预报,而不会把目标自身的未来泄漏到预测中。

  3. 合成优先的数据。 训练数据大部分是合成的。我们首先生成具有连贯时间动态的单变量过程,包括趋势、季节性和多样噪声模式。然后使用多变量合成器,通过在这些过程之间引入非线性依赖来构建多变量序列。

  4. 两阶段训练。 Timestral 首先在纯合成数据上以 8192 的上下文长度进行大规模预训练,然后在真实与合成数据的混合数据上以后训练,上下文长度延长 4 倍。目标函数是 21 个分位数上的 pinball loss,即对 CRPS 的离散近似。

Timestral 概览图

可适配的模型

公共基准衡量的是通用性能,但生产数据在行为和结构上可能差别很大,而且会随着市场状态变化、设备老化和需求模式转移而随时间漂移。真正的长期价值在于,能够把模型适配到领域内数据,并在分布变化时持续重新训练。

对于希望更进一步的企业,Timestral 通过 Mistral Forge 提供,这也是我们用于语言模型的训练流水线。它支持:

  • 零样本推理,开箱即用。

  • 架构扩展,例如特定领域协变量。

  • 在专有数据上微调,在保持通用性能的同时专精于某个领域。

  • 控制训练数据,包括调整训练混合比例、重放预训练数据,以及生成反映目标领域的合成数据样本。完全掌控数据可确保:回测中没有任何数据在预训练期间被模型见过。

整个流水线可以部署在客户自己的硬件上,包括气隙环境。

下一步

我们已发布 GitHub 仓库,你可以在自己的数据上运行 Timestral。包含完整结果的技术报告随后发布。如果有更专业的预测问题,或希望在研究上合作,请联系我们。

| Timestral | | | --- | --- | | 类型 | 时间序列基础模型(TSFM) | | 参数规模 | 5M、28M、123M 和 209M | | 上下文长度 | 32,768 个时间步 | | 输出 | 概率预测,21 个分位数 | | 输入 | 多变量目标、仅过去协变量和已知未来协变量 | | 部署 | 本地、VPC 或气隙环境 | | 许可 | 修改版 MIT |

评论

讨论气氛偏怀疑:多数人质疑 Timestral 的现实可用性,认为它把微小提升包装成突破、且离不开协变量与领域知识,只有少数人肯定其大幅降低建模门槛和速度。分歧主轴是「通用基础模型能否真的处理异质的时间序列」,同时社区要求与 Nixtla TimeGPT 等已有方案做横向评测,并对 Mistral 模型的既往表现存疑。

认为时间序列基础模型大幅降低了预测建模门槛、速度快

  • 过去需要几个月构建部署的预测模型,现在几分钟就可在大语言模型辅助下实现并微调,结果看起来不错且速度很好;希望有同性能的开放权重模型。(少数人) > 以前建好并部署预测模型要几个月,现在几分钟就能借助大语言模型实现、微调并取得不错结果(@edot)

认为官方把微小指标提升夸大成了数量级突破

  • 用夸张语气嘲讽 0.03 的改进被呈现为 5 倍差距,反映社区对基准测试宣传话术的不信任。(少数人) > 把 0.03 的改进包装成 5 倍差距,真是疯狂(@nelaggy)

认为时间序列数据与文本本质不同,通用基础模型现实可用性有限

  • 时间序列数据和文本数据本质不同,把所有时间序列塞进同一个基础模型虽然对市场人员很有吸引力,但现实可用性很有限;博客使用虚构客户而非真实参考案例,也被认为削弱了说服力。(较多人) > 时间序列数据和文本数据本质不同,所谓基础模型尤其吸引市场人员,但现实可用性很有限(@beernet)

对 Mistral 编码模型的实际表现感到失望,并怀疑厂商宣传

  • 有人以 Mistral 的编码模型 Le Chonk 做“体感检查”,称其做通用编码任务时犯了很多低级错误,表现明显不如 opus、sol、deepseek flash 等模型,因此对 Mistral 宣称的能力持保留态度。(少数人) > 试用的 Mistral 编码模型 Le Chonk 在通用编码任务上会犯各种低级错误,这类错误我一年多没在 opus、sol、deepseek flash 上见到了(@ritzaco)

认为需要与 Nixtla TimeGPT 等已有方案横向对比才能判断价值

  • 有人直接追问它与 Nixtla TimeGPT 的对比,说明社区希望看到和已有时间序列基础模型的横向评测,而不是只看官方博客的自述。(少数人)

有价值的补充

  • 已知未来协变量(如生产计划、计划停机、天气预报)应当成为预测系统的基础,而不是只用来“提升预测质量”的条件;如果只给模型过去一段采样窗口,它在用电量等场景会被知道时刻、节假日和天气预报的简单系统击败(@joefourier)。
  • 小规模模型无法理解“银行假日”等标签的语义,只能看到类别从 0 变 1,缺乏将其与其它信息关联的归纳偏置;要预测欧元/兆瓦时(€/MWh)电价,可能还需要天然气价格、各能源产量结构,以及能理解新闻与地缘影响的大语言模型来进行预测。
  • 也有人怀疑自己是否误解了使用场景:这类模型也许只适合极短期波动预测,而非依赖复杂外部变量的长期预测。