无需Transformer，滤波器即可提高时间序列猜测精度 | NeurIPS 2024

范玮 投稿量子位 | 群众号 QbitAI

无需Transformer，简便滤波器即可提高时间序列猜测精度。

由国度信息中央、牛津大学、北京理工大学、同济大学、中国封建武艺大学等机构的团队提出了一个FilterNet。

现在已被NeurlPS 2024吸收。

准确猜测时间序列，关于动力、景象、医疗等范畴中来说都十分紧张。

现在很受接待的一类猜测形式是基于Transformer网络举行建构的。

但是，Transformer并不是万能的，尤其是关于时间序列猜测如此的成绩来说，它的布局显得有点过于繁复。

以iTransformer模子为例，它存在很多成绩，好比对高频信号的呼应较弱从而招致全频段信息使用受限、盘算听从低末等，这些成绩会大大影响模子的猜测精度。

那么，FilterNet有哪些创新之处？

研讨动机：现有模子架构存在频段信息使用瓶颈

时间序列信号屡屡由不同频段信号构成，为了探求现有模子可否对频域信号举行准确捕捉，团队计划一个简便的模仿验证实行。

起首，他们使用低频、中频和高频分量构成的信号作为实行数据（见图1(a)）来测试时序模子的猜测功能。从图1(b)可以看出，如今时序猜测的优秀模子iTransformer体现不佳。

这标明，即使是由三种不同频率因素构成的简便信号，如今优秀的基于Transformer的模子仍无法富裕学到相对应的频谱信息。

比拟之下，在传统的信号处理（signal processing）范畴，简便的频率滤波器具有很多精良特性，比如频率选择性、信号调制和多速率处理。这些特性可能明显提升模子在时间序列猜测中提取紧张信息频率形式的才能。

因此，受信号处理中滤波历程的启示，研讨团队提出了一种十分简便并且高效的学习框架—-FilterNet，用于时间序列猜测职责。

研讨办法：滤波器网络（FilterNet）

FilterNet的计划极度简便，全体框架如下图所示：

FilterNet的中心模块是频率滤波模块（Frequency Filter Block），包含团队计划的2种可学习滤波器：

1.Plain Shaping Filter：使用最简便的、可学习的频率滤波器，完成信号滤波与时间干系的建模。

2.Contextual Shaping Filter：针对使用滤波后的频率与原始输入信号的兼容性，举行依托干系的学习。

具体来说，FilterNet的各个组件有：

1.实例归一化（Instance Normalization）

时间序列数据通常是在较长时间跨度内搜集的，这些非安稳序列不成制止地使猜测模子面临随时间厘革的分布偏移。像很多时序猜测模子一样，团队接纳了可逆Instance Normalization，如下所示：

2.频率滤波模块（Frequency Filter Block）

时间序列猜测器可以视为针对紧张信号的捕捉，从某种水平上，也可以看作在频域上举行了一次滤波历程。

基于此，研讨职员直接计划了一个滤波器模块来建模相应的干系，具体为：

文中包含两类滤波器，分散为plain shaping filter (PaiFilter)和contextual shapingfilter (TexFilter)。PaiFilter直接经过初始化一个权重参数来模仿对应的滤波器，具体为：

相对应的，TexFilter则经过一个可学习的神经网络来天生相应的滤波器，完成对应的滤波学习，具体为：

3.前馈神经网络（Feed-forward Network）

频率滤波模块建模了时间序列数据中的一些主要时间依托干系，随后他们使用前馈神经网络（Feed-Forward Network）创建这些时间依托干系和将来τ个时候数据的干系，最初举行猜测，并对猜测值举行反归一化利用。

FilterNet在种种场景下都体现出色

1.猜测后果

实行在八个时间序列猜测基准数据集上举行了广泛的测试，后果标明，与最新的猜测算法比拟，FilterNet模子在不同猜测场景中均体现出出色的功能。

此中，PaiFilter在小数据集上（变量数较小，如ETT、Exchange数据集）体现更好，而TexFilter则在大数据集上（变量数较多，干系更为繁复，如Traffic、Weather数据集）体现出强上心的竞争力。

2.频率滤波器的可视化

图7是学习到的滤波器的频率呼应特性的可视化图表，标明FilterNet具有全频段的信号处理才能。

别的，如图8所示，在ETTm1数据集上针对不同猜测长度举行的可视化实行进一步证实白FilterNet的强壮处理才能。

3.猜测后果的可视化

与其他最新模子比拟，FilterNet在猜测将来序列厘革方面展现了出色的准确性，富裕证实白其出色的功能。

4.听从分析

团队还在两个不同的数据集上对FilterNet举行了相应的听从分析实行，实行后果标明，无论数据集轻重，FilterNet都体现出比Transformer办法更高的听从。

固然在每个epoch练习时间上，FilterNet比DLinear略差，但是FilterNet后果比DLinear要好。

为时间序列猜测提供新思绪

这篇论文是初次实验将频率滤波器直接使用于时间序列猜测的事情，从信号处理的角度切入是一个十分幽默的新思绪。

研讨团队提出了一种简便而高效的架构——FilterNet，该架构基于他们计划的两类频率滤波器来完成猜测目标。在八个基准数据集上的全盘实行证实白FilterNet在后果和听从方面的出色性。

别的，团队成员还对FilterNet及其内里滤波器举行了过细深化的模子分析，展现了其诸多精良特性。

他们表现，渴望这项事情可以推进更多研讨，将信号处理武艺或滤波历程与深度学习相团结，提高时间序列建模与准确猜测的后果。

Paper Link：https://arxiv.org/abs/2411.01623
Code Repository：https://github.com/aikunyi/FilterNet

— 完 —

量子位 QbitAI · 头条号签约

眷注我们，第一时间获知前沿科技动态