时序预测（Time-Series Forecasting）模型，详见Zotero！
TSF Demos：github.com/hyperplasma/tsf-demo
Hyplus目录
1 基本概念
前置知识：
2 Transformer系列模型
基于Transformer的TSF流水线（图源：DLinear论文）：
| Year | Model | Conf/Jour | Rank | Notes |
|---|---|---|---|---|
| 2017 | Transformer | NeuralPS 2017 | CCF-A | 注意力机制 |
| 2019 | LogTrans | NeuralPS 2019 | CCF-A | |
| 2019 | Reformer | ICLR 2020 | CCF-A | |
| 2020 | Informer | AAAI 2021 | CCF-A | 知乎 |
| 2021 | Autoformer | NeuralPS 2021 | CCF-A | 样本特征找周期 |
| 2021 | Pyraformer | ICLR 2022 | - | |
| 2022 | FEDformer | ICML 2022 | CCF-A | |
| 2022 | PatchTST | ICLR 2023 | - | 片段；DLinear通道独立策略 |
| 2022 | Crossformer | ICLR 2023 | - | |
| 2022 | Stationary | NeuralPS 2022 | CCF-A | |
| 2023 | PETformer | ArXiv | - | |
| 2023 | iTransformer | ICLR 2024 (spotlight) | - | 多变量关系依赖 |
| 2024 | Sageformer | IEEE Internet of Things Journal (IotJ) | 1区；CCF-C | GCN；全局Token |
| 2024 | Contiformer | NeuralPS 2024 | CCF-A |
相关专栏：
2.1 Transformer
论文：Attention Is All You Need（2017）
网络架构：
缩放点积注意力与多头注意力示意图：
相关博文：
2.2 Informer
论文：Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting（2020）
网络架构：
2.3 Autoformer
论文：Autoformer: Decomposition Transformers with Auto-Correlation for Long-Term Series Forecasting（2021）
网络架构：
2.4 PatchTST
论文：A Time Series is Worth 64 Words: Long-term Forecasting with Transformers（2022）
GitHub：github.com/yuqinie98/PatchTSTDLinear相关详解：[TSF] LTSF-Linear
网络架构：
相关博文：
- 【知乎】对时间序列SOTA模型Patch TST核心代码逻辑的解读
- 【知乎】时间序列论文系列 - PatchTST（精简解析）
- 【知乎】时序精选论文02｜PatchTST: 片段输入与独立变量思想（代码解读附源码）
2.5 iTransformer
论文：iTransformer: Inverted Transformers Are Effective for Time Series Forecasting（2023）
与原版Transfromer的对比图：
基于Transformer的预测模型按组件和架构修改分类：
网络架构：
相关博文：
2.6 SageFormer
论文：SageFormer: Series-Aware Framework for Long-term Multivariate Time Series Forecasting（2024）
三种对序列相关性（Series Dependency）进行建模的方法：
网络架构：
3 非Transformer方法
| Year | Model | Conf/Jour | Rank | Notes |
|---|---|---|---|---|
| 2017 | STGCN | IJCAI 2018 | CCF-A | CNN |
| 2018 | LSTNet | SIGIR 2018 | CCF-A | CNN+LSTM |
| 2019 | Graph Wavenet | IJCAI 2019 | CCF-A | CNN+GNN |
| 2020 | MTGNN | KDD 2020 | CCF-A | CNN+GNN |
| 2020 | STSGCN | AAAI 2020 | CCF-A | GCN |
| 2022 | TimesNet | ICLR 2023 | - | CNN |
| 2022 | MSDR | KDD 2022 | CCF-A | RNN |
| 2023 | WITRAN | NeuralPS 2024 | CCF-A | RNN |
| 2023 | CrossGNN | NeuralPS 2023 | CCF-A | GNN |
4 reel?