2018 Spatio-Temporal Graph Convolutional Networks: A Deep Le

2018 [STGCN] Spatio-Temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic Forecasting

这是一篇比较早的文章了，之前看过去没有详细写笔记，现在由于复习到GCN相关知识，想要更加深入的了解，于是在此简单记录一下本文的主要思路。

如果搜本篇论文到我的博客，请转身去知乎，这位大佬讲的很详细，而且详细复现！！熊猫侠 pytorch实现

摘要

及时准确的交通预测对城市交通控制和指导至关重要。由于交通流的高非线性和复杂性，传统的方法不能满足的要求中长期预测任务，往往忽视时空依赖性。本文提出了一种新的深度学习框架——时空图卷积网络(STGCN)，以解决交通领域中的时间序列预测问题。我们没有应用正则卷积单位和递归单元，而是用图表示问题，并且完全用卷积结构搭建模型，它可以以更少的参数实现更快的训练速度。实验表明，我们的模型STGCN通过国防部有效地捕捉到了全面的时空相关性灵多规模的交通网络，并在各种真实世界的交通数据集上始终优于最先进的baseline。

这是在交通研究中第一次应用纯卷积层，来同时从图结构的时间序列中提取时空信息。

将交通数据建立成时空图结构，在节点之间进行信息传递的方式来获取空间依赖特征。

• 交通预测任务与道路传感器之间的位置关系有关，也受时间序列的影响。（也就是时空两个维度的依赖性）
• 假设路网结构是不变的

模型

本文建立了具有完整卷积结构的模型，该模型包括两个时空模块和一个FC层，时空模块用于提取时空依赖性，全连接模型用于最后的预测。ST层包括两个时间层，中间1个空间层。时间依赖的提取是通过带有门限机制的卷积层实现的，如下图的第三部分，时间轴上进行一维因果卷积，用GLU(Gated Linear Unit)门控线性单元充当激活函数；空间依赖通过 图卷积神经网络 进行提取。

• Temporal: 1D conv + gated mechanism(gated linear units (GLU) )
• Spatial: It uses 1st Chebnet
• Training model: MSE
  

下图STGCN 架构（更清晰版）引用知乎解析文章：

1.1 ST-conv Block

作者用了【三明治】结构，原因有两点，一是通过TCN，可以从GCN中获取更快的节点空间传播；二是帮助网络充分运用瓶颈策略，通过图卷积层对通道C进行降尺度和升级，实现尺度压缩和特征压缩。

GCL = GCN + 残差连接
TCL = Casual CNN + GLU

在时间模块，1-D conv将输入看作长度为M的序列进行一维卷积，有2C个卷积核，大小是$K_t$，结果大小是$（M?Kt+1）?2C$，表示PQ的拼接，然后输入GLU中进行门控激活，$P?sigmoid(Q)$。

与典型的 GLU 不同的是，其中的 1D Convolution 被 Casual Convolution 所取代，最后的 convolution 被 Hadamard Product 所取代。原论文中提到的 Residual Connection ，并不接在 Hadamard Product 之后，而是与 Casual Convolution 之后产生 P 的那一段相连，使得原始输入与 P 融合。

GLU：从下图可以看出，就是将本身进行两次卷积，其中一次的信息经过sigmoid，作为门限来控制卷积结果。

数据及实验

BJER4: (2014.7.1~2014.8.31); 5min; only weekday
PeMSD7:(2012.5~2012.6); 5min; only weekend; 228/1026 sensors
模型的输入：
模型的输出：
评价指标：MSE

参考

• Spatio-Temporal Graph Convolutional Networks 详解
• Language Modeling with Gated Convolutional Networks：本文首次提出带门限机制的卷积，作用是取代了同期常用的RNNs，速度更快。门控机制很好理解，就是一部分信息经过sigmoid操作作为门限，来控制另一部分信息对应位置的重要程度。下面不太明白的地方在于，虚线框对于数据的划分，似乎是将单词的向量表示从中间截开了，这有什么意思呢？