【星球知识卡片】残差网络家族10多个变种学习卡片，请收下！
【星球知识卡片】残差网络家族10多个变种学习卡片，请收下！
用户1508658
发布于 2020-04-26 22:23:29
发布于 2020-04-26 22:23:29
1 残差连接诞生
残差连接的思想起源于中心化，在神经网络系统中，对输入数据等进行中心化转换，即将数据减去均值，被广泛验证有利于加快系统的学习速度。
2 残差网络诞生
何凯明等人在2015年正式提出了ResNet，成为一个重要的基准模型结构。相比于之前的卷积，池化相互堆叠的网络，它简化了highway network中的形式。
3 预激活残差网络
当前卷积神经网络的基本模块通常为卷积+归一化+激活函数(conv+bn+relu)的顺序，对于普通的按照这些模块进行顺序堆叠的网络来说，各个模块的顺序没有什么影响，但是对于残差网络来说却不一样，且看“Identity Mappings in Deep Residual Networks”中对这个问题的研究。
4 更宽的残差网络
Wide ResNet，就是比普通的残差网络更宽（也就是通道数量更大）的结构，那么它与ResNet有什么不同呢。
5 分组并联的残差网络
ResNext是分组卷积和残差卷积的结合，取得了比ResNet更高效的结果，它有何妙处？
6 其他
除了以上基本的变种，残差网络还有非常多的新方向，包括：
(1) 通用泛化版本的残差模型。
(2) 密集连接的残差模型变种。
(3) 多分支合并与融合的残差变种。
(4) 与注意力机制的结合。
(5) 与动态网络的结合。
(6) 其他等等。
转载文章请后台联系
侵权必究
本文参与?腾讯云自媒体分享计划，分享自微信公众号。
原始发表：2020-04-24，如有侵权请联系?cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读