5分钟，不仅精通MobileNet系列网络，更能...
MobileNet系列盘点(科研灵感也可借鉴)
大家好，周末愉快！
今天是团队中的
给大家带来的，关于
系列文章的梳理。
本文主要是从直观感受上，了解下每一个网络有哪些新模块的设计，具体的原理与代码，可以扫码去相对应的
中看更详细的内容。
我们可以先看下其相对应的跨界应用，再来一步步看
系列的大作！：
相关运用
- 图像去噪
其中的Mobilnet提出的
与
在别的领域中也做出了相对应的贡献，如图像去雨滴，图像去雾，图像去雨线领域中的一篇
的主要创新点就是使用这俩轻量级的卷积操作，搭建了多维度的
操作，得到更好的效果。
- 生成对抗网络领域 使用了
来优化其生成图像的速度～
- 超分辨率领域 针对参数量的问题，引入
来优化参数量。同时增加多个模块，来增加模块间的信息流动。
- 图像分割领域 实时的分割网络，引入了
来搭建
。
- 其他领域 总体来说，
系列网络，对于实时、参数量这块的影响，还是蛮大的，催发了不少论文，各位可以一起先学习下整个Mobile Net系列网络哦～
老铁们！奥利给！看文章之前，先关注下咱哈！同时我们准备了《百面计算机视觉第三版》的Github地址，建议收藏！
技术汇总
点击文末阅读原文，跳转到《百面第三版》Github地址，欢迎STAR！
MobileNet系列算法之V1
更详细文章，可扫码观看：
-
网络是由
团队在
年提出的，专注于移动端或者嵌入式设备中的轻量级
网络。相比传统卷积神经网络，在准确率小幅降低的前提下大大减少模型参数与运算量。
其主要亮点有两个：
- 采用
大大降低了计量量。
- 增加超参数
和
来控制网络模型。
深度可分卷积是由
卷积和
卷积组合而来，一般来说
卷积用于提取特征，
用于降低或者升高
的维度。
如下图
中左上角所示为传统卷积方式，即卷积核的
是等于输入特征矩阵的
，而输出特征矩阵的
是等于卷积核的个数。
如下图
中右下角所示为
。
是将单个卷积核应用于每个输入通道，例如输入的特征为
三个通道，对应的
就有三个卷积核分别去和
、
、
通道做计算，得到三个输出特征，更进一步看，
的输出
和输入
是相等的。
图
和传统卷积计算过程
如下图
所示，其实
卷积就是普通的卷积而已，只不过卷积核大小为1。通常
卷积和
卷积是放在一起使用的，先使用
卷积提取特征，再使用
卷积做通道维度的变换，二者合起来叫做
（深度可分卷积）。
图
计算过程
超参数设计
在
原论文中，还提出了两个超参数，一个是
一个是
。
其中参数
，称为宽度因子。使用超参数
对
卷积核的个数以及
卷积核的个数进行等比例缩小。因此其计算量变为:
·
·
·
·
+
·
·
·
这里的
∈（
，
], 这里的
值分别取了
，
，
，
。当
=
时即为上面的
结构。
如下图
是分别采用不同的
值对应的精确度、计算量和参数量，
值越小，对应的精度越低，但其计算量和参数量也会越少。用户可以根据不同的场景来选择不同的
参数。
图
不同α值下的模型参数量、计算量以及精度
第二个参数
，称为分辨率因子。超参数
用来降低空间分辨率。用法和
一样。因此其计算量变为：
·
·
·
·
+
·
·
·
。这里
∈（
，
]。因此空间分辨率变为了
，
，
或
，能够降低计算量，但无法降低参数量。
如下图4所示为分别采用不同的
值对应的精确度、计算量和参数量。随着
值降低，模型精度和计算量都在减少，但参数量并没有减少。
图
不同ρ值下的模型参数量、计算量以及精度
MobileNet 系列算法之 V2
更详细文章，可扫码观看 ：
针对
-
中出现的
部分的卷积核容易废掉，即卷积核参数大部分为零的问题，
团队在
年提出
-
，相比于
-
网络，准确率更高，模型更小。
其主要亮点有两个：
- 使用了
(倒残差结构)
- 使用了
区别于传统卷积采用先降维再升维度，
-
中的
采用先升维再降维的方式，来保证
深度卷积能够在高纬度上进行计算。
图
和传统残差对比
作者提出
将会导致的信息损耗，因此将
替换成线性激活函数。当然了并不是将所有的
函数都替换为线性激活函数，而是将
(倒残差结构)中的最后一个
激活函数换成线性激活函数。并对于
=
并且输入和输入的
相同的
采用了
的思想使用
操作增加跳跃连接，减缓梯度传播时造成的梯度弥散。
图
系列算法之
更详细文章，可扫码观看：
同样是由谷歌于
年提出的。在
网络的基础上，
主要有以下四个亮点，其中第一点的
在本文不做讨论：
- 使用
神经架构搜索确定网络结构
- 在
的
基础上引入
结构
- 使用h-swish激活函数
- 重新设计耗时层结构
采用了通道注意力机制，简单来说就是在
-
的倒残差结构中加入
模块，对
×
卷积层后输出的特征矩阵采用两个全连接层来计算出特征矩阵每一个通道的“重要度”，然后给每个通道乘以相应的重要度得到一个全新的特征矩阵。如下如图
中红色框所示。
图
模块
-
激活函数
在
激活函数的基础上，作者对其进行了改进，提出了
-
激活函数。表达式如下：
重新设计耗时层结构
1、作者经过实验证明第一层的
使用
个卷积核和使用
个卷积核的精度是一样，而使用
个卷积核自然是可以提升推理速度。如下图
中所示，第一个
的采用
个卷积核。
图
2、精简
：如下图
中所示，上半图为原始
结构，经过作者实验后采用下图下半部分的网络结构来精简
可以保证精度几乎不变的情况下，将单图推理性能提升
（减少约
）。
图
精简
- END -