轻量级网络的学习(仅供自己学习观看)（Backbone系列）

每周学习4.1-4.7

阅读backbone相关网络模型(轻量级网络MobileNetv1,v2,v3和ShufflieNet系列、ResNext)
(轻量级网络框架中没有,看的网上找的源码)(源码链接B站搜MobileNet就好)
（仅是粗略介绍分析，详细可搜知乎相关介绍和看论文）

MobileNet系列和ShuffleNet系列是专注于在移动设备上的轻量级神经网络，

MobileNetv1亮点是将普通卷积替换为深度可分离卷积和提出两个超参数a和β，
深度可分离卷积大大地减少了计算量，从而达到提升网络运算速度的目的。
超参数控制卷积核个数和输入图片分辨率大小，可以根据实际项目需求进行调整。

MobileNetv2的亮点是提出Inverted Residuals和Linear Bottlenecks，
在实际使用过程中，深度卷积核在训练时候有不少空的，作者做实验分析是RELU导致低维信息缺失，所以将最后的那个ReLU6换成Linear，
由于DW只能在低维工作，效果不好，所以作者提出了一个倒残差结构(与ResNet中block相反)，先升维，DW提取高维特征信息，然后再降维。

MobileNetv3的架构是基于NAS实现的，NAS了解的不是很多，只了解到是在搜索空间中，用某种策略去寻找网络的最优结构。
其他亮点为引入了SE注意力机制，使用了一种新的激活函数h-swish(x)，h-swish相比与swish，便于部署在移动设备上，减少成本。
作者认为h-swish主要在层次较深的层使用会有比较好的效果，所以只在模型后半部分用，在最后部分还精简了网络结构，减少延时。
我认为MobileNet系列效果好，轻量化的原因主要还是深度可分离卷积和倒残差结构。一个是大大地减少了计算量，一个是便于提取高维特征信息。

ShuffleNetv1的核心主要是用了pointwise group convolution和channel shuffle.
亮点是通过channel shuffle 解决了组卷积带来的一个弊端。
MobileNet,Xception网络中采用密集的1x1卷积来保证group convolution不同特征的信息交流，
作者和他们不同，他提出用channel shuffle,对组卷积之后的特征图进行重组，保证信息在不同组之间传递。代码中实现起来仅需要简单的维度操作和转置操作。

v2的核心主要是作者提出了设计高性能网络的设计准则，并且根据该原则去重新设计网络结构，在设计高性能网络的同时提出了通道分割，
，在通道分割后左侧分支直接映射，作者将上一层特征图直接传递下面模块，得到了非常高的精度。

ResNeXt:
提出了分组卷积，可以看成是ResNet[2]和Inception[3]的结合体，每个分支的拓扑结构是相同的。最后再结合残差网络，得到的便是最终的ResNeXt。
ResNeXt和Inception v4是非常像的,但是ResNeXt分支的拓扑结构都是相同，不需要人工设计，
而且ResNeXt是先进行 1x1 卷积然后执行单位加，Inception V4是先拼接再执行 1x1 卷积。
我认为ResNeXt的分组卷积用相同结构减少了超参数，减少每个子网络的复杂程度，减少了过拟合的风险。而且不同组学到的特征更多样。
看了mmdetection2中backbone中相关源码。

RetinaNet
提出了FocalLoss 解决了样本类别不平衡这一大难点,比较了one-stage和two-stage检测器速度、精度不同，分析出原因是
background的数量大导致与前景数量不平衡导致的。
在RetinaNet之前大部分的目标检测模型在FCN上每个位置密集抽样，Focal Loss从另外的视角来解决样本不平衡问题，那就是根据置信度动态调整交叉熵loss，当预测正确的置信度增加时，
loss的权重系数会逐渐衰减至0，这样模型训练的loss更关注难例，而大量容易的例子其loss贡献很低。看问题的视角很关键。
看了mmdetection2中RetinaNet的各组成部分源码，再次熟悉了框架的使用。