retinaface 人脸检测算法
甜点
最近一直了解人脸检测的算法,所以也尝试学多人脸检测框架。所以这里将拿出来和大家分享一下
Retinaface 与普通的目标检测算法类似,在图片上预先设定好一些先验框,这些先验框会分布在整个图片上,网络内部结构会对这些先验框进行判断看是否包含人脸,同时也会调整位置进行调整并且给每一个先验框的一个置信度。
在 Retinaface 的先验框不但要获得人脸位置,还需要获得每一个人脸的五个关键点位置
接下来我们对 Retinaface 执行过程其实就是在图片上预先设定好先验框,网络的预测结果会判断先验框内部是否包含人脸并且对先验框进行调整获得预测框和五个人脸关键点。
主干特征提取网络
mobileNet
MobileNet 网络是由 google 团队在 2017 年提出的,专注移动端和嵌入式设备中轻量级 CNN 网络,在大大减少模型参数与运算量下,对于精度只是小幅度下降而已。
加强特征提取网络 FPN 和 SHH
FPN 构建就是生成特征图进行融合,通过上采样然后和上一层的有效特征层进行
SSH 的思想非常简单,使用了 3 个并行结构,利用 3 x 3 卷积的堆叠代替 5 x 5 与 7 x 7 卷积的效果,
retina head
在主干网络输出的相当输出了不同大小网格,用于检测不同大小目标,先验框默认数量为 2,这些先验框用于检测目标,然后通过调整得到目标边界框。
FPN
- class FPN(nn.Module):
- def __init__(self,in_channels_list,out_channels):
- super(FPN,self).__init__()
- leaky = 0
- if (out_channels <= 64):
- leaky = 0.1
- # 利用 1x1 卷积对获得的3有效特征层进行通道数的调整,输出通道数都为 64
- self.output1 = conv_bn1X1(in_channels_list[0], out_channels, stride = 1, leaky = leaky)
- self.output2 = conv_bn1X1(in_channels_list[1], out_channels, stride = 1, leaky = leaky)
- self.output3 = conv_bn1X1(in_channels_list[2], out_channels, stride = 1, leaky = leaky)
- self.merge1 = conv_bn(out_channels, out_channels, leaky = leaky)
- self.merge2 = conv_bn(out_channels, out_channels, leaky = leaky)
- def forward(self, input):
- # names = list(input.keys())
- input = list(input.values())
- #
- output1 = self.output1(input[0])
- output2 = self.output2(input[1])
- output3 = self.output3(input[2])
- # 对于最小特征层进行上采样来获得 up3
- up3 = F.interpolate(output3, size=[output2.size(2), output2.size(3)], mode="nearest")
- # 然后将最小特征层经过上采用获得结果和中间有效特征层进行相加
- output2 = output2 + up3
- # 进行 64 通道卷积进行特征整合
- output2 = self.merge2(output2)
- # 这个步骤和上面类似
- up2 = F.interpolate(output2, size=[output1.size(2), output1.size(3)], mode="nearest")
- output1 = output1 + up2
- output1 = self.merge1(output1)
- out = [output1, output2, output3]
- return out
SSH
- class SSH(nn.Module):
- def __init__(self, in_channel, out_channel):
- super(SSH, self).__init__()
- assert out_channel % 4 == 0
- leaky = 0
- if (out_channel <= 64):
- leaky = 0.1
- self.conv3X3 = conv_bn_no_relu(in_channel, out_channel//2, stride=1)
- # 用 2 个 3 x 3 的卷积来代替 5 x 5 的卷积
- self.conv5X5_1 = conv_bn(in_channel, out_channel//4, stride=1, leaky = leaky)
- self.conv5X5_2 = conv_bn_no_relu(out_channel//4, out_channel//4, stride=1)
- # 使用 3 个 3 x 3 的卷积来代替 7 x 7 的卷积
- self.conv7X7_2 = conv_bn(out_channel//4, out_channel//4, stride=1, leaky = leaky)
- self.conv7x7_3 = conv_bn_no_relu(out_channel//4, out_channel//4, stride=1)
- def forward(self, input):
- conv3X3 = self.conv3X3(input)
- conv5X5_1 = self.conv5X5_1(input)
- conv5X5 = self.conv5X5_2(conv5X5_1)
- conv7X7_2 = self.conv7X7_2(conv5X5_1)
- conv7X7 = self.conv7x7_3(conv7X7_2)
- # 堆叠
- out = torch.cat([conv3X3, conv5X5, conv7X7], dim=1)
- out = F.relu(out)
- return out
先验框调整
深度可分离卷积(Depthwise separable convolution)
深度可分离卷积好处就是可以减少参数数量,从而降低运算的成本。经常出现在一些轻量级的网络结构(这些网络结构适合于移动设备或者嵌入式设备),深度可分离卷积是由DW(depthwise)和PW(pointwise)组成
这里我们通过对比普通卷积神经网络来解释,深度可分离卷积是如何减少参数
DW(Depthwise Conv)
我们先看图中 DW 部分,在这一个部分每一个卷积核通道数 1 ,每一个卷积核对应一个输入通道进行计算,那么可想而知输出通道数就与卷积核个数以及输入通道数量保持一致。
简单总结一下有以下两点
PW(Pointwise Conv)
PW 卷积核核之前普通卷积核类似,只不过 PW 卷积核大小为 1 ,卷积核深度与输入通道数相同,而卷积核个数核输出通道数相同
昨天手机QQ升级到了8.5.5版,在线状态新增我的心情,用户可以向好友传递心情信号...
今天苹果发布了iOS 14.2的公测版,而在这之前他们刚刚推送iOS 14的正式版。 从新...
机器人,工业之魂。 然而很少有人知道,日本,这个与我们一衣带水的国家,竟把持...
手机在我们的生活中,几乎人手一部,在你的手机里有哪些堪称神器的APP? 今天我就...
机器人已经进入零售业,从六英尺高的自由移动机器发现巨人食品商店中的溢出物,...
他是谷歌自动驾驶部门的开创元老,曾经为AI封神,他就是谷歌前工程师莱万多夫斯...
前几代 iPad Pro 在推出时,不少用户表示陆续发现机身出现轻微弯曲的现象,苹果...
毫不夸张地说,如今微信已俨然成为我们生活中的一部分,微信,是一个生活方式。 ...
IT之家2月9日消息日前《老年人数字适应力调研报告》显示,越来越多的老年人使用...
据中国旅游研究院发布的调查数据显示:2020年一季度及全年,国内旅游人次分别负...