前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >【知识星球】超3万字的网络结构解读,学习必备

【知识星球】超3万字的网络结构解读,学习必备

作者头像
用户1508658
发布2019-07-26 22:37:42
4430
发布2019-07-26 22:37:42
举报
文章被收录于专栏:有三AI有三AI

不知不觉我们每日两更“网络结构1000变”板块已经有超过30000字的解读了,下面是该模块的汇总清单。

该模块的学习形式如下:

有三AI知识星球-网络结构1000变

CBAM

以前介绍过的Dynamic Capacity Network,Perforated CNNs是从空间维度进行Attention,SENet是从通道维度进行Attention,而CBAM(

Convolutional Block Attention Module)则是同时从空间维度和通道维度进行Attention。

作者/编辑 言有三

通道方向的Attention通过通道内的空间关系获取,原理如下:

同时使用最大pooling和均值pooling算法,然后经过几个MLP层获得变换结果,最后分别应用于两个通道,使用Sigmoid函数得到通道的Attention结果。

空间方向的Attention通过通道之间的空间关系获取,原理如下:

首先将通道本身进行降维,分别获取最大池化和均值池化结果,然后拼接,再使用一个卷积层进行学习。

这两种机制,分别学习了“怎么看”,“以及看什么”,这样的两个模块可以很容易地嵌入到任何已知的框架中。

上表展示了将这个方法用于不同模型后的结果,可知道该模型和SENet性能相当,都显著提升了baseline的性能,尤其是较深的ResNet50和ResNet101。

如果心动,就早日加入吧!学习债,越晚还的越多!

转载文章请后台联系

侵权必究

往期精选

本文参与?腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2019-07-13,如有侵权请联系?cloudcommunity@tencent.com 删除

本文分享自 有三AI 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与?腾讯云自媒体分享计划? ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
http://www.vxiaotou.com