网络优化方法--Dropout
网络优化方法--Dropout
1、Dropout介绍
??Dropout 也是一种用于抵抗过拟合的技术，它试图改变网络本身来对网络进行优化。我 们先来了解一下它的工作机制，当我们训练一个普通的神经网络时，网络的结构可能如图所示。
image-20220508224755075
??Dropout 通常是在神经网络隐藏层的部分使用，使用的时候会临时关闭掉一部分的神经 元，我们可以通过一个参数来控制神经元被关闭的概率，网络结构如图所示。
image-20220508224829730
更详细的流程如下：
- 在模型训练阶段我们可以先给 Dropout 参数设置一个值，例如 0.4。意思是 大约 60%的神经元是工作的，大约 40%神经元是不工作的
- 给需要进行Dropout的神经网络层的每一个神经元生成一个0-1 的随机数(一 般是对隐藏层进行 Dropout)。如果神经元的随机数小于 0.6，那么该神经元就设置为 工作状态的；如果神经元的随机数大于等于 0.6，那么该神经元就设置为不工作的，
本文参与?腾讯云自媒体分享计划，分享自作者个人站点/博客。
原始发表：2022-05-08，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
目录