谈Softmax激活函数以及Softmax回归和Logistic回归关系
一、神经网络中的Softmax函数
1、Softmax函数定义
Softmax函数常在神经网络输出层充当激活函数，将输出层的值通过激活函数映射到0-1区间，将神经元输出构造成概率分布，用于多分类问题中，Softmax激活函数映射值越大，则真实类别可能性越大，下面先给出Softmax函数计算公式：
下图给出了Softmax作激活函数对输出值映射处理过程，形象理解Softmax函数
2、Softmax回归反向传播梯度推导
在神经网络算法中，在输出层通常将Softmax函数作为激活函数，并定义log似然代价函数，通过求解似然函数梯度，结合反向传播算法来更新网络参数以此训练神经网络，先看下图有一个形象的理解：
再介绍梯度推导之前，我们先介绍一下Softmax函数求导，Softmax十分特殊，求导过程如下：
我们利用激活函数预测输出值建立log似然代价函数公式，其中yk是真实标签，ak是预测标签：
正如上图所示，其中有：
其中yk表示的是第k个神经元对应的真实值，也是和aj一样是经过归一化处理的，因此有(下面推导将用到)：
下面我们便让log似然代价函数对参数w、b求导得出梯度，梯度回带利用反向传播算法更新参数w、b，对参数w、b求导过程如下：
其中有：
因此我们当前的目标便是求解：
其求解过程如下所示：
这样经过上述推导我们便得到了参数w、b梯度：
上面是对单一变量进行求导，对全部参数求导写成向量表示为，其中a是预测输出向量形式，y为真是标签向量形式：
得到上述梯度后便可利用反向传播算法更新更新神经网络参数，当然如果我们使用不同的形式定义损失函数C则得到的结果也会有差别，例如我们也可以使用交叉熵函数定义C:
二、Softmax回归与Logistic回归关系
1、由广义线性模型再推Logistic回归损失函数
由线性回归的广义线性模型和Sigmoid函数便可得到二分类模型Logistic回归预测函数
由上面两个式子可以得到Logistic预测函数
现在我们通过上式一步一步推导得到Logistic回归的损失函数，首先上面变化可得：
因为Logistic是二分类模型，所以我们可以将y看成正例可能性的概率，则1-y便是反例可能性的概率，把正例看成类1，反例看成类0，即可做出下面等价：
因此可得出：
再由上式经过变换分别求出p(y=1|x)和p(y=0|x)：
上述式子便是通过概率的思想来看分类问题，即样本属于类别1和类别0的概率，哪个概率大则样本便属于哪一类，于是我们根据最大似然法的思想通过整合上面两个式子得到类条件概率为：
这样由最大似然法再取负对数便可得到Logistic回归的损失函数：
因为y=两类，所以将上式损失函数写开为：
2、Logistic回归和Softmax回归关系
简述Softmax和Logistic关系
Softmax回归是用来处理多分类问题，Softmax回归在处理二分类问题时既是Logistic回归，可以把Softmax回归看成是Logistic回归更一般的形式。下面我们一起推导Softmax回归模型的损失函数，并看当k=2时，Softmax回归损失函数和Logistic回归损失函数是等价的
Softmax回归和Logistic回归损失函数关系
Softmax回归假设函数是针对于每一个类别估算出相应的概率值p(y=j\|x)，估计x每一个分类结果出现的概率，因此假设函数便是输出一个k维的向量表示k个类别的概率估计值，因此假设函数定义如下：
上式分母的目的是对概率分布进行归一化处理，使得最终的概率之和为1，因此Softmax回归中将x分类为类别j的概率为：
根据概率分布使用最大似然法可得Softmax回归损失函数为：
对于上诉公式当类别j取值范围为时便是Logistic回归的损失函数，注意下面：
下面我们将通过另一个角度再深入了解Logistic回归和Softmax回归之间关系，首先我们了解一下Softmax回归模型参数的冗余性
从Softmax回归参数冗余性看Softmax和Logistic回归预测函数关系
Softmax回归参数冗余性是指最优解不止一个，有多个。假设我们从参数向量w中减去一个向量θ，则并不会改变x属于每个类的概率值，证明如下：
从上式可以看出，从参数w中减去向量θ完全不会影响假设函数的预测结果！
接下来我们通过预测函数h(w)说明Softmax回归是Logistic回归的一般形式，当k=2时二者的预测函数相同。当k=2时，Softmax回归的假设函数为：
根据Softmax回归参数冗余特点，令减去的向量θ= w1，可得：
我们令w=w2-w1，则softmax得到的两个的概率分别是：
上面两个概率等式正是Logistic回归模型的概率值，因此Logistic回归模型正是Softmax回归的二分类时的模型。
3、Softmax损失函数优化-权重衰减
对损失函数J(w) 添加一个权重衰减项来修改损失函数，这个衰减项会惩罚过大的参数：
其中λ>0，有了权重衰减项后，损失函数就变成了严格的凸函数，保证了解的唯一性，此时的Hessian矩阵便是可逆矩阵，得到的解也一定是全局最优解，求J(w)求导有：
4、Logistic、Softmax回归与神经网络
欢迎转载，转载请注明出处【机器学习与TensorFlow实战】 作者【CHEONG】，谢谢！博文每周一更新，欢迎大家交流！
- 发表于:
- 原文链接：https://kuaibao.qq.com/s/20181105G2000D00?refer=cp_1026
- 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号（企鹅号）传播渠道之一，根据《腾讯内容开放平台服务协议》转载发布内容。
- 如有侵权，请联系 cloudcommunity@tencent.com 删除。
相关快讯
扫码
添加站长 进交流群
领取专属 10元无门槛券
私享最新 技术干货
腾讯云开发者
