开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

社区首页 >专栏 >机器学习--多标签softmax + cross-entropy交叉熵损失函数详解及反向传播中的梯度求导

机器学习--多标签softmax + cross-entropy交叉熵损失函数详解及反向传播中的梯度求导

用户1148525

发布于 2019-07-01 19:01:06

3.1K0

发布于 2019-07-01 19:01:06

举报

文章被收录于专栏：机器学习、深度学习机器学习、深度学习

/developer/article/1446395

正文

在大多数教程中, softmax 和 cross-entropy 总是一起出现, 求梯度的时候也是一起考虑.

softmax 和 cross-entropy 的梯度, 已经在上面的两篇文章中分别给出.

1 题目

考虑一个输入向量 x, 经 softmax 函数归一化处理后得到向量 s 作为预测的概率分布, 已知向量 y 为真实的概率分布, 由 cross-entropy 函数计算得出误差值 error (标量 e ), 求 e 关于 x 的梯度.

11

本文参与?腾讯云自媒体分享计划，分享自作者个人站点/博客。

原始发表：2019年06月03日，如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自作者个人站点/博客?前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与?腾讯云自媒体分享计划? ，欢迎热爱写作的你一起参与！

评论

登录后参与评论

0 条评论

热度

最新

LV.