开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

社区首页 >专栏 >深度学习NLP - 激活函数

深度学习NLP - 激活函数

作者头像

孟船长

发布于 2024-04-24 09:49:17

1080

发布于 2024-04-24 09:49:17

举报

文章被收录于专栏：自动化测试实战自动化测试实战

激活函数

作用：为模型添加非线性因素，使模型具有拟合非线性函数的能力。

什么是线性函数：导函数为常数，那么这个函数是线性函数

Sigmoid

公式：

f(x) = \frac{1}{1 + e^{-x}}

图形：

作用：将实数域（向量）映射到(0,1)区间；避免梯度爆炸

tanh

公式：

图形：

Relu

公式： Relu = max(0, x)

图形：

Softmax

公式：

y_k = \frac{e^{a_k}}{\sum_{i=1}^{n} e^{a_i}}

作用：归一化，预测出的结果为概率分布，加和为1

本文参与?腾讯云自媒体分享计划，分享自微信公众号。

原始发表：2024-04-23，如有侵权请联系?cloudcommunity@tencent.com 删除

本文分享自自动化测试实战微信公众号，前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与?腾讯云自媒体分享计划? ，欢迎热爱写作的你一起参与！

评论

登录后参与评论

0 条评论

热度

最新

LV.

目录

激活函数
- Sigmoid
- tanh
- Relu
- Softmax