Day032 Training Neural Networks（1）
Training Neural Networks - Part 1
关于训练神经网络需要设置的参数和动态调节的地方
Activation Functions
它的梯度总是全正或全负，因此我们需要0均值的输入，这样梯度有正有负，不会全都向一个方向移动。
tanh稍微比sigmoid好一点，但还是有问题
有人觉得这样设置bias有用，有人觉得没用，但是实际中人们还是通常将bias初始化为0.
我们不定义α，把它当做一个参数，可以通过反向传播学习得到。这样更灵活。
总结：
Data Preprocessing
在处理图片数据时，会进行0中心化，但是不会进行normalization，因为每个位置已经有相对的可比较的scale和distribution。我们不希望将图片的像素降维到一个低维度空间，用新的feature表示。而是直接使用CNN在原图上处理，保留空间信息。
Q1: 我们在training的时候使用这些预处理，在testing的时候也需要吗？A1: 需要。
Q2: what is the mean taken over？A2: the mean is taking over all of your training images. And compute the mean of all of those.
- 发表于:
- 原文链接：http://kuaibao.qq.com/s/20180305G19SDZ00?refer=cp_1026
- 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号（企鹅号）传播渠道之一，根据《腾讯内容开放平台服务协议》转载发布内容。
- 如有侵权，请联系 cloudcommunity@tencent.com 删除。
相关快讯
扫码
添加站长 进交流群
领取专属 10元无门槛券
私享最新 技术干货
腾讯云开发者
