吴恩达对话Yoshua Bengio
昨天我们回顾了吴恩达与Geoffrey Hinton对话。今天我们就继续回顾一下吴恩达与Yoshua Bengio对话的精彩片段
往期回顾
吴恩达对话Yoshua Bengio
Yoshua Bengio是谁？
答：深度学习先驱，Full Professor ，Department of Computer Science and Operations Research，Canada Research Chair in Statistical Learning Algorithms
吴恩达：您是如何进入深度学习这个领域，并不谢探索的？
Bengio：和很多人一样，我小时候读了很科幻书。我 1985 年读博的时候读到神经网络的论文，了解到人类是如何学习的，这对于当时还在上经典人工智能，也就是专家系统课程的我来说非常激动。
吴恩达：您还记得当时读到哪些论文的情形吗？
Bengio：读到深度学习的论文，我很兴奋。我开始拜读 Hinton 的论文，了解到联结主义，我研究过 RNN、语音识别、HMM图模型，之后进入 AI&T贝尔实验室，在 MIT 攻读博士后，最后回到蒙特利尔大学任教。
吴恩达：过去几十年您一直投身于此，请谈谈您对深度学习的看法，以及神经网络这些年的发展历程吧？
Bengio：我开始在直觉上知道深度学习和神经网络会更加强大，但是却无法证明。现在，我们已经明白了为什么 BP 这么好用，深度为什么对网络重要。我以前认为，BP 要好好工作必须有平滑的非线性（smooth nonlinearites），但在 2010 年左右，我发现 ReLu 实际上比 Sigmod 训练起来更好。
吴恩达：过去20年，您的研究小组完成了多项研究，提出了很多想法，我好奇的是，小组中的哪项研究和想法最让你感觉到自豪？
Bengio：我觉得长期依赖（long-term dependency），然后就是维数灾难，还有近期应用于神经网络的联合分布。我们最被关注的是：深度学习在自动编码器和RBMs堆栈上的应用。还有就是如何更好的理解用初始化参数解决深度网络训练的难点，还有深度网络中的梯度消失。其它重要的研究，如GANs等。
其中，我们研究的神经机器翻译被用在了包括谷歌翻译在内的多个产业服务上。这项工作使用了注意力机制。注意力机制的提出十分重要，以前神经网络是向量到向量的映射，而注意力机制让神经网络可以处理任何类型的数据。
吴恩达：我知道您对神经网络与大脑之间的联系很感兴趣，可以谈谈这个吗？
Bengio：我一直以来都对深度学习和大脑的联系很感兴趣，在这方面也思考了很多。关于神经网络与大脑的联系，很多人做了尝试做了研究。这里不得不提Hinton。他在2007年的时候，做过一次演讲，他提到了大脑是如何工作的，如何利用时间编码做 BP，这对我十分有启发。我认为目前深度学习与大脑就像一个拼图（puzzle），一方面我们已经有了很多证据（pieces），比如 spike timing-dependent 可塑性，另一方面有很多机器学习的概念，比如使用目标函数对系统进行全局训练，credit assignment（信用分配）。但是，如何将两方面联系起来？Credit assignment 真正意味着什么？
BP 后面实际上还有更 general 的概念，这将是 credit assigment 有用的一个原因。这方面也是研究强化学习的人在讨论的。
吴恩达：您平时一直说到无监督学习，能够说说关于这方面的想法吗？
Bengio：无监督学习并不仅仅关系着有没有标签，而是在更加深层的意义上，如何让机器能够通过观察学习，如何让机器从人机交互中学习，就像人类学习一样。
无监督学习和强化学习的结合，或许会带来在底层上更多的共通点，接下来几年这方面或许会有大突破——那种在领域内掀起革新的突破。因为，目前有很多方法去实现无监督学习，换句话说，关于什么是无监督学习还没有定论。如何定义一个好的表征，什么是一个好的目标函数，现在都没有明确的标准。
吴恩达：关于深度学习，您最感兴趣的是什么？
Bengio：如何让电脑来观察世界，这是我研究深度学习的最本质的原理。深度学习和增强学习的融合有着非常作用的作用，我非常激动，这方面的探究在实际应用中有着明显的进步。目前的深度学习和所谓智能系统的表现，表明当前我们只做到了非常肤浅的部分，还远远没有触及智能的本源。我们必须去研究机器如何观察世界、理解世界，研究高层抽象，进行认知方面的探索。这个世界既包括真实世界，也可以是简单如视频游戏的虚拟环境。
吴恩达：您会给那些想进入AI和深度学习领域的人一些什么建议呢？
Bengio：无论什么情况，你都需要亲身实践。想要真正掌握一门学习，比如深度学习，需要大量阅读，你必须亲手编程。不要只停留在表面，一定要亲身实践。尽可能从基本原理入手，平时多阅读，多看别人代码，自己也要动手编程。多问问自己，别人为什么这样做？不懂的时候，可以请教，但尽量自己解决。可以常去阅读ICLR、NIPS、ICML等期刊/会议上的优秀论文。
这里附上两个资源链接：
【1】YoshuaBengio在著名社区Reddit的机器学习板块参加了“Ask Me AnyThing”活动，Bengio回答了机器学习爱好者许多问题，干货频频。
http://www.infoq.com/cn/articles/ask-yoshua-bengio/
http://www.infoq.com/cn/articles/ask-yoshua-bengio-2/
【2】Bilibili《吴恩达对话Yoshua Bengio ：神经网络巨头的学习之路》
https://www.bilibili.com/video/av14163007/
看完吴恩达和Yoshua Bengio的对话，是不是迫不急待地想继续学习深度学习来呢？
那就快快看视频、做项目吧！
- 发表于:
- 原文链接：http://kuaibao.qq.com/s/20180407B16NO900?refer=cp_1026
- 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号（企鹅号）传播渠道之一，根据《腾讯内容开放平台服务协议》转载发布内容。
- 如有侵权，请联系 cloudcommunity@tencent.com 删除。
相关快讯
扫码
添加站长 进交流群
领取专属 10元无门槛券
私享最新 技术干货
腾讯云开发者
