神经网络力量背后的证据
从字面上看,通用近似定理是神经网络起作用的理论基础。 简而言之,它声明了一个神经网络,其中具有一个包含足够但有限数量的神经元的隐藏层,可以在激活函数的某些条件下(即,它们必须像S型一样)以合理的精度近似任何连续函数。
由George Cybenko于1989年制定,仅适用于S型曲线激活,并于1991年由Kurt Hornik证明适用于所有激活函数(神经网络的体系结构而不是功能的选择是性能背后的驱动力),它的发现是一个重要的驱动力 促使神经网络的激动人心的发展成为当今使用它们的众多应用程序。
然而,最重要的是,该定理令人惊讶地解释了为什么神经网络似乎表现得如此聪明。 理解它是发展对神经网络的深刻理解的关键一步。
更深入的探索
紧凑(有界,封闭)集合上的任何连续函数都可以通过分段函数来近似。 以-3和3之间的正弦波为例,可以很令人信服地用三个函数(两个二次函数和一个线性函数)近似。
> Graphed in Desmos.
Cybenko对于此分段函数更为具体,因为它可以是恒定的,基本上由适合该函数的几个步骤组成。 有了足够的恒定区域("步长"),就可以在给定的范围内合理估计函数。
> Graphed in Desmos.
基于这种近似,可以通过将每个神经元委托给一个"步骤"来构建网络。 使用权重和偏差作为"门"来确定哪个输入下降,从而确定哪个神经元应该被激活,具有足够数量神经元的神经网络可以简单地将一个函数分为几个恒定区域来估计一个函数。
对于落入神经元委托区域的输入,通过将权重分配到巨大的值,最终值将接近1(使用S型函数进行评估时)。 如果未落入该部分,则将权重移向负无穷大将产生接近0的最终结果。使用S形函数作为各种"处理器"来确定神经元的存在程度,几乎可以近似任何函数 完美地给出了丰富的神经元。 在多维空间中,Cybenko推广了这种想法,每个神经元"控制"多维函数中的空间超立方体。
通用逼近定理的关键在于,与其在输入和输出之间创建复杂的数学关系,不如使用简单的线性操作将复杂的功能划分为许多小的,较不复杂的部分,每个部分都由一个神经元获取。
自Cybenko的初步证明以来,已经做出了许多其他改进,例如针对不同的激活函数(例如ReLU)(无边(在一侧)或具有各种体系结构(递归,卷积等)测试通用逼近定理)。
无论如何,所有这些探索都围绕着一个想法-神经网络在数字上找到了优势。 每个神经元监视特征空间的一个模式或区域,其大小取决于网络中神经元的数量。 神经元越少,每个人需要监视的空间就越大,因此逼近能力会下降。 但是,有了更多的神经元,无论激活功能如何,任何功能都可以与许多小片段结合在一起。
泛化与外推
有人可能会指出,尽管如此简单,但通用近似定理有点太简单了(至少是概念)。 强大的神经网络实际上可以是一个复杂的近似器,它可以分离数字,产生音乐,并且通常表现得很聪明。
神经网络的目的是在给定数据点采样的情况下概括或建模复杂的数学函数。 它们是很好的近似值,但是一旦您请求输入的值超出训练有素的直接范围,它就会惨遭失败。 这类似于有限的泰勒级数逼近法,该方法令人信服地对一定范围内的正弦波进行建模,但在其外部产生了混乱。
> Graphed in Desmos.
外推或在给定训练范围之外做出合理预测的能力并不是神经网络的设计目标。 从通用逼近定理中,我们了解到神经网络根本不是真正的智能,而只是隐藏在多维伪装下的良好估计量,这使其功能(在两三个维度上看起来很普通)似乎令人印象深刻。
神经网络是否在受过训练的范围之外发生故障并不重要,因为那不是其目标。
定理的实际含义
由机器学习工程师的直觉和经验来构造适合给定问题的神经网络体系结构,以便在知道存在这样的网络的情况下,可以很好地近似多维空间,还可以平衡计算账单的真实性。 是。 该定理让机器学习工程师知道总会有一个解决方案。
1.也许,在某一天,我们会让生活折磨的麻木不仁,但当我们走过了欢笑,泪水,孤...
原 则#1:存在的原因 软件系统存在的原因: 为用户提供价值。所有的决定都应该考...
2019 年11月26日,所有IPv4地址已经分配完毕,这意味着没有更多的IPv4地址可以分...
1. 介绍 本文为以前做的项目总结,由于相关支付 SDK 迭代,原文已经不满足需求,...
你在我的地盘上摆摊,我向你收租。App Store 的佣金抽成策略对于苹果来说早已不...
自从5G飞入寻常百姓家,时不时掏出手机测测速成为一种新的常态看着飞快拉升的数...
2020年改变了IT专业人员管理和调配基础设施的方式。2021年,企业必须找到方法来...
刷机对于广大数码爱好者来说也许并不陌生,那既是一种对数码的探索,更是无数安...
因不同意进动物园要刷脸,浙江理工大学特聘副教授、浙大法学博士郭兵,将杭州野...
2020年里纷乱与颠覆共存,但尘埃已然落定,各零售商们在新的一年里重振旗鼓向着...