在突触学习和计算目标之间建立精确关系的框架
在突触学习和计算目标之间建立精确关系的框架
paper：A normative framework for deriving neural networks with multi-compartmental neurons and non-Hebbian plasticity
framework establishes a precise relationship between synaptic learning rules and computational objectives.
一个统一的框架, 它包含并概括了这些将计算目 标与具有多隔室神经元和非赫布可塑性的神经网络联系起来的工作。我们首先提出了解决一大类广义特征值问题的统一目 标, 包括 CCA、 SFA、 ICA 和 cPCA*
摘要：
一种用于理解神经计算算法基础的既定规范方法是从原则计算目 标中导出在线算法, 并评估它们与解剖学和生理学观察的兼容性。
相似性匹配目标已成为成功导出在线算法的起点, 这些算法映射到具有点神经元和 Hebbian/anti‐Hebbian 可塑性的神经网络 (NN)。这些神经网络模型解释了许多解剖学和生理学观察; 然而, 这些目 标的计算能力有限, 并且派生的 NN 无法解释在整个大脑中普遍存在的多隔室神经元结构和非赫布形式的可塑性。在本文中, 我们回顾并统一了相似性匹配方法的最新扩展, 以解决更复杂的目 标, 包括范围广泛的无监督和自 监督学习任务, 这些任务可以表述为广义特征值问题或非负矩阵分解问题。有趣的是, 源自这些目 标的在线算法自 然地映射到具有多隔室神经元和局部非赫布学习规则的神经网络。
因此, 这种相似性匹配方法的统一扩展提供了一个规范框架, 有助于理解整个大脑中发现的多区室神经元结构和非赫布可塑性。
1 简介
基于 Oja 的开创性工作, Pehlevan、 Chklovskii 等人。开发了一个基于相似性匹配目 标[10‐14] 的规范框架, 它最小化了 NN 输入的相似性和 NN 输出的相似性之间的差异。从这些目 标出发, 他们导出了在线算法, 这些算法映射到具有点神经元(即仅代表其标量输出的神经元) 和赫布/反赫布可塑性(即突触更新与突触前和突触后神经输出)。这个规范框架被证明对于理解赫布可塑性和一些解剖学和生理学观察是有用的[15‐20]; 然而, 相似性匹配目 标的计算能力有限, 派生的 NN 无法解释多室神经元结构和整个大脑中普遍存在的其他形式的突触可塑性[21]。
2个大脑中的大多数神经元都具有多隔室结构, 并采用复杂的非赫布可塑性形式。特别是, 这些神经元代表超出其输出的生物物理量, 例如局部树突电流, 并且这些量构成神经元突触学习规则中的关键变量。例如, 锥体神经元，大脑皮层的主要兴奋性神经元, 能够执行复杂的计算[22] ，从不同的神经群接收输入到它们的顶端和基底树突, 并将这些输入整合到不同的隔室中[23]。整合的顶端输入然后产生钙平台, 驱动基底树突中的非赫布可塑性[24]。
理论神经科学的进步通常是由连接生理观察和计算原理的规范框架的发展推动的[1‐10]。理解神经计算和学习的算法基础的规范框架包括从原则性计算目 标开始, 推导可在神经网络 (NN) 中实施的在线算法, 并将结果与生理和解剖学观察结果进行比较。在这种方法的开创性示例中, Oja [4]提出了一种在线算法来求解主成分分析 (PCA) 目 标, 该算法可以在具有 Hebb 可塑性的单个神经元中实现。
在最近的一系列工作中[25‐29], 我们扩展了相似性匹配框架工作以包括更复杂的学习任务的目 标。示例包括典型相关分析 (CCA)、 慢特征分析 (SFA)、 独立成分分析 (ICA) 和对比 PCA* (cPCA*) 的计算目 标, 它们可以分别解释为以下计算原理的线性实例: 多模态输入的联想学习、 学习时间不变的特征、 减少冗余和对比学习。有趣的是, 源自 这些目 标的算法自 然地映射到具有多隔室神经元和局部、 非赫布形式的可塑性的神经网络。因此, 这些作品为这些解剖学和生理学观察提供了潜在的规范说明。
在这篇文章中, 我们提供了一个统一的框架, 它包含并概括了这些将计算目 标与具有多隔室神经元和非赫布可塑性的神经网络联系起来的工作。我们首先提出了解决一大类广义特征值问题的统一目 标, 包括 CCA、 SFA、 ICA 和 cPCA*(第2 节)
完整论文请阅读原文