树突脉冲神经元 开源模拟框架
树突脉冲神经元 开源模拟框架
介绍将树突合并到脉冲神经网络的树突框架
Introducing the Dendrify framework for incorporating dendrites to spiking neural networks
摘要：
计算建模对于理解亚细胞神经元特征如何影响电路处理是不可或缺的。然而，树状计算在网络级操作中的作用仍未被充分开发。这部分是因为现有的工具不允许开发现实和有效的网络模型来解释树突。当前的脉冲神经网络虽然有效，但通常非常简单，忽略了基本的树突特性。相反，具有形态上详细的神经元模型的电路模型在计算上是昂贵的，因此对于大网络仿真是不切实际的。为了弥合这两个极端之间的差距，并促进在脉冲神经网络中采用树突特性，我们引入了Dendrify，这是一个基于Brian 2的开源Python包。Dendrify通过简单的命令，自动生成具有简化但生物学相关的树突和突触整合特性的减少的隔室神经元模型。这种模型在灵活性、性能和生物准确性之间取得了良好的平衡，使我们能够探索树突对网络级功能的贡献，同时为开发更强大的神经形态系统铺平了道路。
介绍：
脉冲神经网络(SNNs)的模拟被广泛用于理解大脑功能是如何从特定区域的网络动态中产生的1–3。此外，snn最近因其在低功耗神经形态计算和实际机器学习应用中的价值而备受关注4，5。snn通常包含点、整合和发射(I&F)神经元，并复制基本的生物学特征，如特定的连接基序、兴奋-抑制动力学和通过突触可塑性规则学习6-9。然而，SNNs经常忽略树突，树突是神经元的薄膜状延伸，接收绝大多数的输入。大量研究表明，兴奋性和抑制性神经元的树突具有引人注目的计算能力10，11，可以显著影响神经元和电路功能12–15，并且不能被点神经元snn捕获(关于最近的综述，请参见参考文献1)。16).
首先，树突可以作为半独立的阈值单元，产生称为树突棘(dSpikes)的局部再生事件。
这些尖峰由局部电压门控机制(如Na+/Ca2+通道和NMDA受体)产生，并影响突触输入整合和可塑性10，11。此外，树枝状机制在多个时间尺度上运行，范围从几毫秒到数百毫秒，允许复杂的计算，包括符合检测、低通滤波、输入分离/放大、并行非线性处理和逻辑运算17–22。
由于这些非线性现象，突触沿树突的排列成为局部和躯体反应的关键决定因素。例如，抑制性通路的影响取决于它们相对于兴奋性输入的确切位置23，24。此外，功能相关的突触可以形成解剖簇，这有利于dSpikes的诱导，从而提高计算效率和存储容量25–27。最后，树突形态和被动特性决定了神经元的一般电紧张特性10。例如，树枝状过滤影响突触电流振幅和动力学以位置依赖的方式向胞体移动。鉴于树突处理的复杂性，缺乏树突的snn可能无法解释树突对神经元整合和输出的重要贡献，从而限制了它们的真正计算能力。
相反，具有详细形态学的神经元生物物理模型对于研究树突加工如何在单细胞水平上影响神经元计算是理想的16。这种模型包括数百个隔室，每个隔室都配备有许多离子机制，以忠实地复制模拟神经元的电生理轮廓。然而，实现高模型精度通常伴随着复杂性的增加(例如，更高的CPU/GPU需求和更长的运行时间)，因为在每个模拟时间步骤16必须求解大量的微分方程。因此，这类模型不适合大型网络模拟，因为在大型网络模拟中，计算效率是一个关键的优先事项。
一个折中的解决方案是利用简化的模型，只捕捉真实神经元的基本电生理特征28–33。在最近的理论研究中发现了这种方法的值得注意的例子，表明树枝状机制向不同抽象级别的简化网络模型传达了显著的优势。其中包括改进的联想学习12，27，更好
输入辨别(模式分离34)，信息的有效绑定/链接12，35，以及增加的记忆存储和回忆能力14，36。最近在机器学习领域也看到了类似的优势:在人工神经网络(ann)中添加树突节点减少了实现高性能精度所需的可训练参数的数量37(另见38，39)。此外，在自组织地图分类器40和其他受神经启发的网络41中加入动态节点提高了它们的持续学习能力。
总的来说，虽然树突赋予模拟生物网络先进的计算能力，并且这些好处可能会扩展到机器学习系统，但snn在很大程度上仍然不了解树突。一个可能的原因是，目前用于模拟树枝状晶体特性的理论框架由具有大量自由参数的过于复杂的方程组成，这使得它在数学上难以处理，并且不适合用于SNNs。
为了解决上述复杂性问题，并提供一个允许在SNN模型中无缝整合dendrites的框架，我们开发了Dendrify(图1)。Dendrify是一个免费的开源Python包，方便在SNNs中添加树突和各种树突机制。重要的是，Dendrify使用Brian 2模拟器42；它建立在后者强大而灵活的特性之上，同时自动化了一些潜在的复杂且容易出错的步骤。
具体来说，通过简单直观的命令，Dendrify自动生成并处理Brian 2构建简化的房室神经元所需的所有方程(和大多数参数)。其内部预制模型库支持广泛的神经元机制，但允许用户提供自己的模型方程。在其他优化中，我们还引入了一种新的现象学方法来模拟dSpikes，这种方法比hod gkin–Huxley形式主义更有效，在数学上也更容易处理。此外，我们提供了一步一步的指南，设计减少房室模型，捕捉其生物学对应物的关键电生理和解剖特性。值得注意的是，建议的指南建立在既定的理论工作28，29，31的基础上，其实施并不排斥任何模拟软件。据我们所知，这是第一个将理论框架与工具相结合的系统方法，用于以标准化和数学简洁的方式将树突添加到简单的现象学神经元模型中。
结果 例子1234
为了展示Dendrify的强大功能，我们通过四个日益复杂的建模范例展示了它的主要特性。(A)具有被动树突的基本房室模型，(b)具有主动树突的简化房室模型，(c)再现大量实验观察的CA1锥体神经元的简化模型，和d)用于评估树突Na+尖峰在符合输入检测中的贡献的CA1神经元池。此外，为了证明Dendrify的可扩展性和低计算成本，我们比较了复杂度和规模不断增加的单个单元和网络模型的执行时间。
Example 1: A basic compartmental model with passive dendrites
例子1 表明, 即使是最基本的区室模型也可以模拟基本的树突功能, 例如点神经元模型无法捕获的信号衰减和分离。重要的是, 它们允许存在多个输入分离位点, 理论上增强了单个神经元的计算能力 45。此外, 我们还提供了一个示例, 说明基本的树突驱动机制如何影响神经元整合和躯体输出。
Example 2: A reduced compartmental model with active dendrites
例子2模拟表明 Dendrify 允许开发包含现象学电压门控机制的简化区室模型, 并且可以复制各种树突特征及其对体细胞输出的影响。这些简化但更具生物学相关性的模型为开发具有高度生物灵感和小计算开销的 SNN 提供了令人信服的替代方案。重要的是, Dendrify 通过从根本上简化 Brian 2 中的实现来提供对此类模型的轻松访问。
Example 3: A simplified yet biologically accurate model of a CA1 pyramidal cell
示例3 表明 Dendrify 可用于构建通用的简化模型, 这些模型可再现特定神经元类型的广泛生物物理和突触特征。
尽管只占计算成本的一小部分, 但这些简化模型在多个特征的准确性方面与复杂得多的模型相当。此外, 它们的少量参数使它们更加灵活和易于处理, 因为建模者可以轻松调整它们的属性并合并任何可用的数据类型。
实施例4:CA1模型神经元中的通路相互作用当来自其远端簇上的EC的输入与更近端树突分支上的一致CA3输入配对时，生物CA1 PCs更可能产生动作电位。由于强烈的树突衰减，远端突触输入通常对胞体的影响可以忽略不计，即使产生dSpikes也是如此69。然而，结合EC和(中度)CA3输入导致更可靠的dSpike启动和传播，促进轴突动作电位输出69。
为了测试我们的简化模型(图4a)是否捕获了CA1锥体神经元的并发检测能力，我们构建了10，000个CA1锥体神经元的池(图5a)。每个神经元接收来自两种不同泊松分布(EC对CA3)的五个输入流。每个输入流被分配给单个树枝状分支；两个EC流冲击远端毛束节段，而三个CA3流冲击斜树突和远端主干。为了重复Jarsky等人69的关于CA1锥体神经元对EC、CA3和EC + CA3输入的反应的实验，我们调整了泊松分布的平均速率(λ),使得:(a)当只有EC途径活跃时，神经元有中等概率(> 55%)产生至少一个远端dSpike，但没有躯体APs(补充图6a和7a)。(b)当只有CA3途径活跃时，神经元既不产生树突棘波也不产生躯体棘波(补充图6b和7b)。(c)在存在或不存在树突状Na+ VGICs的情况下同时激活两个输入通路时的模型输出如图所示(图5b，c，补充图7c，d)。
在对照条件下(dSpikes ON)，当EC和CA3通路都活跃时，大多数神经元(~80%)产生一个或多个躯体棘波。其余的人在500毫秒的模拟过程中保持沉默。去激活树突棘(dSpikes OFF)显著影响神经元放电:活跃神经元的百分比下降至约10%，与对照实验(dSpikes ON)相比显著下降约70%。此外，所有活跃的神经元只发出单一的体细胞锋电位。这一发现与先前的一致并表明树突起与CA1 PC的条件激活之间存在直接联系。重要的是，它突出了我们的模型在生物神经元中发现的复杂路径相互作用规则的能力，超越了其基本的树突特性（图4）。
总的来说, 这个例子突出了我们简化的神经元模型重现生物 CA1 PC 树突固有的合检测规则的能力。此外, 我们通过各种 EC/CA3 输入参数验证了这种行为的稳健性。最后, 我们发现树突状 Na+尖峰决定了响应同时输入的体细胞输出频率及其时间精度, 从而降低了强体细胞活动的阈值 。
扩展性：
当在 iPad 上运行相同的测试时，代码不仅在没有任何修改的情况下运行，而且在 N < 10 4时比 Linux 笔记本电脑更快。。
讨论
在生物和人工神经网络之间建立融洽的关系对于理解和有希望复制我们大脑的卓越计算能力是必要的4，5，74。然而，尽管几十年的研究揭示了树突在神经元信息处理中的中心作用10，11，16，43，但树突对网络水平功能的贡献仍在很大程度上未被探索。Dendrify旨在通过提供一个理论框架和一个建模工具包来有效地将生物启发的树突机制添加到SNNs中，从而促进现实的尖峰网络模型的发展。这是通过在Brian 2 simulator42中开发最适合网络模拟的简化但生物精确的神经元模型来实现的。
在这里，我们证明了用树突形成的简单现象学模型能够复制大量实验观察到的树突功能。首先，我们表明，即使是具有被动树突的普通玩具模型，由于其隔间之间的电阻，也可以显示一些电分离(图2)。这种特性允许树突从胞体中半自主地运作，并且多个输入整合位点在单个神经元内共存44。接下来，我们证明了将树突Na+ VGICs添加到基本的四室模型(图3)中可以解锁重要的树突特征，包括:(a)受局部树突形态影响的分支特异性整合规则的存在43，(b)相关突触输入的超线性总和及其对神经元输出的影响44，
(c)产生BPAPs作为神经元活动的反馈信号45，52，68。最后，我们建立了CA1 PC的一个简化但受生物约束的模型(图4 ),并展示了其捕捉真实ca1pc的许多被动(τm、Rinput、垂度比、躯体-树突衰减)和主动(F–I曲线、非线性树突整合、BPAPs生成)特性的能力。值得注意的是，简化的模型再现了在CA1 PC树突中发现的复杂符合检测规则以及Na+ dSpikes对神经元输出的频率和时间精度的影响17，75(图5)。重要的是，我们的可扩展性测试表明，Dendrify允许以相对较低的计算成本模拟单个神经元和日益复杂的网络，从而使其成为开发生物启发的SNNs的理想工具。总的来说，我们说明了树突状细胞允许建立简单的、数学上易处理的模型来复制基本的树突状细胞功能及其对神经元活动的影响
最近的多项SNNs研究似乎都得出了相同的结论；网络中的神经异质性可以积极影响其学习和信息处理能力5。例如，具有动态神经元特性的异质snn，如可学习的适应性76和膜时间常数，在图像分类或玩Atari游戏等复杂任务中表现更好。由于树突是生物网络中异质性个重要来源，我们期望将它们的性质转化为snn可以带来重要的计算优势。这些包括:(a)在单个神经元中存在多个半独立整合位点，b)适应计算需求的灵活和适应性信息处理79，(c)多时间尺度动态的存在46，以及(d)不同突触可塑性规则之间的协同作用27。事实上，最近很少有研究表明，将非线性树突机制与局部学习规则相结合，会给SNNs带来超越以往建模标准的令人信服的优势。特别是，树枝状snn延长了联想任务中的记忆保持时间27，允许使用更少的资源13存储记忆，并在分级电路中实现复杂的信用分配80。然而，尽管取得了显著的进展，我们还有很长的路要走，直到我们完全理解树突加工在神经网络功能中的意义。
我们希望该工具将很容易被神经科学家和神经形态工程师采用，促进知识发现，同时推进强大的大脑启发的人工计算系统的开发。
实现方法
代码示例：
完整论文请阅读原文