一种超维计算系统，可在内存中执行所有核心计算
超维计算（HDC）是一种新兴的计算方法，受到人脑神经活动模式的启发。这种独特的计算类型可以使人工智能系统根据以前遇到的数据或场景保留内存并处理新信息。
过去开发的大多数HDC系统只能在特定任务上表现出色，例如自然语言处理（NLP）或时间序列问题。在《自然电子》上发表的一篇论文中，苏黎世IBM研究中心和苏黎世联邦理工学院的研究人员介绍了一种新的HDC系统，该系统可以在内存中执行所有核心计算，并且可以应用于各种任务。
这项研究的两位主要研究人员Abu Sebastian和Abbas Rahimi对TechXplore说：“我们的工作是由内存计算和超维计算这两个概念之间的自然契合开始的。”?“在苏黎世的IBM研究中心，我们一直在开发基于相变存储器（PCM）的内存计算平台，而在苏黎世联邦理工学院，我们一直在探索一种大脑启发的计算范例，称为超维计算。”
研究人员在过去的工作中观察到，HDC涉及的主要操作，即编码和关联内存搜索，都涉及对系统内存中大型分布模式的操纵和比较。由于此特性，可以使用PCM交叉开关阵列有效地制造这些系统，从而实现模拟内存计算的优势。
塞巴斯蒂安和拉希米解释说：“这种量身定制的组合不仅避免了冯·诺伊曼的瓶颈（又名记忆墙），而且还显着提高了能源效率以及对可变性，噪声和故障的鲁棒性。”?“大约两年前，这一发现促使我们在ETH和IBM之间朝这个方向发起了一项联合研究。”
为了对神经活动模式进行建模，HDC系统使用丰富的代数，该代数定义了一组规则来构建，绑定和捆绑不同的超向量。超向量是具有独立且分布相同的分量的全息10,000维（伪）随机向量。通过使用这些超向量，HDC可以创建功能强大的计算系统，该系统可用于完成复杂的认知任务，例如对象检测，语言识别，语音和视频分类，时间序列分析，文本分类和分析推理。
Sebastian，Rahimi及其同事在论文中提出了一个完整的内存HDC系统，该系统可以处理各种任务。他们的系统有两个关键组成部分：HDC编码器和关联存储器。
Sebastian和Rahimi说：“我们的系统通过忆阻器件上的逻辑和点积运算在内存中执行核心计算。”?“由于HDC固有的鲁棒性，有可能近似于与HDC相关的数学运算，使其适合于硬件实现，并在不影响精度的情况下使用模拟内存计算。”
过去开发的大多数内存HDC体系结构仅适用于有限的任务集，例如单语言识别或二进制分类任务。此外，这些系统主要在仿真中进行了评估，并使用了基于小型原型的紧凑型模型，带有少量电阻装置。
相比之下，由Sebastian和Rahimi开发的系统利用了700,000多个PCM设备。因此，它可以说是迄今为止提供的最大内存内HDC实验演示之一。
该原型是最早被编程为支持不同的超向量表示，尺寸以及输入符号和输出类别的HDC系统之一。这使其适用于从NLP到新闻分类和生物信号处理的多种应用。
塞巴斯蒂安和拉希米说：“我们的工作通过在嘈杂的硬件基板上执行各种分类任务，同时达到与精确软件实现相当的准确性，真正证明了模拟内存计算的潜在优势。”?“这种强大的模拟内存计算是通过对数据表示，具有优美近似值的关联操作以及自然使它们能够实现的材料和基底提供新颖的外观来实现的。”
研究人员通过一系列实验对系统进行了评估，测试了它们在AI技术通常解决的三个任务上的性能，这些任务是基于肌电信号分析的语言分类，新闻分类和手势识别。在所有这些任务中，他们的HDC系统在任务的复杂性和分类精度之间实现了接近最佳的权衡。Sebastian，Rahimi及其同事使用760,000个相变存储设备测试了他们的系统，该设备执行了模拟内存计算过程，发现该系统实现了与流行软件技术类似的精度。
“我们通过实验证明，与基于65纳米CMOS技术的优化数字系统相比，使用基于PCM的内存计算的HDC平台可以节省600％的能源。”
将来，在最近的这项研究中引入的HDC系统将可以创建具有高级存储功能的新技术，从而可以完成许多不同的分类任务。该系统很快将在各种实际环境中实施和测试，这将使研究人员可以进一步评估其性能。
塞巴斯蒂安和拉希米说：“在我们的HDC体系结构中，信息的编码和内存的存储在构造上是分开的过程。”?“最近在现代深度神经网络中，人们认识到这种关键的解开关系，以使它们摆脱灾难性的遗忘，并能实现短时学习和终身保留。我们的架构和表示系统将在下一代AI的开发中发挥核心作用。提供可以快速学习的系统，在整个生命周期中保留信息，即使使用正确的材料和基材也可以有效地做到这一点。”
- 发表于:
- 原文链接：https://kuaibao.qq.com/s/20200702A0UP4900?refer=cp_1026
- 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号（企鹅号）传播渠道之一，根据《腾讯内容开放平台服务协议》转载发布内容。
- 如有侵权，请联系 cloudcommunity@tencent.com 删除。
相关快讯
扫码
添加站长 进交流群
领取专属 10元无门槛券
私享最新 技术干货
腾讯云开发者
