突破：AI学会举一反三！
机器也能归纳语言吗？
人类具有学习新概念的能力，并善于将其与现有概念系统地结合起来。例如，一旦小孩学会了如何“跳”，他们就能理解如何“向后跳”或“绕着某物跳两圈”；再比如一个人如果能听懂“猫追狗”，他也能不假思索地听懂“狗追猫”。这种能力源自于人类的组合技能。
那么，机器也能具有这种思维能力吗？20世纪80年代末，哲学家和认知科学家Jerry?Fnodor和Zenon?Pylyshyn认为，人工神经网络缺乏这种系统性，无法建立这类“组合泛化”联系，因此不是真正可信的认知模型。这一论调引发了一场持续35年的激烈辩论。
神经网络是一种模拟人类认知的方法，在人工智能（AI）研究领域一直占主导地位。几十年来，科学家一直在研究如何将人类的组合技能，灌输到神经网络和相关技术中，并取得了长足的进步。但在面对学习新的词语时，神经网络仍然难以在对该词进行多种语境训练之前，去使用这个词。
在一项新发表于《自然》杂志的研究中，一个研究团队开发出了一种名为组合元学习（MLC）的技术，可以提高ChatGPT等工具进行组合归纳的能力，让机器与人的互动比现在最好的人工智能系统更自然。
测试组合元学习技术
MLC的核心是训练神经网络，能通过实践来更好地进行组合泛化。当MLC接收到一个新词时，它会被要求以组合的方式使用它。例如，当它接收到单词“跳（jump）”，它需要创建新的词组，比如“跳两次”或“绕右边跳两次”。这是一种新颖的学习过程，在这种过程中，神经网络可以从错误中学习，不断更新并提高其技能。
为了测试MLC的有效性，研究人员进行了一系列实验，让人类与MLC执行相同的任务。
在实验中，研究人员设计了一种由两类无意义的单词组成的“伪语言”。他们用dax、wif、lug等“原语”代表“skip（蹦）”和“jump（跳）”等基本的具体动作；用blicket、kiki、fep等更抽象的“功能词”和原语组合，来指定使用原语的规则，从而产生比如“跳转三次”或“向后跳过”之类的组合。
研究人员先测试了25名人类参与者在不同情况下使用新学的单词的能力。他们训练参与者将每个原语与特定颜色的圆圈联系起来，例如dax是红色圆圈，wig是绿色圆圈，lug是蓝色圆圈。
然后，他们会向参与者展示原语和功能词的组合，并同时向他们展示当功能词应用于原语时所形成的圆圈图案。例如，dax fep是三个红色圆圈，lug fep是三个蓝色圆圈，这表明fep表示是将一个原语重复三次的抽象规则。
最后，研究人员通过给参与者提供原语和功能词的复杂组合来测试他们应用这些抽象规则的能力。参与者必须选择正确的圆圈颜色和数量，并将它们按适当的顺序排列。
具有人类的关键能力
在实验中，人类在这项任务中的表现如预料般出色，平均正确率为80%。研究人员让MLC完成了类似的任务，除了学习这些由研究人员定义的不存在的单词的意思之外，MLC还学习了一些实际单词的含义。结果表明，MLC的表现和人类参与者一样好，在某些情况下，甚至超过了人类参与者的表现，意味着MLC具有类似人类的能力，可以对语言进行归纳。
另外，像ChatGPT这样的大型语言模型仍然在努力实现组合泛化，尽管近年来它们已经有所改善，但在完成这类任务时，也显得力不从心。相比之下，MLC和人类参与者的表现都要优于ChatGPT和GPT-4。研究人员认为，MLC可以进一步提高大型语言模型的组合技能，使神经网络成为更高效的学习者。
- 发表于:
- 原文链接：https://page.om.qq.com/page/OtohojOWDjt6EsGFpAqxgjjA0
- 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号（企鹅号）传播渠道之一，根据《腾讯内容开放平台服务协议》转载发布内容。
- 如有侵权，请联系 cloudcommunity@tencent.com 删除。
相关快讯
扫码
添加站长 进交流群
领取专属 10元无门槛券
私享最新 技术干货
腾讯云开发者
