独家 | 一个能提出问题的chatbot可以帮助您发现问题
独家 | 一个能提出问题的chatbot可以帮助您发现问题
作者：Melissa Heikkil?翻译：赵鉴开校对：zrx 本文约1200字，建议阅读5分钟改变人工智能呈现信息的方式，使AI聊天机器人逻辑一致。
像ChatGPT，Bing和Bard这样的AI聊天机器人非常擅长创作听起来像人类写作的句子。但是他们时常也会将虚假信息陈述为事实，并且逻辑不一致，这种情况很难发现。一项新的研究表明，解决这个问题的一种方法是改变人工智能呈现信息的方式。让用户更积极地参与与聊天机器人对话的交互可能有助于他们更批判性地思考这些内容。
来自麻省理工学院和哥伦比亚大学的一组研究人员向大约200名参与者展示了OpenAI GPT-3生成的一系列陈述，并要求他们确定它们在逻辑上是否有意义。一个陈述语句可能类似于“电子游戏会导致人们在现实世界中变得咄咄逼人。一名游戏玩家在网络游戏《反恐精英》中被殴打后刺伤了另一名玩家“。
参与者被分为三组：第一组的陈述语句根本没有任何解释；第二组的陈述都带有一个解释，指出为什么它是合乎逻辑的。第三组的陈述都带有一个问题，促使读者自己检查逻辑。
研究人员发现，当人工智能没有加入逻辑推理时，提出问题小组的得分高于其他两组。德国汉堡CHI会议上发表的一篇新的同行评审论文提到，这种提出问题的方法还使人们对AI做出的决策更加负责。研究人员认为，它可以减少对AI生成的信息的过度依赖的风险。
当人们得到现成的答案时，他们更有可能遵循人工智能系统的逻辑，但是当人工智能提出问题时，“人们说人工智能系统让他们更多地质疑他们的反应，帮助他们更努力地思考，” 来自麻省理工学院的研究人员Valdemar Danry这样评价，“对我们来说，一个重大的胜利实际上是看到人们觉得他们是找到答案的人，他们负责正在发生的事情，他们有这样做的动机和能力“。
研究人员希望他们的方法可以帮助人们通过在学校或在线搜索信息时使用AI聊天机器人，从而提高他们的批判性思维能力。麻省理工学院的另一位研究人员Pat Pataranutaporn说，他们想证明可以训练一个不仅仅提供答案，而且可以帮助人们进行批判性思维的模型。
哈佛大学计算机科学教授费尔南达·维加斯（Fernanda Viégas）没有参与这项研究，但她提到，她很高兴看到人们对人工智能系统的解释有了新的看法，不仅可以让用户深入了解系统的决策过程，还可以通过质疑系统用来做出决策的逻辑来做到这一点。“鉴于人工智能系统的主要挑战之一在于其不透明性，因此，解释人工智能决策很重要，”维加斯补充道，“传统意义上来说，用用户友好的语言解释人工智能系统如何做出预测或决策已经够难的了。”
芝加哥大学计算机科学助理教授Chenhao Tan表示，他想看看“提出问题“的方法在现实世界中是如何工作的，例如：人工智能是否可以通过提问来帮助医生做出更好的诊断。特拉维夫大学科勒管理学院助理教授Lior Zalmanson说，“研究表明，在聊天机器人的体验中增加一些摩擦是多么重要，这样人们就不会无脑听从AI的决策建议。当这一切看起来如此神奇时，人们很容易停止思考，并将所有事情委托给算法”。
在CHI上发表的另一篇论文中，Zalmanson、康奈尔大学、拜罗伊特大学和微软研究院的研究人员发现，有些时候，即便人们不赞同AI聊天机器人陈述的内容，但他们仍然倾向于使用该输出，在他们心中，AI生成的内容比他们自己写的任何东西都要好。
Viégas认为，找到平衡点是具有挑战性的，即提高用户的辨别力的同时，保持人工智能系统的便利性。“不幸的是，在一个快节奏的社会中，目前还不清楚人们什么时候想要进行批判性思维，而不是期待一个现成的答案”。
原文标题：
A chatbot that asks questions could help you spot when it makes no sense
原文链接：
https://www.technologyreview.com/2023/04/28/1072430/a-chatbot-that-asks-questions-could-help-you-spot-when-it-makes-no-sense/
编辑：于腾凯
校对：林亦霖
译者简介
作者简介
赵鉴开，浙江大学管理科学工程专业在读，关注机器学习在social commerce领域的应用。