【技术揭秘】DSTC7国际大赛双料冠军方案解读

来源 阿里语音AI 公众号

关键词：
国际对话系统技术挑战赛，DSTC7，ESIM，多轮回复选择

导语

一年一度的国际对话系统技术挑战赛（Dialogue System Technology Challenges， DSTC）作为国际顶尖人工智能学术竞赛受到越来越多学术界、工业界学者们的关注。第八届对话系统技术挑战赛（DSTC8）已在2020年2月8日纽约的AAAI2020顶级国际学术会议上举行。借此时机，本文将回顾阿里语音AI在第七届对话系统技术挑战赛 （DSTC7）所获的成绩和解读背后所用到的原创核心技术-ESIM。

背景介绍

DSTC由来自微软研究院、卡耐基梅隆大学的科学家于2013年发起，迄今已举办七届。DSTC7的比赛共有三个赛道，其中赛道一（Track 1）是一个多轮回复选择任务，它要求参赛的AI模型依据给定的多轮对话历史从成百到上万个句子中选出正确的回复。阿里语音AI参加了赛道一的竞赛，并在全部的2项比赛中击败了包括麻省理工学院、约翰霍普金斯大学、IBM研究院在内的近20支国际知名大学或研究机构的参赛队伍，获得了双料冠军[1]。

基于ESIM的多轮回复选择

此次阿里的参赛AI模型叫做Enhanced Sequential Inference Model (ESIM)[2]，这是阿里自主研发的一种用于解决多轮对话回复问题的原创模型。开源地址：https://github.com/alibaba/esim-response-selection

ESIM模型结构如下图所示，主要包括三部分。第一部分称为输入编码，主要是对输入的premise和hypothesis分别进行词向量提取和用BiLSTM1进行考虑上下文的编码。第二部分称为局部推理建模，先计算premise和hypothesis之间的dot-product attention weight matrix，然后用彼此进行相互重构，并和原本的BiLSTM1编码后的embedding进行拼接。第三部分称为推理组合，用BiLSTM2把前面得到的拼接向量进行特征提取，最后把pooling后的表征拼接起来送入MLP分类器。

这次参赛所采用的ESIM模型是基于序列结构的模型，与以往多轮回复选择领域state-of-the-art（SOTA）模型所采用的层级结构不同，该模型更简洁且更高效。层级结构是指分别对句子级（utterance-level）和词级（token-level）进行人工神经网络建模，来显式地建模不同轮对话内容的关系。这种方式通常需要对不同轮的句子进行截断，来确保不同轮有相同的文本长度且短于预先设定的最大长度。然而，实际应用中，不同轮对话的长度往往变化很大，从而需要很多的补零填充（zero padding），导致计算复杂度和内存消耗的显著增加。如果只使用较小的最大长度，则面临着丢失多轮上下文中重要信息的风险。此次采用的ESIM模型是基于序列结构的模型，将多轮的上下文信息拼接成一个长序列，有效地解决了上述层级结构所面临的问题。ESIM有两个主要优势：1）ESIM不需要使每轮的对话有相同长度，因此有更少的补零填充，从而比层级结构的模型有更高的计算效率。2）ESIM模型隐式地的建模不同轮对话的关系，从而不需要额外复杂的网络来建模。

除了在DSTC7多轮回复选择比赛中获得双料冠军之外，参赛的ESIM模型在公开的多轮回复选择标准数据集Ubuntu（英文）和E-commerce（中文）上均显著地提升了之前的最优性能，取得了目前最好的结果 [3]。例如，相比之前最好的模型（来自百度团队的DAM模型 [4]），ESIM获得在Ubuntu数据集上相对12.4%的错误率 (1-R@1) 的降低。

ESIM的更多应用

ESIM模型是自然语言推理任务中具有代表性的一个模型，该模型可以被用来处理几乎所有的句子对分类问题。它曾在多种国际学术竞赛中崭露头角。例如，Kaggle Quora Question Pairs竞赛的冠军模型采用了ESIM，蚂蚁举办的ATEC语义匹配比赛TOP20的选手75%都采用了ESIM或者在此基础上改动的模型， DSTC7 多轮回复选择赛道的近20 支参赛队伍中有5支参赛队伍采用了ESIM。另外，该模型也在阿里巴巴集团内部的商品检索、智能问答、话题生成等领域有着广泛的应用。

参考文献

[1] ChulakaGunasekara, Jonathan K. Kummerfeld, Lazaros Polymenakos, and Walter S. Lasecki.“DSTC7 Task 1: Noetic End-to-End Response Selection - Track 1 Overview”. DSTC7 workshop(2019). http://workshop.colips.org/dstc7/papers/dstc7_task1_final_report.pdf

[2] Qian Chen,Xiao-Dan Zhu, Zhen-Hua Ling, Si Wei, Hui Jiang and Diana Inkpen. “Enhanced LSTMfor Natural Language Inference.” ACL (2016).

[3] Qian Chen andWen Wang. “Sequential Matching Model for End-to-end Multi-turn ResponseSelection.” ICASSP 2019 - 2019 IEEE International Conference on Acoustics,Speech and Signal Processing (ICASSP) (2019): 7350-7354.

[4] XiangyangZhou, Lu Li, Daxiang Dong, Yi Liu, Ying Chen, Wayne Xin Zhao, Dianhai Yu andHua Wu. “Multi-Turn Response Selection for Chatbots with Deep AttentionMatching Network.” ACL (2018).

本文转自网络，原文链接：https://developer.aliyun.com/article/785168
本站部分内容转载于网络，版权归原作者所有，转载之目的在于传播更多优秀技术内容，如有侵权请联系QQ/微信：153890879删除，谢谢！