ÓÉÓÚȱ·¦Æ½ÐÐÊý¾Ý£¬Ð¡ÓïÖֵķÒëÒ»Ö±ÊÇÒ»´óÄÑÌâ¡£À´×ԹȸèµÄÑо¿ÕßÌá³öÁËÒ»ÖÖÄܹ»·Òë 103 ÖÖÓïÑԵĴó¹æÄ£¶àÓïÑÔÉñ¾»úÆ÷·ÒëÄ£ÐÍ£¬ÔÚÊý¾Ý·á¸»ºÍØÑ·¦µÄÓïÖÖ·ÒëÖж¼ÊµÏÖÁËÏÔÖøµÄÐÔÄÜÌáÉý¡£ËûÃÇÔÚ 250 ÒÚ¸öµÄ¾ä×Ó¶ÔÉϽøÐÐѵÁ·£¬²ÎÊýÁ¿³¬¹ý 500 ÒÚ¡£
ÔÚ¹ýÈ¥µÄ¼¸ÄêÀÓÉÓÚÉñ¾»úÆ÷·Ò루NMT£©µÄ·¢Õ¹£¬»úÆ÷·Ò루MT£©ÏµÍ³µÄÖÊÁ¿µÃµ½ÁËÏÔÖøÌáÉý£¬´òÆÆÁËÊÀ½ç¸÷µØµÄÓïÑÔÕÏ°¡£µ« NMT µÄ³É¹¦ºÜ´ó³Ì¶ÈÉÏÒª¹é¹¦ÓÚÓмලµÄѵÁ·Êý¾Ý¡£ÄÇô£¬Êý¾Ý½ÏÉÙÉõÖÁûÓÐÊý¾ÝµÄÓïÑÔ¸ÃÔõô°ìÄØ£¿¶àÓïÑÔ NMT ÊÇÒ»ÖÖÓÐЧµÄ½â¾ö·½·¨£¬ËüÓÐÒ»ÖÖ¹éÄÉÆ«¼û£¬¼´¡¸À´×ÔÒ»ÖÖÓïÑÔµÄѧϰÐźÅÓ¦¸ÃÓÐÖúÓÚÌá¸ßÆäËûÓïÑԵķÒëÖÊÁ¿¡¹¡£
¶àÓïÑÔ»úÆ÷·ÒëʹÓÃÒ»ÖÖÓïÑÔÄ£ÐÍ´¦Àí¶àÖÖÓïÑÔ¡£Êý¾ÝØÑ·¦ÓïÖÖ¶àÓïÑÔѵÁ·µÄ³É¹¦ÒѾӦÓÃÓÚ×Ô¶¯ÓïÑÔʶ±ð¡¢Îı¾×ªÓïÒôµÈϵͳ¡£¹È¸èµÄÑо¿Õß֮ǰ̽Ë÷¹ýÀ©Õ¹µ¥¸öÉñ¾ÍøÂç¿ÉÒÔѧϰµÄÓïÑÔÊýÁ¿£¬Í¬Ê±¿ØÖÆÿÖÖÓïÑÔµÄѵÁ·Êý¾ÝÁ¿¡£µ«Èç¹û½«ËùÓÐÏÞÖÆÒòËض¼ÒƳý»á·¢Éúʲô£¿ÎÒÃÇÄÜ·ñʹÓÃËùÓпÉÓÃÊý¾ÝѵÁ·µ¥¸öÄ£ÐÍ¡ª¡ª¼´Ê¹ÕâЩÊý¾ÝµÄ´óС¡¢½Å±¾¡¢¸´ÔӶȺÍÁìÓò¶¼¸÷²»Ïàͬ¡£
ÔÚһƪÃûΪ¡¸Massively Multilingual Neural Machine Translation in the Wild: Findings and Challenges¡¹µÄÂÛÎĺͺóÐø¼¸ÆªÂÛÎÄÖУ¬¹È¸èµÄÑо¿ÕßÃÇÔÚ³¬¹ý 250 Òڵľä×Ó¶ÔÉÏѵÁ·ÁËÒ»¸ö NMT Ä£ÐÍ£¬ÕâЩ¾ä×ÓÊÇ 100 ¶àÖÖÓïÑÔÓëÓ¢ÓïµÄ»¥Ò룬²ÎÊýÁ¿³¬¹ý 500 ÒÚ¡£ËûÃǵõ½ÁËÒ»ÖÖ´ó¹æÄ£¶àÓïÑÔ¡¢´ó¹æÄ£Éñ¾»úÆ÷·Òë·½·¨ M4£¬ÔÚÊý¾Ý·á¸»ºÍØÑ·¦µÄÓïÑÔÖж¼ÊµÏÖÁËÏÔÖøµÄÐÔÄÜÌáÉý£¬¿ÉÒÔÇáËÉÊÊÓ¦µ¥¸öÁìÓò/ÓïÑÔ£¬Í¬Ê±Äܹ»ÓÐЧӦÓÃÓÚ¿çÓïÑÔÏÂÓÎǨÒÆÈÎÎñ¡£
´ó¹æÄ£¶àÓïÑÔ»úÆ÷·Òë
¾¡¹Ü¿çÓïÑÔ¶ÔÊý¾ÝÇãбÊÇ NMT ÈÎÎñÖеÄÒ»´óÌôÕ½£¬µ«ÕâÖÖÇãбҲΪÑо¿Ç¨ÒÆ´´ÔìÁËÒ»ÖÖÀíÏëÇé¾°£¬ÔÚÒ»ÖÖÓïÑÔÉÏѵÁ·µÃµ½µÄÐÅÏ¢¿ÉÒÔÓ¦Óõ½ÆäËûÓïÑԵķÒëÖС£·¨Óï¡¢µÂÓï¡¢Î÷°àÑÀÓïµÈÊý¾Ý·á¸»µÄÓïÑÔÕ¼¾Ý·Ö²¼µÄÒ»¶Ë£¬ÌṩÁËÊýÊ®ÒÚµÄƽÐÐÓïÁÏ£»Ô¼Â³°ÍÓï¡¢ÐŵÂÓï¡¢ÏÄÍþÒÄÓïµÈÊý¾ÝØÑ·¦µÄÓïÑÔÕ¼¾Ý·Ö²¼µÄÁíÒ»¶Ë£¬Ö»Óм¸ÍòµÄÓïÁÏ¡£
ËùÓÐÓïÑÔ¶ÔµÄÊý¾Ý·Ö²¼£¨È¡¶ÔÊý£©ºÍÔÚÿ¸öÌض¨ÓïÑÔ¶ÔÉÏѵÁ·µÃµ½µÄË«Óï»ùÏßµÄÏà¶Ô·ÒëÖÊÁ¿£¨BLEU ·ÖÊý£©¡£
ʹÓÃËùÓпÉÓÃÊý¾Ý£¨À´×Ô 103 ÖÖÓïÑ﵀ 250 ÒÚ¸öÑù±¾£©ÑµÁ·Ö®ºó£¬Ñо¿Õ߹۲쵽£¬Êý¾ÝØÑ·¦ÓïÑÔÓÐ×ÅÇ¿ÁÒµÄÕýÏòǨÒÆÇãÏò£¬30 ¶àÖÖÓïÑԵķÒëÖÊÁ¿µÃµ½ÁËÏÔÖøÌá¸ß£¬Êý¾Ý·Ö²¼Î²²¿µÄ BLEU ·ÖÊýƽ¾ùÌá¸ßÁË 5 ·Ö¡£Ð§¹ûÊÇÒÑÖªµÄ£¬µ«È´·Ç³£¹ÄÎèÈËÐÄ£¬ÒòΪ±È½ÏÊÇÔÚË«Óï»ùÏߣ¨¼´Ö»ÔÚÌض¨ÓïÑÔ¶ÔÉÏѵÁ·µÃµ½µÄÄ£ÐÍ£©ºÍµ¥¸ö¶àÓïÑÔÄ£ÐÍÖ®¼ä½øÐеģ¬ºóÕßÓµÓÐÀàËÆÓÚµ¥¸öË«ÓïÄ£Ð͵ıíÕ÷ÄÜÁ¦¡£ÕâÒ»·¢ÏÖ±íÃ÷£¬´ó¹æÄ£¶àÓïÑÔÄ£ÐÍ¿ÉÒÔÓÐЧ·º»¯£¬¶øÇÒÄܹ»²¶×½´óÁ¿ÓïÑÔÖ®¼äµÄ±íÕ÷ÏàËÆÐÔ¡£
µ¥¸ö´ó¹æÄ£¶àÓïÑÔÄ£ÐÍÓëË«Óï»ùÏßÄ£ÐÍÖ®¼äµÄ·ÒëÖÊÁ¿¶Ô±È¡£
ÔÚһƪÃûΪ¡¸Investigating Multilingual NMT Representations at Scale¡¹µÄ EMNLP 2019 ÂÛÎÄÖУ¬¹È¸èµÄÑо¿Õ߱ȽÏÁ˶àÓïÑÔÄ£ÐÍÔÚ¶àÖÖÓïÑÔÖеıíÕ÷ÄÜÁ¦¡£ËûÃÇ·¢ÏÖ£¬¶àÓïÑÔÄ£ÐÍÎÞÐèÍⲿÏÞÖƾÍÄÜѧϰÔÚÓïÑÔѧÉÏÏàËƵÄÓïÑԵĹ²Ïí±íÕ÷£¬ÑéÖ¤Á˳¤ÆÚÒÔÀ´ÀûÓÃÕâЩÏàËÆÐÔµÄÖ±¾õºÍʵÑé½á¹û¡£
ÔÚ¡¸Evaluating the Cross-Lingual Effectiveness of Massively Multilingual Neural Machine Translation¡¹Ò»ÎÄÖУ¬Ñо¿Õß½øÒ»²½Ö¤Ã÷ÁËÕâЩѧϰµ½µÄ±íÕ÷ÔÚÏÂÓÎÈÎÎñÖпçÓïÑÔǨÒƵÄÓÐЧÐÔ¡£
ËùÓÐ 103 ÖÖÓïÑÔ±àÂë±íÕ÷¾ÛÀàµÄ¿ÉÊÓ»¯£¬»ùÓÚ±íÕ÷ÏàËÆÐÔ¡£²»Í¬µÄÑÕÉ«´ú±í²»Í¬µÄÓïϵ¡£
¹¹½¨´ó¹æÄ£Éñ¾ÍøÂç
ÔÚÔö¼ÓÊý¾ÝØÑ·¦µÄÓïÖÖÊýÁ¿Ö®ºó£¬Êý¾Ý·á¸»µÄÓïÖÖ·ÒëÖÊÁ¿¿ªÊ¼Ï½µ¡£ÕâÖÖϽµÔÚ¶àÈÎÎñÉèÖÃÖпÉÒÔ±»¹Û²ìµ½£¬ÓÉÈÎÎñ¼äµÄ¾ºÕùºÍǨÒƵĵ¥ÏòÐÔÒýÆ𣨼´´ÓÊý¾Ý·á¸»µÄÓïÑÔµ½Êý¾ÝØÑ·¦µÄÓïÑÔ£©¡£Ñо¿ÈËԱ̽Ë÷ÁËÄܹ»¸üºÃµØѧϰºÍʵÏÖÄÜÁ¦¿ØÖƵÄËã·¨£¬ÒÔ´ËÀ´½â¾öÕâÖÖ¸ºÇ¨ÒÆÎÊÌâ¡£Ôڴ˹ý³ÌÖУ¬ËûÃÇ»¹Í¨¹ýÔö¼ÓÉñ¾ÍøÂçÄ£Ð͵IJÎÊýÁ¿À´Ìá¸ßÆä±íÕ÷ÄÜÁ¦£¬ÒÔ´ËÀ´Ìá¸ßÊý¾Ý·á¸»ÓïÑԵķÒëÖÊÁ¿¡£
Ìá¸ßÉñ¾ÍøÂçµÄÄÜÁ¦»¹ÓÐÆäËû¼¸ÖÖ·½·¨£¬°üÀ¨Ìí¼Ó²ãÊý¡¢Ôö¼ÓÒþ²Ø±íÕ÷µÄ¿í¶ÈµÈ¡£ÎªÁËѵÁ·¸üÉîµÄ·ÒëÄ£ÐÍ£¬Ñо¿ÕßÀûÓà GPipe À´ÑµÁ· 128 ²ã¡¢²ÎÊý³¬¹ý 60 ÒÚµÄ Transformer¡£Ä£ÐÍÄÜÁ¦µÄÌá¸ßʹµÃËùÓÐÓïÑԵķÒëÖÊÁ¿¶¼µÃµ½ÁËÏÔÖøÌáÉý£¬BLEU ·ÖÊýƽ¾ùÌá¸ßÁË 5 ·Ö¡£ËûÃÇ»¹Ñо¿ÁËÉî¶ÈÍøÂçµÄÆäËûÐÔÖÊ£¬°üÀ¨Éî¶È-¿í¶ÈȨºâ¡¢¿ÉѵÁ·ÐÔÄÑÌâÒÔ¼°½« transformer À©Õ¹µ½ 1500 ¶à²ã¡¢840 ÒÚ²ÎÊýµÄÉè¼ÆÑ¡ÔñµÈ¡£
¾¡¹ÜÀ©Õ¹Éî¶ÈÊÇÌá¸ßÄ£ÐÍÄÜÁ¦µÄÒ»ÖÖ·½·¨£¬Ì½Ë÷Äܹ»ÀûÓÃÎÊÌâ¶àÈÎÎñÌØÐԵļܹ¹Ò²ÊÇÒ»Öַdz£¿ÉÐеIJ¹³ä·½·¨¡£Ñо¿Õßͨ¹ýÓÃÏ¡ÊèÃÅ¿Øר¼Ò»ìºÏ²ã£¨sparsely-gated mixture of experts£©Ìæ´úÔʼµÄÇ°À¡²ãÐÞ¸Ä transformer µÄ¼Ü¹¹£¬ÏÔÖøÌá¸ßÁËÄ£ÐÍÄÜÁ¦£¬Ê¹µÃÎÒÃÇ¿ÉÒԳɹ¦µØѵÁ·ºÍ´«µÝ 500 ÒÚ²ÎÊý£¬´Ó¶ø½øÒ»²½Ìá¸ßÁË·ÒëÖÊÁ¿¡£
Óë 103 ¸öË«Óï·Òë»ù×¼Ïà±È£¬¹È¸èµÄз½·¨ÔÚµ¥¸ö¶àÓïÑÔÄ£ÐÍÉÏÌá¸ßÁËÈÝÁ¿£¨²ÎÊýÁ¿£©£¬½ø¶øÌá¸ßÁË·ÒëÖÊÁ¿¡£
Èà M4 Ä£ÐÍʵÓû¯
¶ÔÓÚÿ¸öÓïÑÔµÄÁìÓò»òǨÒÆÈÎÎñÀ´Ëµ£¬ÑµÁ·´óÐÍÄ£ÐÍ£¬»¨·Ñ´óÁ¿ËãÁ¦·Ç³£²»¾¼Ã¡£¹È¸èÌá³öµÄ·½·¨Í¨¹ýʹÓÃÈÝÁ¿¿Éµ÷²ãʹÐÂÄ£ÐÍÊÊÓ¦Ìض¨µÄÓïÑÔ»òÁìÓò£¬ÎÞÐè¸ü¸ÄÔʼģÐÍ£¬Ê¹µÃÕâЩģÐͱäµÃ¸ü¼ÓʵÓá£
Õ¹Íû
ÓÐÑо¿ÏÔʾ£¬µ½ 21 ÊÀ¼ÍÄ©£¬È«ÇòÖÁÉÙÓÐ 7000 ÖÖÄ¿Ç°ÕýÔÚʹÓõÄÓïÑÔ½«»á²»¸´´æÔÚ¡£¶àÓïÑÔ»úÆ÷·Òëϵͳ¿ÉÒÔÕü¾ÈÕâЩÓïÑÔÂ𣿹ȸèÈÏΪ£¬M4 ÊÇͨÏòÁíÍâ 1000 ÖÖÓïÑÔ·ÒëµÄ»ùʯ¡£´ÓÕâÀà¶àÓïÑÔÄ£ÐÍ¿ªÊ¼£¬¼´Ê¹Ã»ÓÐƽÐÐÓïÁÏ£¬ÎÒÃÇÒ²¿ÉÒÔÇáËɵؽ«»úÆ÷·ÒëÀ©Õ¹µ½ÐµÄÓïÑÔ¡¢ÁìÓòºÍÏÂÓÎÈÎÎñÖÐÈ¥¡£ÔÚͨÓûúÆ÷·ÒëµÄ·½ÏòÉÏ£¬ºÜ¶àÓÐÏ£ÍûµÄ½â¾ö·½°¸ËƺõÊÇ¿çÁìÓòµÄ£¬¶àÓïÑÔ NMT ÕýÔÚ³ÉΪ¶àÈÎÎñѧϰ¡¢ÔªÑ§Ï°¡¢Éî²ãÍøÂçѵÁ·µÈ»úÆ÷ѧϰ¼¼ÊõµÄÀíÏë²âÊÔƽ̨¡£
ÁìȡרÊô 10ÔªÎÞÃż÷ȯ
˽Ïí×îР¼¼Êõ¸É»õ