²»½öÈÃÕæÈËͼÏñ¿ª¿Ú˵»°£¬ÓÍ»¡¢ËØÃè¡¢Âþ»µÈ¶¼Äܶ¯ÆðÀ´£¡
¸ø³öÒ»ÕÅÃ沿ͼÏñºÍÒ»¶ÎÒôƵ£¬ÄÜ×öʲô£¿AI Óа취£¬±ÈÈçÈÃͼÏñÖеÄÈË¿ª¿Ú˵»°£¡
´ËÇ°£¬»úÆ÷Ö®Ðı¨µÀ¹ýÈýÐÇÈ˹¤ÖÇÄÜÑо¿ÖÐÐĺÍÂ׶ص۹úÀí¹¤Ñ§ÔºÌá³öµÄÐÂÐͶ˵½¶Ëϵͳ£¬½öƾһÕÅÈËÁ³ÕÕƬºÍÒ»¶ÎÒôƵ£¬¾Í¿ÉÒÔÉú³ÉеĽ²»°»ò³ª¸èÊÓƵ¡£
×î½üÎÒÃÇ·¢ÏÖÁËÒ»ÏîÀàËƵÄÑо¿£¬ÂíÈøÖîÈû´óѧ°¢Ä¬Ë¹ÌØ·ÖУ¡¢Adobe Ñо¿ÔºµÈ»ú¹¹Ìá³öÁËÒ»ÖÖ½Ð×ö MakeItTalk µÄз½·¨£¬²»½öÄÜÈÃÕæÈËÍ·Ïñ˵»°£¬»¹¿ÉÒÔÈÿ¨Í¨¡¢ÓÍ»¡¢ËØÃè¡¢ÈÕÂþÖеÄÈËÏñ˵»°¡£
ÂÛÎÄÁ´½Ó£ºhttps://arxiv.org/pdf/2004.12992v1.pdf
²»ÐžÍÀ´¿´¿´Ð§¹û°É£¡
ÎÒÃÇÊ×ÏÈ¿´Ò»¿´ÕæÈËͼÏñµÄ¶¯Ì¬»¯Ð§¹û¡£
¿´ÆðÀ´²»´í£¬ÄÇô¿¨Í¨»ÄØ£¿
¸øÎÒÒ»¸ö²å×ù£¬ÎÒÄÜÈÃËû³É¾«£¡
»¹ÓÐÓÍ»¡£
Èç¹ûÎÒÏëÈÃͼÏñÖеÄÈËÎïÒ¡Í·»ÎÄÔ¸ß̸À«ÂÛ£¬»òÕß±£³Ö³Á¾²¶ËׯÄØ£¿
´ð°¸ÊÇÒ²¿ÉÒÔʵÏÖ¡£
?¶¯Í¼ get ²»µ½Éù»Í¬²½Ð§¹û£¿Çë´ÁÏÂÃæÕâ¸öÊÓƵ£º
ÄÇô£¬ÕâÊÇÈçºÎ×öµ½µÄÄØ£¿
֮ǰµÄ·½·¨ÍùÍùѧϰÒôƵºÍÔʼÏñËØÖ®¼äµÄÖ±½ÓÓ³Éä½ø¶ø´´½¨ÈËÎïµÄ˵»°¶¯Ì¬£¬¶øÕâÏîÑо¿Ìá³öµÄ·½·¨½«ÊäÈëÒôƵÐźÅÖеÄÄÚÈݺÍ˵»°ÈËÉí·ÝÐÅÏ¢·ÖÀ뿪À´£ºÒôƵÄÚÈÝÓÃÀ´ÎȽ¡µØ¿ØÖÆ×ì´½¼°ÖÜΧÇøÓòµÄÔ˶¯£»Ëµ»°ÈËÐÅÏ¢Ôò¾ö¶¨Ã沿±íÇéµÄϸ½ÚºÍÈËÎïµÄÍ·²¿¶¯Ì¬¡£
¸Ã·½·¨µÄÁíÒ»¸öÖØÒª×é¼þÊÇÔ¤²âÄܹ»·´Ó³Ëµ»°È˶¯Ì¬µÄÃ沿ÌØÕ÷µã¡£»ùÓÚ¸ÃÖмä±íÕ÷£¬¸Ã·½·¨Äܹ»ÎªÕæÈËÍ·²¿Í¼ÏñºÏ³É˵»°×´Ì¬ÊÓƵ¡£´Ë·½·¨»¹¿ÉÓÃÓÚÒÕÊõ×÷Æ·¡¢ËØÃè¡¢2D ¿¨Í¨ÈËÎï¡¢ÈÕÂþ¡¢ËæÊÖÍ¿Ñ»µÈͼÏñ¡£
Ñо¿Õ߶Ը÷½·¨½øÐÐÁ˶¨Á¿ºÍ¶¨ÐÔÆÀ¹À£¬½á¹û±íÃ÷Óë֮ǰµÄ SOTA ·½·¨Ïà±È£¬¸Ã·½·¨Äܹ»Éú³É¾ß±¸¸ü¸ßÖÊÁ¿µÄ˵»°×´Ì¬Í·²¿¶¯»¡£
ͼ 8£ºÓë SOTA ·½·¨µÄ¶Ô±È¡£
¸ÃÑо¿µÄÖ÷Òª¹±Ï×ÈçÏ£º
ͼ 2£ºMakeItTalk ·½·¨¸ÅÀÀ¡£
ÈçÉÏͼËùʾ£¬¸ø³öÒ»¶ÎÒôƵºÍÒ»ÕÅÃ沿ͼÏñ£¬MakeItTalk ¼Ü¹¹¿ÉÒÔÉú³É˵»°È˵ÄÍ·²¿×´Ì¬¶¯»£¬ÇÒÉù»Í¬²½¡£
ÔÚѵÁ·½×¶Î£¬Ñо¿ÕßʹÓÃÏֳɿÉÓõÄÈËÁ³ÌØÕ÷µã¼ì²âÆ÷¶ÔÊäÈëͼÏñ½øÐÐÔ¤´¦Àí£¬ÌáÈ¡Ã沿ÌØÕ÷µã¡£È»ºóʹÓÃÊäÈëÒôƵºÍÌáÈ¡µ½µÄÌØÕ÷µãÖ±½ÓѵÁ·Ê¹ÓïÒôÄÚÈݶ¯Ì¬»¯µÄ»ùÏßÄ£ÐÍ¡£ÎªÁË´ïµ½¸ß±£Õ涯̬Ч¹û£¬Ñо¿Õß³¢ÊÔ½«ÊäÈëÒôƵÐźŵÄÓïÒôÄÚÈݺÍ˵»°ÈËǶÈë·ÖÀ뿪À´£¬½ø¶øʵÏÖÃ沿ÌØÕ÷µãµÄÔ¤²â¡£
¾ßÌå¶øÑÔ£¬¸ÃÑо¿Ê¹ÓÃÉùÒôת»»Éñ¾ÍøÂ罫ÓïÒôÄÚÈݺÍ˵»°ÈËÉí·ÝÐÅÏ¢·ÖÀ뿪¡£
ÓïÒôÄÚÈÝÓë˵»°ÈËÎ޹أ¬½ö²¶×½×ì´½¼°ÖÜΧÇøÓòµÄÔ˶¯£¨²Î¼ûͼ 2¡¸Speech Content Animation¡¹£©¡£Ëµ»°È˵ÄÉí·ÝÐÅÏ¢Ôò¾ö¶¨Á˶¯×÷µÄϸ½ÚºÍ˵»°È˵ÄÆäÓàÍ·²¿¶¯Ì¬£¨²Î¼Óͼ 2¡¸Speaker-Aware Animation¡¹£©¡£
ÀýÈ磬²»¹ÜË˵µ¥´Ê¡¸Ha!¡¹×ì´½¶¼»áÕÅ¿ª£¬ÕâÓë˵»°ÈËÎ޹أ¬½öÈ¡¾öÓÚ˵»°ÄÚÈÝ¡£¶ø×ì´½µÄÐÎ×´ºÍÕÅ¿ªµÄ·ù¶È£¬ÒÔ¼°±Ç×Ó¡¢ÑÛ¾¦ºÍÍ·²¿µÄ¶¯Ì¬ÔòÈ¡¾öÓÚ˵»°È˵ÄÉí·Ý¡£
»ùÓÚÓïÒôÄÚÈݺÍ˵»°ÈËÉí·ÝÐÅÏ¢£¬MakeItTalk Ä£ÐÍΪ¸ø¶¨ÒôƵÊä³öÔ¤²âÌØÕ÷µãÐòÁС£
ͼ 3£ºÕë¶Ô²»Í¬Ëµ»°ÈËÉí·ÝµÄÌØÕ÷µãÔ¤²â¡£×󣺸ø¶¨ÈËÁ³Í¼ÏñµÄ¾²Ì¬ÌØÕ÷µã£»ÓÒÉÏ£º¶Ô˵»°Ê±Í·²¿¶¯×÷½ÏÇáµÄÈ˵ÄÔ¤²âÌØÕ÷µãÐòÁУ»ÓÒÏ£º¶Ô˵»°Ê±Í·²¿¶¯×÷½Ï´óµÄÈ˵ÄÔ¤²âÌØÕ÷µãÐòÁС£
ΪÁËÉú³É¹âդͼÏñ£¬Ñо¿Õß¿ª·¢ÁËÁ½ÖÖÌØÕ÷µã-ͼÏñºÏ³É£¨landmark-to-image synthesis£©Ëã·¨¡£
¶ÔÓÚ·ÇÕæÈËͼÏñ£¬ÈçÓÍ»»òʸÁ¿Í¼£¨Í¼ 9£©£¬¸ÃÑо¿Ê¹ÓûùÓÚµÂÀÍÄÚÈý½ÇÆÊ·Ö£¨Delaunay triangulation£©µÄ¼òµ¥»»Á³·½·¨¡£
ͼ 4£ºÍ¨¹ýÃ沿ÌØÕ÷µãºÍµÂÀÍÄÚÈý½ÇÆÊ·Ö½øÐп¨Í¨Í¼Ïñ»»Á³¡£×󣺸ø³öµÄ¿¨Í¨Í¼ÏñºÍÃ沿ÌØÕ÷µã£»ÖУºµÂÀÍÄÚÈý½ÇÆÊ·Ö£»ÓÒ£ºÓÉÔ¤²âÌØÕ÷µãÒýµ¼½øÐл»Á³ºóµÄͼÏñ¡£
¶ÔÓÚÕæÈËͼÏñ£¨Í¼ 8£©£¬ÔòʹÓÃͼÏñת»»ÍøÂ磨ÀàËÆÓÚ pix2pix£©½«ÕæÈËÃ沿ͼÏñºÍµ×²ãÌØÕ÷µãÔ¤²â¶¯Ì¬»¯£¨²Î¼ûÉÏͼ 2¡¸Image2Image Translation¡¹£©¡£
Ö®ºó½áºÏËùÓÐͼÏñÖ¡ºÍÊäÈëÒôƵ£¬¾Í¿ÉÒԵõ½×îÖÕµÄ˵»°×´Ì¬Í·²¿¶¯»ÁË¡£
ÏÂͼ 6 չʾÁË¿¨Í¨Í¼ÏñºÍÕæÈËͼÏñµÄ¶¯Ì¬»¯½á¹û£º
ͼ 6£ºMakeItTalk Éú³ÉµÄ¿¨Í¨¶¯»ºÍÕæÈËÃ沿¶¯»¡£¸Ã·½·¨²»½ö¿ÉÒԺϳÉÃ沿±íÇ飬»¹¿ÉÒԺϳɲ»Í¬µÄÍ·²¿×ËÊÆ¡£
ºÏ³É˵»°×´Ì¬Í·²¿¶¯»ÓкܶàÓ¦Óó¡¾°£¬±ÈÈçÅäÒô¡£
ÏÂͼ 7a ÖУ¬ÔʼÊÓƵʹÓÃÓïÑÔΪӢÓ¶øÅäÒô°æʹÓõÄÊÇÎ÷°àÑÀÓÄÇôÎÊÌâÀ´ÁË£¬ÅäÒô°æӰƬÖÐÈËÎïµÄÃ沿±íÇéºÍÓïÒô¶Ô²»ÉϺš£Ê¹Óà MakeItTalk ºó¿ÉÒÔÉú³ÉÓïÒô¶ÔÓ¦µÄÊÓƵ֡£¬ÊµÏÖÉù»Í¬²½£¬²¢±£³ÖÔ°æÊÓƵÖеÄ˵»°·ç¸ñ¡£
ÁíÒ»¸öÓ¦ÓÃÔòÊÇÄ¿Ç°Ó¦Óù㷺µÄÊÓƵ»áÒé¡£
ÔÚÓÐÏÞ´ø¿íÊÓƵ»áÒéÖУ¬ÊÓƵ֡ÎÞ·¨ÒԸ߱£Õæ¶ÈºÍ¸ßÖ¡ÂʽøÐд«Ê䣬ÕâʱÎÒÃǾͿÉÒÔÀûÓÃÉùÒôÐźŴø¶¯Ëµ»°ÕßµÄÍ·²¿¶¯Ì¬ÊÓƵ¡£ÓëÊÓ¾õ»ÃæÏà±È£¬ÉùÒôÐźſÉÒÔÒԽϵ͵Ĵø¿í±£´æ¡£¶øÇÒ£¬Ã沿±íÇ飨ÓÈÆäÊÇ×ì´½¶¯×÷£©¶ÔÓÚ¹µÍ¨½»Á÷·Ç³£ÖØÒª¡£ÏÂͼ 7b չʾÁË£¬Ê¹Óà MakeItTalk ½ö»ùÓÚÒôƵºÍ³õʼ¸ßÖÊÁ¿ÊÓƵ֡ºÏ³ÉµÄÍ·²¿¶¯Ì¬ÊÓƵ¡£
ͼ 7£ºMakeItTalk µÄÓ¦ÓᣵÚÒ»ÐУºÓò»Í¬ÓïÑÔΪÊÓƵÅäÒô£»µÚ¶þÐУºÓÐÏÞ´ø¿íÊÓƵ»áÒé¡£
ÁìȡרÊô 10ÔªÎÞÃż÷ȯ
˽Ïí×îР¼¼Êõ¸É»õ