¶ÔÍÁºÀÀ´Ëµ×îÍ´¿àµÄÊÇʲô£¬¾ÍÊÇÓÐÒ»´ó¶ÑÓ²¼þÈ´²»ÄÜʵÏÖ1+1=2µÄЧ¹û¡£
AIѵÁ·ÖеIJ¢ÐмÆËã¾ÍÊÇÈç´Ë£¬×ÝʹÄãÓÐһǧÕÅGPU£¬Ò²ÎÞ·¨ÊµÏÖµ¥»úѵÁ·Ò»Ç§±¶µÄЧ¹û¡£
×î½ü£¬²»²îÇ®µÄ¹È¸è£¬¿ªÔ´ÁËÒ»ÖÖSEED RL¿ò¼Ü£¬¿ÉÒÔ¸üÈÝÒ׵ؽ«AIѵÁ··ÅÔÚ¼¸Ç§Ì¨»úÆ÷ÉÏÔËÐУ¬Ð§¹û±È֮ǰµÄ·½·¨×î¸ßÌáÉý½ü4±¶¡£
Èç¹ûÄãÒ²²»²îÇ®£¬ÔÚÔƶËÉϽøÐдó¹æÄ£²¢ÐмÆË㣬ÄÇô¿ÉÒÔ½ÚÔ¼80%µÄѵÁ·³É±¾¡£¿¼Âǵ½ÏÖÔÚÒ»¸ö´óÐÍAIÄ£ÐͶ¯éüÉÏ°ÙÍòµÄѵÁ··ÑÓã¬ÕæµÄÊǷdz£¿É¹ÛÁË¡£
ÔÚѵÁ·AIÍæ×ãÇòÓÎÏ·Õâ¼þÊÂÇéÉÏ£¬SEED RLµÄ´¦ÀíËٶȿÉÒԴﵽÿÃë240ÍòÖ¡¡£Èç¹ûÒÔ60fps¼ÆË㣬Ï൱ÓÚÿÃë¿É´¦Àí11СʱµÄÓÎÏ·»Ãæ¡£
ÉÏÒ»´úµÄ·Ö²¼Ê½Ç¿»¯Ñ§Ï°ÖÇÄÜÌåIMPALA£¬ÆäÌåϵ¼Ü¹¹Öаüº¬ActorºÍLearnerÁ½²¿·Ö¡£
Actorͨ³£ÔÚCPUÉÏÔËÐУ¬²¢ÇÒÔÚ»·¾³ÖвÉÈ¡µÄ²½ÖèÓë¶ÔÄ£ÐͽøÐÐÍƶÏÖ®¼ä½øÐеü´ú£¬ÒÔÔ¤²âÏÂÒ»¸ö¶¯×÷¡£
Actor¾³£»á¸üÐÂÍÆÀíÄ£Ð͵IJÎÊý£¬²¢ÇÒÔÚÊÕ¼¯µ½×ã¹»ÊýÁ¿µÄ¹Û²â½á¹ûºó£¬»á½«¹Û²â½á¹ûºÍ¶¯×÷µÄ¹ì¼£·¢Ë͸øLearner£¬´Ó¶ø¶ÔLearner½øÐÐÓÅ»¯¡£
ÔÚÕâÖּܹ¹ÖУ¬LearnerʹÓÃÀ´×ÔÊý°Ų̀»úÆ÷Éϵķֲ¼Ê½ÍÆÀíÊäÈëÔÚGPUÉÏѵÁ·Ä£ÐÍ¡£
µ«IMPALA´æÔÚ×ÅÐí¶àȱµã£º
1¡¢Ê¹ÓÃCPU½øÐÐÉñ¾ÍøÂçÍÆÀí£¬Ð§ÂʵÍÏ¡£¶øÇÒËæ×ÅÄ£Ðͱä´ó¡¢ÔËËãÁ¿±ä´ó£¬ÎÊÌâ»áÔ½À´Ô½ÑÏÖØ¡£
2¡¢ActorºÍLearnerÖ®¼äÄ£ÐͲÎÊýµÄ´ø¿í³ÉΪÐÔÄܵÄÆ¿¾±¡£
3¡¢×ÊÔ´ÀûÓÃЧÂʵͣ¬ActorÔÚ»·¾³ºÍÍÆÀíÁ½¸öÈÎÎñÖ®¼ä½»Ìæ½øÐУ¬¶øÕâÁ½¸öÈÎÎñµÄ¼ÆËãÒªÇó²»Í¬£¬ºÜÄÑÔÚͬһ̨»úÆ÷Éϳä·ÖÀûÓÃ×ÊÔ´¡£
SEED RLÌåϵ¼Ü¹¹½â¾öÁËÒÔÉÏÕâЩȱµã¡£Actor¿ÉÒÔÔÚGPU¡¢TPUÕâÀàAIÓ²¼þ¼ÓËÙÆ÷ÉÏÍê³ÉÍÆÀí£¬Í¨¹ýÈ·±£½«Ä£ÐͲÎÊýºÍ״̬±£³ÖÔÚ±¾µØÀ´¼Ó¿ìÍÆÀíËٶȣ¬²¢±ÜÃâÊý¾Ý´«ÊäÆ¿¾±¡£
ÓëIMPALAÌåϵ½á¹¹Ïà·´£¬SEED RLÖеÄActor½öÔÚ»·¾³ÖÐÖ´ÐвÙ×÷¡£LearnerÔÚÓ²¼þ¼ÓËÙÆ÷ÉÏʹÓÃÀ´×Ô¶à¸öActorµÄ³ÉÅúÊý¾ÝÀ´¼¯ÖÐÖ´ÐÐÍÆÀí¡£
SEED RLÔÚÿ¸ö»·¾³²½Ö轫¹Û²â½á¹û·¢Ë͸øLearnerµÄͬʱ£¬Ê¹ÓÃgPRC¿ò¼ÜµÄÍøÂç¿â£¬½«ÑÓ³Ù±£³ÖÔڽϵÍˮƽ¡£ÕâʹSEED RLÔÚһ̨»úÆ÷ÉÏÿÃë×î¶à¿ÉÒÔʵÏÖÒ»°ÙÍò¸ö²éѯ¡£
Learner¿ÉÒÔÀ©Õ¹µ½¼¸Ç§¸öºËÐÄÉÏ£¬ActorµÄÊýÁ¿¿ÉÒÔÀ©Õ¹µ½¼¸Ç§Ì¨»úÆ÷£¬´Ó¶øʵÏÖÿÃë°ÙÍòÖ¡µÄѵÁ·Ëٶȡ£
SEED RLÓõ½ÁËÁ½ÖÖ×îÏȽøµÄËã·¨£ºV-traceºÍR2D2¡£
V-trace¸ºÔð´Ó²ÉÑùµÄ¶¯×÷ÖÐÔ¤²â¶¯×÷µÄ·Ö²¼£¬R2D2¸ºÔð¸ù¾Ý¶¯×÷µÄÔ¤²âδÀ´ÖµÑ¡ÔñÒ»¸ö¶¯×÷¡£
V-traceÊÇ»ùÓÚ²ßÂÔÌݶȵķ½·¨£¬×îÔç±»IMPALA²ÉÓá£ÓÉÓÚActorºÍLearnerÊÇÒì²½Ö´ÐУ¬¶øV-traceÔÚÒì²½Ìåϵ¼Ü¹¹ÖеÄЧ¹ûºÜºÃ
µÚ¶þÖÖËã·¨ÊÇR2D2£¬ÕâÊÇÒ»ÖÖQѧϰ·½·¨£¬DeepMindÔøÓÃÕâÖÖËã·¨½«Ç¿»¯Ñ§Ï°ÖÇÄÜÌåÔÚAtariÓÎÏ·ÉϵÄˮƽÌá¸ßÁË4±¶£¬²¢ÔÚ52¿îÓÎÏ·Éϳ¬¹ýÁËÈËÀàˮƽ¡£
ÕâÖÖ·½·¨ÔÊÐíQѧϰËã·¨´ó¹æÄ£Ó²¼þÉÏÔËÐеÄͬʱÈÔÈ»¿ÉÒÔʹÓÃRNN¡£
¹È¸èÔÚDeepMind×î½üÑо¿µÄ¿ªÔ´×ãÇòÓÎÏ·ÏîÄ¿Google Research FootballÖнøÐÐÁË»ù×¼²âÊÔ¡£
ʹÓÃ64¸öCloud TPUºËÐÄʵÏÖÁËÿÃë240ÍòÖ¡µÄÊý¾Ý´«ÊäËٶȣ¬Óë֮ǰµÄ×îзֲ¼Ê½IMPALAÏà±È£¬Ìá¸ßÁË80±¶¡£
IMPALAÒªÏë´ïµ½ÏàͬµÄËٶȣ¬ÐèÒª14000¸öCPU£¬¶øSEED RLÖ»ÓÃÁË4160¸öCPU¡£¶ÔÓÚÏàͬµÄËٶȣ¬IMPALAÐèÒªµÄCPUÊÇSEED RLµÄ3~4±¶¡£
ͨ¹ý¶Ô²¢ÐмÆËãµÄÓ²¼þ¼ÓËÙÆ÷½øÐÐÓÅ»¯£¬ÎÒÃǾͿÉÒÔ·ÅÐĴ󵨵ØÌá¸ßÄ£Ð͵ĴóС¡£
ÔÚÉÏÃæµÄ×ãÇòÓÎÏ·ÈÎÎñÖУ¬Í¨¹ýÔö¼ÓÄ£ÐÍ´óСºÍÊäÈë·Ö±æÂÊ£¬¿ÉÒÔ½â¾ö´ÓǰδÄܽâ¾öµÄһЩÀ§ÄÑ£¬ÈÃѵÁ·Ä£Ð͵ÄЧÂÊ´ó·ùÌá¸ß¡£
´«ËÍÃÅ
ÂÛÎĵØÖ·£º
https://arxiv.org/abs/1910.06591
GitHubµØÖ·£º
https://github.com/google-research/seed_rl
±¾ÎľAIÐÂýÌåÁ¿×Ó루¹«ÖÚºÅID:QbitAI£©ÊÚȨתÔØ£¬×ªÔØÇëÁªÏµ³ö´¦¡£
ÁìȡרÊô 10ÔªÎÞÃż÷ȯ
˽Ïí×îР¼¼Êõ¸É»õ