ÔÚ¹ýÈ¥µÄ¼¸Ê®ÄêÀïÁ¿×ÓÎïÀí¼¼ÊõµÄ̽Ë÷ÖУ¬×îÒýÈËעĿµÄ¾ÍÊÇÁ¿×Ó¼ÆËã»ú¡£
Á¿×Ó¼ÆËã»úµÄÄÜÁ¦£¬ÊÇËùÓÐÏÖÓеļÆËã»ú×éºÏ¼ÓÆðÀ´¶¼ÎÞ·¨Æ¥µÐ¡£µ«µ½Ä¿Ç°ÎªÖ¹»¹Ã»ÓÐÈËÄܹ»ÖÆÔì³öһ̨¹¦ÄÜÆëÈ«µÄÁ¿×Ó¼ÆËã»ú¡£Õâ¾ÍÐèÒªÎÒÃÇÔÚ¿ØÖÆÁ¿×ÓϵͳµÄÄÜÁ¦ÉÏÏòÇ°¿çÒ»²½¡£
AlphaZeroÒ»¿ªÊ¼ÊÇרÃÅÓÃÀ´ÏÂΧÆåµÄ¡£Î§ÆåµÄÂä×ÓλÖÃÌ«¶àÁË´óÔ¼ÓÐÖÖ¡£Ïà±È֮ϣ¬¹ú¼ÊÏóÆåÖ»ÓÐÖÖ¿ÉÄܵÄ×ßλ¡£
ËùÒÔAlphaZeroʹÓÃÁËÒ»¸öÉî²ãµÄÉñ¾ÍøÂ磬Ëüѧ»áÁË´ÓÒ»¸öÌض¨µÄλÖÿªÊ¼ÆÀ¹ÀËü»ñʤµÄ¿ÉÄÜÐÔ¡£ÎªÁË»ñʤ£¬AlphaZeroÓÐÒ»¸ö¹¦ÄܽÐ×öÃÉÌØ¿¨ÂåÊ÷ËÑË÷£¬ÕâÖÖ·½·¨Äܹ»°ïÖúËüÔÚÓÎÏ·ÖС°Ô¤ÖªÎ´À´¡±¡£
ÓÉÓÚÔÚËùÓпÉÄܲßÂÔÖгéÑùµÄ¿ÉÄÜÐԱȽÏС£¬¶øÇÒÉñ¾ÍøÂçÖ»ÄܽüËƹÀ¼Æ£¬ËùÒÔÌرðÊÇÔÚÆäѵÁ·½×¶Î£¬ÃÉÌØ¿¨ÂåÊ÷ËÑË÷Äܹ»¼«´óµØÌá¸ßÓÎÏ·µÄ׼ȷÐÔÒÔ¼°ÑµÁ·Ð§ÂÊ¡£
ÕâÀàËÆÓÚÖ°ÒµÆåÊÖÔÚÏÂÆåʱÄܹ»ÌáÇ°Ï뼸²½Æ塣ѵÁ·½á¹ûÊÇÏ൱¾ªÈ˵ģ¬AlphaZero ºÜ¿ì¾Í´Ý»ÙÁËרҵÓÎÏ·Èí¼þºÍÈËÀàÍæ¼Ò¡£ÀýÈ磬¾¹ý½ö½öËĸöСʱµÄ×ÔÎÒ¶ÔÞÄÁ·Ï°£¬AlphaZero ¾ÍÔÚ¹ú¼ÊÏóÆåÖл÷°ÜÁËÁìÏȵÄÆåÀàÈí¼þ Stockfish¡£¶øÇÒÕâÍêÈ«¶¼ÊÇ´ÓÁ㿪ʼ£¬Ò»¿ªÊ¼AlphaZero¸ù±¾²»ÖªµÀÓÎÏ·¹æÔò¡£µ¤Âó¹ú¼ÊÏóÆå´óʦPeter Heine Nielsen½«Æä±È×÷Ò»¸ö·ÃÎʹýµØÇòµÄ¸ß¼¶ÍâÐÇÎïÖÖ¡£
Ä¿Ç°AlphaZero ÒѾÓÐЧµØÔÚΧÆ壬¹ú¼ÊÏóÆåºÍÐǼÊÕù°ÔÖÐսʤ¶ÔÊÖ¡£AlphaZero³É¹¦µÄ¹Ø¼üÊǽ«ÃÉÌØ¿¨ÂÞÊ÷ËÑË÷ºÍ¾ßÓÐÇ°Õ°ÐÔµÄÉî¶ÈÉñ¾ÍøÂç½áºÏÆðÀ´¡£½á¹û±íÃ÷£¬´ÓÊ÷Ï·½ÑÓÕ¹³öÀ´µÄÔ¤²âÐÅÏ¢¼«´óµØÌá¸ßÁËÉî¶ÈÉñ¾ÍøÂçµÄ¾«¶È£¬Ê¹Ô¤²â½á¹û¸ü¼Ó׼ȷ¼¯ÖУ¬¶ø·ÇÊÔ̽ÐÔµÄ̽Ë÷¡£
ÓëÆÕͨ¼ÆËã»úÀàËÆ£¬Á¿×Ó¼ÆËã»úʹÓÃÃŲÙ×÷£¨gate operations£©À´²Ù×ÝÆäÁ¿×Óλ¡£ÎÒÃÇÊÔͼͨ¹ý¹¹½¨·Ö¶Îºã¶¨µÄÂö³åÐòÁÐÀ´ÊµÏÖÌض¨µÄÃŲÙ×÷£¬¼´AlphaZero±ØÐëΪÿ¸öʱ¼ä²½³¤£¨time-step£©Ñ¡ÔñÒ»¸öÂö³å·ù¶È¡£ÎïÀíϵͳÔÚÿ¸öʱ¼ä²½³¤tjÉ϶¼ÓÉÒ»¸ö4x4¸´ÔӵľØÕóU(tj)½øÐÐÊýѧÃèÊö£¬ÎÒÃǽ«ÆäÕÛµþ³ÉÒ»¸ö³¤¶ÈΪ32µÄÏòÁ¿¡£ÕâÊÇÉñ¾ÍøÂçµÄÊäÈ룬Èçͼ1Ëùʾ¡£Âö³åÐòÁÐÍê³Éºó£¬¾Í¿ÉÒÔ½«¸´Êý¾ØÕóU(T)Ó³ÉäΪһ¸öʵÊý£¬³ÆΪ·ÂÕæ±ÆÕæ¶È£¨fidelity£©F£¬¸ÃʵÊýµÄÈ¡ÖµÔÚ0µ½1Ö®¼ä¡£´Ó±¾ÖÊÉϽ²£¬·ÂÕæ±ÆÕæ¶ÈÊÇÒ»ÖÖ¸ÅÂʶÈÁ¿£¬ÆäÖÐ1±íʾ100£¥³É¹¦¡£
ͼ1.AlphaZeroʹÓõÄMCTS£¨×󣩺ÍÉî¶ÈÉñ¾ÍøÂ磨ÓÒ£©µÄͼʾ
×óͼºÍÓÒͼ·Ö±ðÑÝʾÁË AlphaZero µÄÊ÷ËÑË÷ºÍÉñ¾ÍøÂç¡£ÀûÓÃÊ÷ËÑË÷ÖÐͳһµÄËÑË÷½á¹û×÷ΪÉñ¾ÍøÂçµÄÊäÈëÏî¡£Éñ¾ÍøÂçµÄÉÏÏÞÊä³ö½Ó½ü¸ø¶¨ÊäÈë״̬µÄÏÖÐвßÂÔ£¬¼´ p a ¡« a pa ¡« a¡£Í¬Ê±£¬ÏÂÏÞÊä³öÌṩÁËÒ»¸öÄܹ»Ô¤¹ÀÆÚÍû×îÖÕ±¨³êµÄÖµº¯Êý£¬¼´ v (s t)¡«(t) v (st)¡« f (t)¡£ÔÚÎÒÃǵŤ×÷ÖУ¬ÎÒÃÇ·¢ÏÖÒÔÒ»ÖµÄÐÎʽÏò AlphaZero ÌṩÎïÀíϵͳµÄÍêÕûÐÅÏ¢£¬ÓÐÀûÓÚÌáÉýËüµÄÐÔÄÜ£¬¾¡¹ÜÕâÖÖ·½Ê½¿ÉÄܱȽÏÄÑÒÔµ÷ÕûÒÔÊÊÓ¦¾ßÓнϴóÏ£¶û²®ÌØ¿Õ¼äµÄϵͳ¡£
Éñ¾ÍøÂçÊä³öÒ»¸öÖµ£¬¸ÃÖµÊǶÔ×îÖÕ·ÂÕæ±ÆÕæ¶Èv¡ÖFºÍһЩÒƶ¯¸ÅÂÊp=(p1, p2, ...)µÄ¹À¼Æ¡£Á½Õ߶¼ÔÚÃÉÌØ¿¨ÂåÊ÷ËÑË÷ÖÐʹÓá£Ê÷Óɽڵ㣨״̬£©ºÍ±ß£¨×´Ì¬-¶¯×÷¶Ô£©×é³É¡£Ê÷ËÑË÷´Ó¸ù½Úµã¿ªÊ¼£¬²¢Í¨¹ýÔÚÿ¸ö²½ÖèÖÐÑ¡Ôñ¶¯×÷À´¹á´©Ê÷¡£Ñ¡ÔñÄÄÖÖÐж¯£¬ÊÇͨ¹ý±È½Ïÿһ¸ö±ßÔµµÄÄÚÔÚÊôÐÔ£¬ÒÔƽºâ¿±Ì½ºÍ¿ª·¢µÄ·½Ê½½øÐеġ£Ò»µ©Ì½Ë÷µ½Á˱ßÔµ£¬ÆäÄÚÔÚÊôÐÔ½«¸ù¾ÝËÑË÷½á¹û½øÐиüС£
Ê÷ÖеÄÕýÏòËÑË÷½«¼ÌÐø£¬Ö±µ½Óöµ½Ò»¸öÒÔǰδ·ÃÎʹýµÄ½Úµã£¬È»ºó½«¸Ã½ÚµãÌí¼Óµ½Ê÷ÖУ¬²¢Ê¹ÓÃp³õʼ»¯Æä±ßÔµ¡£ËÑË÷ÖеÄËùÓзÃÎʹýµÄ±ß¶¼½«Ê¹ÓÃvÔÚ·´Ïò¹ý³ÌÖиüС£Ò»µ©Ö´ÐÐÁ˶à´Î´ËÀàËÑË÷£¬AlphaZero½«È·¶¨Ò»¸ö²Ù×÷²¢¸üиù½Úµã£¬¶ø¶ªÆúÊ÷µÄÆäÓಿ·Ö¡£×îºó£¬»ùÓÚÊ÷ËÑË÷²úÉúµÄÊý¾Ý¶ÔÉñ¾ÍøÂç½øÐиüУ¬Ê¹µÃv½Ó½ü±£Õæ¶È£¬²¢ÇÒÒƶ¯¸ÅÂÊÔö¼ÓÁËÑ¡Ôñ¸üÓÐÏ£Íû¶¯×÷µÄ»ú»á¡£
¼òÑÔÖ®£ºÃÉÌØ¿¨ÂåÊ÷ËÑË÷ÔÊÐíAlphaZeroÏòÇ°¿´¼¸²½£¬´Ó¶ø¿ÉÒÔÔÚ½â¾ö·½°¸¿Õ¼äÖнøÐиüÈ«ÃæµÄËÑË÷¡£ÕâʹµÃAlphaZeroÔÚ³¤ÆÚ²ßÂÔÖÁ¹ØÖØÒªµÄ¸´ÔÓÈÎÎñÖбȴó¶àÊýÆäËûÇ¿»¯Ñ§Ï°·½·¨¸ü¾ßÓÅÊÆ¡£
³É¹¦ÊµÏÖAlphaZeroÖ®ºó£¬ÎÒÃÇʹÓÃÏàͬµÄËã·¨³¬²ÎÊý½«ÆäÓÃÓÚÈý¸ö²»Í¬µÄÁ¿×Ó¿ØÖÆÎÊÌâ¡£¶ÔÓÚÿ¸öÎÊÌ⣬ÎÒÃǽ«AlphaZeroÓë¸ü³£¹æµÄËã·¨½øÐÐÁ˱Ƚϡ£ÀýÈ磬ÔÚͼ2ÖУ¬ÎÒÃDZȽÏÁËAlphaZeroºÍÒÅ´«Ëã·¨ÔÚ50СʱÔËÐÐÆڼ䴴½¨¶þ½øÖÆÂö³åµÄÈÎÎñ¡£ÔÚyÖáÉÏ£¬ÎÒÃÇ»æÖÆinfidelity 1-F£¬Õâʵ¼ÊÉÏÊÇ´íÎóÂÊ£¨¼´Ô½µÍÔ½ºÃ£©¡£×î³õ£¬AlphaZeroÔÚѧϰÁ¿×ÓÁ¦Ñ§¹ØÁªÊ±±íÏÖ²»ÈçÒÅ´«Ëã·¨£¬µ«ÊÇÕâ¸öѧϰ½×¶ÎÏ൱¶Ì¡£ÔÚ30СʱÄÚ£¬ÎÒÃÇ·¢ÏÖAlphaZeroµÄÐÔÄܱÈÒÅ´«Ëã·¨Ìá¸ßÁËÒ»¸öÊýÁ¿¼¶£¬²¢ÇÒ¾ßÓдóÁ¿¶ÀÌصĸ߱£ÕæÂö³åÐòÁС£
ͼ2.ÒÅ´«Ëã·¨ºÍAlphaZeroÔÚ50СʱÔËÐÐÆÚ¼äµÄ±È½Ï¡£ÔÚyÖáÉÏ»æÖÆÁËinfidelity (1-F)£¬Õâʵ¼ÊÉÏÊÇÒ»¸ö´íÎóÂÊ
AlphaZero»áÊä¸øÎïÀíѧ¼ÒÔÚ¹ýÈ¥15Äê²»¶ÏÍêÉƵĸ߶ÈÁ¿×Ó»¯µÄÓÅ»¯Ëã·¨²¢²»Ææ¹Ö¡£µ«ÊÇ£¬Èç¹ûAlphaZeroËÀÔÚÕâÀ»áÁôϺܶàÒź¶¡£
ÓÉÓÚÌݶÈÓÅ»¯Ë㷨ûÓÐѧϰ¹¦ÄÜ£¬Òâζ×ÅѵÁ·¹ý³ÌÖÐÆäÐÔÄÜûÓÐÖð²½Ìá¸ß£¬²¢ÇÒËùÓÐÉú³ÉµÄÊý¾Ý¶¼½«±»¶ªÆú£¬¶ø²»ÊÇÓÃÓÚºóÐøѧϰ¡£
°Âºú˹´óѧµÄÍŶӿªÊ¼Ñ°ÇóÒ»ÖÖ»ìºÏËã·¨£ºAlphaZeroͨ¹ý¹ã·ºµÄ̽Ë÷Éú³ÉÁ˸߿ÉÓõÄÖÖ×Ó¶ÔÏó£¬Ëæºóͨ¹ý»ùÓÚÌݶȵķ½·¨¶ÔËüÃǽøÐÐÓÅ»¯£¬ÕâÖÖ·½·¨Ê¹½â¾ö·½°¸µÄÊýÁ¿ºÍÖÊÁ¿¶¼µÃµ½Á˼«´óµÄÌá¸ß¡£
ʵ¼ÊÉÏ£¬AlphaZeroºÍÌݶÈÓÅ»¯½â¾öÁ˲»Í¬µÄÎÊÌ⣺AlphaZeroÄÜѧϰµ½½â¾ö·½°¸µÄ»ù´¡½á¹¹£¬ÌݶÈÓÅ»¯ÔÚÖÖ×Ó½â¾ö·½°¸ÖÜΧµÄ¾Ö²¿¿Õ¼äÖнøÐÐÓÅ»¯¡£Èç¹û½öʹÓÃÌݶÈÓÅ»¯£¬¾¹ý50СʱµÄÄ£Ä⣬ÎÒÃÇ¿ÉÄÜÓÐÁ½¸ö»òÈý¸öÓÐǰ;µÄ½â¾ö·½°¸£¬µ«Í¨¹ýÎÒÃǵĻìºÏËã·¨£¬¿ÉÒÔ»ñµÃһǧ¸ö¡£
½«¹¦ÄÜÇ¿´óµÄͨÓÃÁìÓò»úÆ÷ѧϰ·½·¨ÓëÈËÀàרҵ֪ʶ¡¢Ìض¨ÁìÓòµÄÂùÁ¦¼ÆËãÏà½áºÏµÄ½á¹ûÁîÈËÕñ·Ü¡£¹ú¼ÊÏóÆåÒѾÂõ³öÁ˵ÚÒ»²½£¬»ìºÏÐÍÈË»úÍŶӽ«×¨¼Ò֪ʶºÍStockfishÒýÇæ½áºÏÆðÀ´£¬¿ÉÒÔͬʱʤ¹ýÈËÀàºÍËã·¨¡£
×î½üGary MarcusºÍErnest DavidÔÚËûÃǵÄÐÂÊ顶ÖØÐÂÆô¶¯AI£º¹¹½¨ÎÒÃÇ¿ÉÒÔÐÅÀµµÄÈ˹¤ÖÇÄÜ¡·ÖÐÌá³ö£¬½«ÁìÓòÌض¨·½·¨ºÍÁìÓòͨÓ÷½·¨Óë·Ö²ãµÄÊÜÈËÀàÆô·¢µÄ¾ö²ß¹ý³ÌÏà½áºÏ£¬ÊÇδÀ´¹¹½¨Ç¿´óµÄAI·½·¨µÄºËÐÄÔªËØÖ®Ò»¡£Õâ¿ÉÄÜ»á½â¾öAlphaZero·½·¨×îÖ±½ÓµÄ±×¶ËÖ®Ò»£º³¬²ÎÊýºÜ¶à£¬µ«½öÔÚÓÐÏ޵ķ¶Î§ÄÚÓÐÓá£
ÔÚһЩ°¸ÀýÖУ¬ÏàͬµÄ³¬²ÎÊý¼¯ÔÚÈýÖÖÁ¿×ÓÇé¿öϾùÄܺܺõع¤×÷£¬µ±¸Ä±äÎÊÌâµÄÉ趨£¬AlphaZero½«ÎÞ·¨½â¾ö¡£
Á¿×Ó¼ÆËã»úÀûÓÃÁ¿×Ó²¢ÐÐÐÔ´ó·ùÌá¸ßÁ˼ÆËٶȣ¬µ«ÊÇÎÊÌâÔٴγöÏÖ£ºËÑË÷¿Õ¼äµÄ¿ØÖƲÎÊý³ÉÖ¸Êý¼¶Ôö³¤¡£AlphaZeroʵÑéÖ¤Ã÷£¬Éñ¾ÍøÂçÌṩµÄ½üËƺͲ»ÍêÉƵĽâ¾ö·½°¸¿ÉÒԳ䵱±¾µØÂùÁ¦Æô·¢Ê½Ëã·¨µÄÇ¿´óÖÖ×ÓÉú³ÉÆ÷¡£
³ýÁËËã·¨·½ÃæµÄÓÅ»¯Éè¼Æ£¬Á¿×Ó¼ÆËã±¾ÉíµÄÐÔÄÜÒ²ÔÚ·ÉËÙÌáÉý¡£
×î½üÁ¿×Ó¼ÆËã½Ý±¨Æµ´«¡£
µ¤Â󡢵¹ú¿Æѧ¼ÒÆæ˼ÃîÏëÓÃAlphaZero½â¾öÁ¿×Ó¼ÆËãÎÊÌ⣬MITµÈ¿Æѧ¼ÒÔòÔÚ½ð×ӵıíÃ棬¹Û²âµ½ÁËÂíÔ¼ÀÄÉ·ÑÃ××Ó£¬´Ó¶øÔÚ½«Á£×Ó·ÖÀëΪÎȶ¨µÄ¡¢·À´íµÄÁ¿×Ó±ÈÌؽøÐÐÁ¿×Ó¼ÆËãÁìÓòÂõ³öÁËÖØÒªµÄÒ»²½£¬¸Ã½á¹û·¢±íÔÚ¡¶ÃÀ¹ú¹ú¼Ò¿ÆѧԺԺ¿¯¡·ÉÏ¡£
ÔÚÁ£×ÓÎïÀíѧÖУ¬ÂíÔ¼ÀÄÉ·ÑÃ××ÓÊÇÒ»Àà»ù±¾Á£×Ó£¬°üÀ¨µç×Ó£¬ÖÊ×Ó£¬ÖÐ×ӺͿä¿Ë£¬ËüµÄ·´Á£×Ó¾ÍÊÇËü±¾Éí¡£ÓÉÒâ´óÀûÀíÂÛÎïÀíѧ¼ÒEttore MajoranaÔÚ1937ÄêÊ×´ÎÌá³ö¡£
ÂíÔ¼ÀÄÉ·ÑÃ××Ó
È»¶ø²»ÐÒµÄÊÇ£¬ÕâλÎïÀíѧ¼ÒÌá³ö¸ÃÀíÂÛºó²»µ½Ò»Äêʱ¼ä£¬¾ÍÔÚÒ»´ÎÉñÃصÄÒâ´óÀûº£°¶¶ÉÂÖÂÃÐÐÖÐʧ×ÙÁË¡£´Ó´Ë£¬´ó¼Ò¾ÍÒ»Ö±ÔÚÑ°ÕÒÂíÔ¼ÀÄɺÍËûµÄÂíÔ¼ÀÄÉ·ÑÃ××Ó¡£×îÖÕ£¬´ó¼Ò·ÅÆúÁËÑ°ÕÒÂíÔ¼ÀÄÉ£¬µ«È´´ÓδֹͣѰÕÒËûµÄ·ÑÃ××Ó¡£
ÏÖÔÚ£¬ÓÉMITÁìµ¼µÄÍŶÓÖÆÔìÁËÔÚ³¬µ¼²ÄÁÏ·°ÉÏÉú³¤µÄ½ðÄÉÃ×Ïß×é³ÉµÄ²ÄÁϱíÃ棬·¢ÏÖÁ˽ӽüÁãÄÜÁ¿µÄÌØÕ÷Ðźżâ·å¡£ÏÔÈ»£¬¸ù¾ÝÄ¿Ç°µÄÀíÂÛÎïÀíѧÀ´¿´£¬³ýÁËÂíÔ¼ÀÄÇ·ÑÃ××Ó¶Ô£¬Ã»ÓÐÆäËû¿ÉÄÜ¡£
ÂíÔ¼ÀÄÉ·ÑÃ××Ó½«ÊÇÀíÏëµÄÁ¿×Ó±ÈÌØ»òÁ¿×Ó¼ÆËã»úµÄµ¥¸ö¼ÆË㵥룬һ¸öÁ¿×Ó뽫ÓɳɶԵÄÂíÔ¼ÀÄÇ·ÑÃ××Ó×é³É£¬ÕâÊÇ¿Æѧ¼Ò³¤ÆÚÒÔÀ´£¬Ò»Ö±ÃÎÃÂÒÔÇóµÄ²ÄÁÏ£¡
Èç¹û¸ÃÂíÔ¼ÀÄÉ·ÑÃ××Ó±»³¹µ×֤ʵ£¬ÎÒÃǽ«ÌáÇ°²½ÈëÁ¿×Ó¼ÆËãʱ´ú£¡
ÁìȡרÊô 10ÔªÎÞÃż÷ȯ
˽Ïí×îР¼¼Êõ¸É»õ