可组合强化学习的生物表征｜周一直播 NeuroAI读书会
神经科学和人工智能领域的多位著名学者近日发表 NeuroAI 白皮书认为，神经科学长期以来一直是推动人工智能（AI）发展的重要驱动力，NeuroAI 领域的基础研究将推动下一代人工智能的进程。文章发表后引发热议：神经科学是否推动了人工智能？未来的人工智能是否需要神经科学？
本着促进神经科学、计算机科学、认知科学和脑科学等不同领域的学术工作者的交流与合作，集智俱乐部联合北京师范大学柳昀哲、北京大学鲍平磊和昌平实验室吕柄江三位研究员共同发起了「NeuroAI」读书会，聚焦在视觉、语言和学习领域中神经科学与人工智能的相关研究，期待能够架起神经科学与人工智能领域的合作桥梁，激发跨学科的学术火花。
读书会线上进行，11月27日开始，每周日晚上19:00-21:00，持续时间预计10周。读书会详情及参与方式见后文。
分享内容简介
本次分享会将介绍一项机器人控制领域的理论如何启发神经科学的研究，“可组合强化学习”（Composable Reinforcement Learning）利用子任务策略的复合得到了新的任务策略，从而大大简化了状态空间，提高了学习效率。本次介绍会将介绍这种策略的生物意义以及生物证据。此外还将简单涉及这种思想更广泛的算法应用：分层强化学习。
分享内容大纲
一、论文解读
（1）论文基本思想
使用旧行为的组合得到新行为可以极大提高学习效率
增加行为的随机性可以帮助提高探索效率并且提高行为的可组合性
（2）算法框架
可组合强化学习
最大熵原理
（3）实验及实验结果
二、总结和分层强化学习启发
三、彩蛋
主要涉及的核心概念
分层强化学习（Hierarchical Reinforcement Learning）
Soft Q-Learning
可组合强化学习（Composable Reinforcement Learning）
最大熵原理（Max-Entropy）
主讲人介绍
王骥一
北京大学化学与分子工程学院本科生，兴趣为神经网络动力学、神经计算。
时间
2023年2月13日
晚上19:00-21:00
参与方式
本次分享与读书会主题之间的关系
本次分享涉及强化学习中核心的几个问题，稀疏奖励（sparse reward）和探索-利用平衡（exploration-exploitation trade-off），通过对子任务的复用和奖励函数中加入熵项可以部分地解决这些问题并提高学习效率。此外，本文也与分层强化学习（Hierarchical Reinforcement Learning）有一定关联，后者也可以为我们解决探索效率问题有一定启发。
主要涉及到的参考文献
Makino, H. Arithmetic value representation for hierarchical behavior composition. Nat Neurosci 26, 140–149 (2023).
T. Haarnoja, V. Pong, A. Zhou, M. Dalal, P. Abbeel and S. Levine, "Composable Deep Reinforcement Learning for Robotic Manipulation," 2018 IEEE International Conference on Robotics and Automation (ICRA), Brisbane, QLD, Australia, 2018, pp. 6244-6251Sutton, R. S., Precup, D. & Singh, S. Between MDPs and semi-MDPs: a framework for temporal abstraction in reinforcement learning. Artif. Intell. 112, 181–211 (1999).
神经科学和人工智能领域的多位著名学者近日发表 NeuroAI 白皮书认为，神经科学长期以来一直是推动人工智能（AI）发展的重要驱动力，NeuroAI 领域的基础研究将推动下一代人工智能的进程。文章发表后引发热议：神经科学是否推动了人工智能？未来的人工智能是否需要神经科学？
本着促进神经科学、计算机科学、认知科学和脑科学等不同领域的学术工作者的交流与合作，集智俱乐部联合北京师范大学柳昀哲、北京大学鲍平磊和昌平实验室吕柄江三位研究员共同发起了「NeuroAI」读书会，聚焦在视觉、语言和学习领域中神经科学与人工智能的相关研究，期待能够架起神经科学与人工智能领域的合作桥梁，激发跨学科的学术火花。
- 发表于:
- 原文链接：https://kuaibao.qq.com/s/20230212A0698900?refer=cp_1026
- 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号（企鹅号）传播渠道之一，根据《腾讯内容开放平台服务协议》转载发布内容。
- 如有侵权，请联系 cloudcommunity@tencent.com 删除。
相关快讯
扫码
添加站长 进交流群
领取专属 10元无门槛券
私享最新 技术干货
腾讯云开发者
