RL真的很简单 手把手带你入门强化学习

1. 强化学习的应用场景

1.1. 四个成熟场景

在入门强化学习之前，我们先来具体的看看，目前强化学习可以做一些什么事情。

如下面四张图，分别是强化学习应用于：

1. 王者荣耀绝悟挑战；
2. 训练机械臂投篮；
3. Alpha Go与柯洁下围棋；
4. 个性化序列推荐系统。
   

强化学习是机器学习的一个分支，它会训练一个智能体用来探索周围环境，在图一的王者荣耀中，这个智能体是英雄，例如阿轲、公孙离；在图二的投篮中，这个智能体是机械臂；在图三中，这个智能体是下围棋的Alpha Go；在图四的推荐系统中，这个智能体是推荐算法；

智能体在一开始是很笨的，在与周围环境的不断交互中才会逐渐变得“聪明”起来。例如在上面的图中，智能体首先是用很笨拙的方法去跨越障碍，在多次失败之后，才学会了如何跳的更高去越过障碍物。

1.2. 几个强化学习仿真环境

1.2.1. Gridworld

这里介绍三个Gridworld环境：

1. Gym MiniGrid
   最基础的GridWorld就是走迷宫，例如下图红色的智能体走到绿色的位置就算是找到了迷宫出口，除此之外还有其他的有意思的迷宫配置，可以玩一玩。
   

2. Multi Drones Monitoring
   Multi Drones Monitoring是Multi-agent Reinforcement Learning中的一个小模块，提供了多个基于智能体的grid world小环境
   

3. MAgent
   这是一个用于研究环境中大量智能体的竞争和协作问题的GridWorld环境
   

1.2.2. Neural MMOs

Neural MMOs 是由OpenAI开源的一个大型的复杂MA游戏场景，在这张大地图中，由于资源有限，agent要学着合作/竞争活下去

1.2.3. Lab

Lab是一个由DeepMind开源的强化学习环境，是一张雷神之锤III竞技场(Quake III Arena)的地图，由两个队伍，每队由两个智能体组成，在室内和户外两个场景下以第一人称视角竞争玩夺旗的游戏。

2. 强化学习的基础知识和常用术语

2.1. 常用术语表

2.2. 强化学习的目的

强化学习中包含了两个实体和三个关系，可以用下图表示：

在强化学习过程中，智能体(Agent) 跟 环境(Environment) 一直在交互。智能体(Agent) 在 环境(Environment) 中获取到 环境的状态(State/Observation)，并根据它做出一个 行为(Action)，这个 行为(Action) 会导致 智能体(Agent) 所处的 环境的状态(Observation) 发生变化，并且 智能体(Agent) 会从 环境(Environment) 的变化中得到一定的 反馈(Reward)，该 反馈(Reward) 用于 智能体(Agent) 判断自己刚才的 行为(Action) 是否合理。

显而易见，Agent 采取的 Action 能获得越高的 Reward，说明Agent越成功。强化学习的目的就是让一个智能体(Agent) 在一个复杂不确定的环境(Environment)里面去极大化它能获得的反馈(Reward)。

2.3. 两个基本模型

2.3.1. 多臂赌博机

多臂赌博机（Multi-Armed Bandit, MAB）问题可以说是强化学习的开端，最原始的强化学习算法就是从多臂赌博机问题引出来的。目前为止，主流的Bandit算法主要有两类：（1）贪心算法，例如：$??\text{greedy}$；（2）置信算法，例如：UCB(Upper Confidence Bound)。

下面我们就来讲讲什么是多臂赌博机问题：

赌博机又称老虎机，它是一种通过摇动摇臂(Arms)来获得回报(Reward)的机器，每个赌博机只有一条摇臂，多个赌博机放在一起就是多臂赌博机。如下图所示是一个3臂赌博机：

上面的三个赌博机摇出金币的概率分布各不相同，也就是说它们的期望 Reward 不同。我们希望构造一个 Agent，自动去找出摇动哪一个赌博机的摇臂可以获得最高的 Reward。

我们把摇动三个赌博机的 Action 分别命名为 a = [0, 1, 2]，每次摇动摇臂（pull arm）后都会获得一个回报 r，多次摇动摇臂后动作 a 的值函数 q(a) 可以表示为：$$q(a)=\mathbb{E}[R_t|A_t=a]$$

注意在多臂赌博机问题中，由于每次摇动摇臂后Agent的State是不变的（Agent看到的还是那三个赌博机），因此动作值函数 q(s,a) 可以简写为 q(a)

在获取了每个摇臂的 q(a) 之后，就可以利用Bandit算法来选择动作了，这里我们介绍两种Bandit算法（策略）：

1. $??$贪心策略
   $??$贪心策略设定一个概率值$?$用于指定探索的程度，并规定下一个时间步要执行的动作有$1??$的概率选用能使 $q$ 值最大的动作 $a$，有$?$的概率选择其他动作：$$a=?\begin{array}{l}\underset{a}{\mathrm{argmax}}q(s,a),\text{P(1-?)}\\ otherwise,\text{P(?)}\end{array}$$
2. UCB1策略
   UCB1策略计算了$q(s,a)$的置信区间上界，即$q(s,a)$的最大期望值，然后取能使$q(s,a)$最大的动作：$$a=\underset{a}{\mathrm{argmax}}(q(s,a)+c\sqrt{\frac{\ln n}{n_a}})$$其中 $q(s,a)$ 是指动作$a$的$q$值，$c$是一个可调参数用于指定探索的程度，$n$是指所有动作的执行次数，$n_a$是指动作$a$的执行次数

此时有了 q(a) ，也有了利用 q(a) 来选择 a 的策略，Agent就可以利用Bandit策略来根据 q(a) 选择摇动哪个摇臂 a ，从而获得最大的 r 了。

下面我们来模拟一个episode，在这个episode中我们利用了 $?$ 为 0.1 的 $??$贪心策略：

1. 摇动3个摇臂各一次，得到 $[a_1,a_2,a_3]$ 的 Reward $[2,4,6]$：
   $$q(a_0)=\mathbb{E}[R_0=2|A_1=a_1]=2$$$$q(a_1)=\mathbb{E}[R_1=4|A_2=a_2]=4$$$$q(a_2)=\mathbb{E}[R_2=6|A_3=a_2]=6$$
2. 根据$??$贪心策略，有0.9的概率选择可以获得最大q值的动作，0.1的概率选择其他动作，假设此时选择可以获得最大q值的动作 $q(a_2)=6$，则有当前的最优动作为：$$a=\underset{a}{\mathrm{argmax}}q(a_2)=a_2$$摇动 $a_2$得到 Reward $0$ 更新 $q(a_2)$：$$q(a_0)=\mathbb{E}[R_0=2|A_1=a_1]=2$$$$q(a_1)=\mathbb{E}[R_1=4|A_2=a_2]=4$$$$q(a_2)=\mathbb{E}[R_2=6,0|A_4=a_2]=\frac{6+0}{2}=3$$
3. 根据$??$贪心策略，有0.9的概率选择可以获得最大q值的动作，0.1的概率选择其他动作，假设此时选择可以获得最大q值的动作 $q(a_1)=4$，则有当前的最优动作为：$$a=\underset{a}{\mathrm{argmax}}q(a_1)=a_1$$摇动 $a_1$得到 Reward $10$ 更新 $q(a_1)$：$$q(a_0)=\mathbb{E}[R_0=2|A_1=a_1]=2$$$$q(a_1)=\mathbb{E}[R_1=4,10|A_5=a_2]=\frac{4+10}{2}=7$$$$q(a_2)=\mathbb{E}[R_2=6,0|A_4=a_2]=\frac{6+0}{2}=3$$
4. 根据$??$贪心策略，有0.9的概率选择可以获得最大q值的动作，0.1的概率选择其他动作，假设此时选择其他动作 $q(a_0)=2$，则有当前的动作为：$$a=\underset{a}{\mathrm{argmax}}q(a_0)=a_0$$摇动 $a_0$得到 Reward $2$ 更新 $q(a_0)$：$$q(a_0)=\mathbb{E}[R_0=2,2|A_6=a_1]=\frac{2+2}{2}=2$$$$q(a_1)=\mathbb{E}[R_1=4,10|A_5=a_2]=\frac{4+10}{2}=7$$$$q(a_2)=\mathbb{E}[R_2=6,0|A_4=a_2]=\frac{0+6}{2}=3$$
5. 类似的，重复步骤2-4，Agent 就可以估算出三个摇臂的期望q值
6. 学习结束后，Agent 只需摇动期望最高的一个摇臂即可得到最高的Reward。

到此，多臂赌博机问题就找到了求解方法，也就是最原始的强化学习。

2.3.2. 马尔科夫决策过程

马尔科夫决策过程(Markov Decision Process，MDP)是强化学习的基础，相比于多臂赌博机问题，马尔科夫决策过程多了状态转移及其决策过程。

我们先来认识一下状态、状态转移以及决策三个概念：

1. 状态
   实际上状态并没有一个标准的定义，它可以是任何有助于马尔科夫链做决策的量。
2. 状态转移
   形象地说，把自己看着 Agent ，我们从早上醒来，看到的状态是在卧室，刷牙时眼睛里看到的状态是在卫生间，出门后是在路上，到办公室后是在办公室。Agent的状态无时无刻不在改变。
3. 决策
   所谓决策，就是Agent根据未来可能转移到的状态的好坏（通过Reward衡量），来决定是否要转移到某个状态。

下面就是一个马尔科夫决策过程示意图：

在上图中，我们可以找出多条轨迹，用来描述Agent的行为，例如：$$\begin{array}{rl}{\tau }_1& =S_1\stackrel{a=a_1,r=r_1}{\to }{S}_2\stackrel{a=a_2,r=r_2}{\to }{S}_3\stackrel{a=a_3,r=r_3}{\to }{S}_4\\ {\tau }_2& =S_1\stackrel{a=a_4,r=r_4}{\to }{S}_3\stackrel{a=a_3,r=r_3}{\to }{S}_4\end{array}$$${\tau }_2$没有进入过状态$S_2$，可能是因为Agent认为要迟到了，从$S_1$转移状态到$S_2$的Reward太低，所以直接转移状态到了$S_3$。

马尔科夫决策过程的量化计算中有一个重要参数称为折扣因子（Discount Factor）$\gamma$，之所以要引入这样一个参数，有着以下三个理由：

• 有些马尔可夫过程是带环的，没有起始，折扣因子可以避免无穷的反馈；
• 折扣因子可以使马尔科夫过程模拟真实的人类行为，使马尔科夫过程更加倾向于选择近期的高Reward状态；
• 折扣因子是可以调整的，例如当折扣因子设为0时，就相当于只关注了下一步反馈。当折扣因子设为1时，就相当于对未来并没有折扣，未来的每一步获得的Reward都是一样的。

在有了Agent所处的状态$S$、折扣因子$\gamma$、状态转移时的回报$R$之后，我们就可以用贝尔曼方程来定义马尔科夫决策过程的折扣累计回报期望值了：

1. 基于状态值函数$V_{\pi }(s)$的定义
   在策略 $\pi$ 下，状态s的值函数定义为从状态 $S$ 出发，并采用策略 $\pi$ 的折扣积累回报的期望$$\begin{array}{rl}{V}_{\pi }(s)& ={\mathbb{E}}_{\pi }[G_t|S_t=s]\\ & ={\mathbb{E}}_{\pi }[\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}|S_t=s]\end{array}$$
2. 基于行为值函数$Q_{\pi }(s,a)$的定义
   在策略 $\pi$ 下，在状态s采取动作a的行为值函数定义为从状态 $S$ 出发，并采用策略 $\pi$ 的折扣积累回报的期望$$\begin{array}{rl}{Q}_{\pi }(s,a)& ={\mathbb{E}}_{\pi }[G_t|S_t=s,A_t=a]\\ & ={\mathbb{E}}_{\pi }[\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}|S_t=s,A_t=a]\end{array}$$

假设有如下的马尔科夫决策过程：

假设Agent正处于状态$S_1$，目标任务是Agent到达$S_4$然后回到$S_1$。则在$S_1$时会有如下两条轨迹可以完成该任务：
$${\tau }_1=S_1\stackrel{a=a_1,r=2}{\to }{S}_2\stackrel{a=a_2,r=4}{\to }{S}_3\stackrel{a=a_3,r=9}{\to }{S}_4\stackrel{a=a_5,r=3}{\to }{S}_3\stackrel{a=a_6,r=7}{\to }{S}_1$$$${\tau }_2=S_1\stackrel{a=a_4,r=6}{\to }{S}_3\stackrel{a=a_3,r=9}{\to }{S}_4\stackrel{a=a_5,r=3}{\to }{S}_3\stackrel{a=a_6,r=7}{\to }{S}_1$$设折扣因子的值为0.2，则这两条轨迹的折扣累计回报期望为：$$\begin{array}{rl}{Q}_{\pi }(s,a{)}_{{\tau }_1}& ={\mathbb{E}}_{\pi }[G_t|S_t=s,A_t=a]\\ & ={\mathbb{E}}_{\pi }[\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}|S_t=s,A_t=a]\\ & =\frac{1}{5}(0.2^0\times 2+0.2^1\times 4+0.2^2\times 9+0.2^3\times 3+0.2^4\times 7)\\ & =0.63904\end{array}$$$$\begin{array}{rl}{Q}_{\pi }(s,a{)}_{{\tau }_2}& ={\mathbb{E}}_{\pi }[G_t|S_t=s,A_t=a]\\ & ={\mathbb{E}}_{\pi }[\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}|S_t=s,A_t=a]\\ & =\frac{1}{4}(0.2^0\times 6+0.2^1\times 9+0.2^2\times 3+0.2^3\times 7)\\ & =1.994\end{array}$$

显然，当 Agent 处于状态 $S_1$ 时，应当采取动作$a_4$才能获取更高的 Reward。

3. 经典强化学习算法和深度强化学习

3.1. 经典强化学习算法

所谓经典强化学习算法，指的是表格型的强化学习算法，这种算法适用于的状态空间离散有限的马尔科夫决策过程。有限代表有终止状态，这样$q_{(}s,a)$或者$v_{(}s)$的值均可以存储在一张表格中，这就是表格型方法的名称由来。

例如一张Q表格，用来存储$q(s,a)$：

上表中Q函数的值表示当Agent在某个State时选择了某个Action，后续总共能得到多少Reward。根据这个表格，Agent就可以知道在当前的State下选择哪个Action可以得到更大的Q值。

例如在Agent处于状态$s_4$时，选择动作$a_4$就会有最大的Q值：$$Q(s_t=s_4,a_t=a_4)=23.5$$

常见的表格型强化学习方法有：

1. 动态规划 Dynamic Programing
   动态规划 DP 是一种model-based的强化学习方法，它使用价值函数来结构化地组织对最优策略的搜索，由贝尔曼最优化方程计算最优价值函数，从而得到最优策略。DP又分为包括策略迭代、价值迭代两种方法
2. 蒙特卡洛 Monte Carlo
   蒙特卡洛 MC 是一种model-free的强化学习方法，它从马尔可夫决策过程采样样本的经验回报中学习价值函数。
3. 时序差分 Temporal-Difference
   时序差分 TD 是一种model-free的强化学习方法，它结合了MC与DP算法，采用自举法（更新基于已存在的估计）更新。TD中两个著名的方法是Saras(同轨时序差分控制)、Q-Learning(离轨时序差分控制)

推荐阅读：强化学习 - 基于表格型的求解方法

3.2. 深度强化学习

深度强化学习方法就是利用神经网络提取输入特征 或 用神经网络拟合值函数$Q(s,a)$和$V(s)$，它适用于状态空间连续或状态数无穷多的马尔科夫决策过程。

之所以提出深度强化学习方法，是因为：

1. 神经网络具有很强的特征提取能力
   这样的能力使得强化学习算法可以直接从真实世界接收输入，例如看游戏屏幕、看棋盘。
2. 神经网络具有很强的泛化能力
   神经网络可以通过拟合离散数据泛化得到连续的空间，例如下图：
   神经网络可以只根据这三个$q(s,a)$值取泛化得到连续空间上的无穷多$q(s,a)$值。

常见的深度强化学习算法有：

1. Policy Gradient
   包括：PG (Policy Gradient)、
   TRPO (Trust Region Policy Optimization)、
   PPO (Proximal Policy Optimization)、
   DPPO (Distributed Proximal Policy Optimization)；
2. Deep Q Network
   包括：DQN (Deep Q Network)、
   Dueling DQN (Dueling Deep Q Network)、
   Double DQN (Double Deep Q Network)；
3. Actor-Critic
   包括：AC (Actor-Critic)、
   A3C (Asynchronous Advantage Actor-Critic)、
   DDPG (Deep Deterministic Policy Gradient) 、
   TD3 (Twin Delayed Deep Deterministic policy gradient algorithm)、
   SAC (Soft Actor-Critic)；

4. 强化学习的学习资料

视频：

• 【莫烦Python】强化学习 Reinforcement Learning
• 【李宏毅】2020 最新课程 (完整版) 强化学习
• Stanford CS234: Reinforcement Learning

书籍：

• Reinforcement Learning: An Introduction (Second Edition)
• 深入浅出强化学习：原理入门

论文：

• Reinforcement Learning：A Survey
• Reinforcement Learning An Introduction
• A Brief Survey of Deep Reinforcement Learning
• Deep Reinforcement Learing: An Overview
• 主流强化学习算法论文综述：DQN、DDPG、TRPO、A3C、PPO、SAC、TD3

这一节推荐了很多相关资料，之所以要看这么多，不是因为强化学习本身很复杂，是因为不同人有不同理解，从不同角度对强化学习进行全方位的学习，才能有更深入和正确的理解。