本篇博客大概会记录强化学习RL的基础知识，基本方法，以及如何推导到DQN，和关于DeepMind的Playing Atari with Deep Reinforcement Learning(DQN学习打砖块游戏)这篇论文的一些理解，后续改进方向，还有一些具体实现。若有理解不当，恳请指出！

%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0%E5%9F%BA%E7%A1%80

强化学习中两大最基本的要素：Agent(智能体)与Environment(环境)。 
 在每个时间

Environment需要 1. 感知Agent做出的行动 

具体可以使用下图来表示：(Agent 为大脑 地球为 Environment) 
 

收益Reward 
 而状态State到动作Action的过程就称之为一个策略Policy，一般用

 表示 ,也就是需要找到以下关系： 
 
 


 
 强化学习的学习目标是让Agent学习到一个好的策略policy，使总体期望reward最大。
 我们一开始并不知道最优的策略是什么，因此往往从随机的策略开始，使用随机的策略进行试验，可以得到一系列的状态,动作和反馈： 
 
 


 
 强化学习主要方法有 1.有模型学习(Bellman和策略迭代，值迭代) 2. 无模型学习(蒙特卡洛方法,时序差分学习(Q-learning)) 3. 值函数近似 4. 模仿学习
 MDP马尔科夫决策过程
 接下来介绍一下强化学习基于的世界观。强化学习的研究依然建立在经典物理学的范畴上(没有量子计算也没有相对论)。这个世界的时间是可以分割成一个一个时间片的，并且有完全的先后顺序，也就是上面提到的一系列时间序列状态： 
 
 


 
 其中一个重要的假设是在 每一次的参数调整中都会对环境造成确定性的影响，即输入确定，输出也确定。 
 那么有了时间和确定性的假设，MDP(Markov Decision Process)便是为了描述这个世界而提出的概念。
  马尔科夫链性质：系统下一时间状态仅由当前时刻状态与action决定。即 
 
 


P(s_{t+1}|s_t)=P(s_{t+1}|s_t,s_{t-1},...s_1,s_0)

 
 
 一个基本的MDP可以用（S,A,P）来表示，S表示状态，A表示动作，P表示状态转移概率，也就是根据当前的状态

的概率。
 Value Function 价值函数
 简单了解了MDP，我们试着定义价值函数

来表示一个状态的未来潜在价值： 
 
 


来表示某个时刻t的状态将具备的回报  
  


G_t = R_{t+1} + \lambda R_{t+2} + ... = \sum_{k=0}^\infty\lambda^kR_{t+k+1}

 
 上式中R是Reward反馈，λ是discount factor折扣因子，一般小于1，就是说一般当下的反馈是比较重要的，时间越久，影响越小。  
 之前说到我们学习目标是让agent学习到一个策略policy使总体期望最大，我们通过价值函数有两种比较常用的方法： 
 

通过估计value function来间接获得优化的策略。(DQN)

 Bellman方程
 下面引入Bellman方程，方便之后探讨基于Bellman方程而衍生得到的求解Value Function的方法。 
 Bellman方程基本形式： 
 
 


v(s) = \mathbb E[R_{t+1} + \lambda v(S_{t+1})|S_t = s]

 
 Bellman方程说明了当前状态的值函数与下个状态的值函数的关系。从公式上看，当前状态的价值和下一步的价值以及当前的反馈Reward有关。它表明Value Function是可以通过迭代来进行计算的。虽然看似简单，确是强化学习的基础。 
 Action-value Function 动作价值函数
 我们定义一个新的函数 动作价值函数(Action-value function)

从状态s出发，执行动作a后再使用策略

\begin{align}Q^\pi(s,a) & =  \mathbb E[r_{t+1} + \lambda r_{t+2} +\lambda^2r_{t+3} + ... |s,a] \\\\& = \mathbb E_{s^\prime}[r+\lambda Q^\pi(s^\prime,a^\prime)|s,a]\end{align}

 
 Optimal Value Function 最优价值函数
 求最优策略等价于求解最优Value Function(即value-base approach，DQN就是属于这种方法)
  其他以下方法：
 

policy-base approach: 直接计算策略函数

model-base approach: 估计模型，计算状态转移函数，从而整个MDP过程得解。

Q^*(s,a) = \max_\pi Q^\pi(s,a)= \mathbb E_{s^\prime}[r+\lambda \max _{a^\prime}Q^*(s^\prime,a^\prime)|s,a] 

 
 Bellman有两个基本算法：策略迭代，值迭代
 

Policy Iteration策略迭代:目的通过迭代计算value function 使policy收敛到最优，算法分为两步
 

Policy Evaluation 策略评估 ：更新value function 估计当前策略价值

Policy Improvement 策略改进：使用 greedy policy 产生新样本，用于第一步评估

 policy iteration使用bellman方程来更新value，最后收敛的value 即

是当前policy下的value值（所以叫做对policy进行评估），目的是为了后面的policy improvement得到新的policy。 
 
 


\begin{align}v_{k+1}(s)&=\mathbb E[R_{t+1}+\gamma v_k(S_{t+1})|S_t=s] \\ &=\sum_{a}\pi(a|s)\sum_{s',r}p(s',r|s,a)[r+\gamma v_k(s')]\end{align}

Value Iteration值迭代： 使用Bellman最优方程更新value，最后收敛得到的value即

就是当前state状态下的最优的value值。因此，只要最后收敛，那么最优的policy也就得到的。因此这个方法是基于更新value的，所以叫value iteration。 
 
 


\begin{align}v_*(s)&= \max_a\mathbb E[R_{t+1}+\gamma v_*(S_{t+1})|S_t=s,A_t=a] \\ &=\max\sum_{s',r}p(s',r|s,a)[r+\gamma v_*(s')]\end{align}

\begin{align}v_{k+1}(s)&= \max_a\mathbb E[R_{t+1}+\gamma v_k(S_{t+1})|S_t=s,A_t=a] \\ &=\max\sum_{s',r}p(s',r|s,a)[r+\gamma v_k(s')]\end{align}

上面使用的是价值函数版本，动作价值函数版本为



Q_{i+1}(s,a) = \mathbb E_{s^\prime}[r+\lambda \max_{a^\prime}Q_i(s^\prime,a^\prime)|s,a]

 Q-learning
 Q Learning根据value iteration得到。但要明确一点是value iteration每次都对所有的Q值更新一遍，也就是所有的状态和动作。但事实上在实际情况下我们没办法遍历所有的状态，还有所有的动作，我们只能得到有限的系列样本。因此，只能使用有限的样本进行操作。那么，怎么处理？Q Learning提出了一种更新Q值的办法： 
 
 


Q(S_{t},A_{t}) \leftarrow Q(S_{t},A_{t})+\alpha({R_{t+1}+\lambda \max _aQ(S_{t+1},a)} - Q(S_t,A_t))

 
 虽然根据value iteration计算出target Q值，但是这里并没有直接将这个Q值（是估计值）直接赋予新的Q，而是采用渐进的方式类似梯度下降，朝target迈近一小步，取决于α,这就能够减少估计误差造成的影响。类似随机梯度下降，最后可以收敛到最优的Q值。 
 具体算法如下：
 

从强化学习Reinforcement Learning到DQN(Deep Q-learning Network)学习笔记

从强化学习Reinforcement Learning到DQN(Deep Q-learning Network)学习笔记

前言

强化学习基础

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐