fun学网

强化学习（Q-funcation,DQN）基本介绍

强化学习和监督，⽆监督学习的关系

这三种同属于机器学习的范畴。

与监督学习的区别：

强化学习(RL)没有预先准备好的训练数据的输出值(label)。

RL只有奖励值，当然奖励值也不是事先给出的，它是延后给出的。

与⽆监督学习的区别：

⽆监督学习没有label，也没有奖励值，只有⼀堆的数据特征。

强化学习的基本要素

基本要素

agent

agent时RL中的中⼼组成部分，我们可以称之为学习者或者是决策者。

nmentenvironment

与agent进⾏交互的外界，我们称之为environment。

action

action就是agent在当前环境中有可能采取的动作。

rdreward

奖励就是agent在当前环境下采取action后的⼀种回应，所以奖励基本上就像⼀个反馈，衡量在那个环境中所采取的⾏动的好坏，成功或失败。奖

励可以是⽴即的，你采取⾏动，你⽴即得到⼀个奖励；奖励也可以是延后的,今天，你采取了⼀个⾏动，你可能直到明天或后天才能得到收益。

以上要素，它们不断地交互，agent选择动作，环境响应这些动作并向agent呈现新的情况。

环境也会带来回报，随着时间的推移，agent通过选择⾏动来最⼤化回报。

这就是强化学习的基本过程。

基于奖励的概念，我们可以得出强化学习中的⼀个重要公式

Ingeneral,weektomaximizetheexpectedreturn,wherethereturn,denoted,is

implestcathereturn

isthesumoftherewards:

其中是0~1范围的值，如果，则该agent只关⼼当前⽴即奖励的最⼤化。当接近1时，agent会更多地考虑未来

的奖励，所以agent变得更加有远见。

⽬前强化学习的算法

基本算法分类

强化学习的算法基本上都包含了价值函数。⼀种价值函数是关于状态的价值函数，⽤来评判agent所处状态的好坏；另⼀种价值函数是关于状

态-动作的价值函数，⽤来评判当前状态s下所采取的⾏动a的好坏。

关于model-free和model-bad的区别(个⼈觉得这位⽹友的评论⽐较容易理解)：

Modelbadlearningattemptstomodeltheenvironment,andthenbadonthatmodel,choothe

mostappropriatepolicy.

Model-freelearningattemptstolearntheoptimalpolicyinonestep。

价值函数Q-function介绍

⾸先我们先来定义Q-function:

，其中

Q-function有两个输⼊，其中⼀个是状态s，还有⼀个是在当前状态下agent执⾏的动作a。我们希望⽤Q-function来表⽰agent在状态s下采取

动作a后未来可以获得的总奖励的期望。

策略Policy介绍

⾸先，我们要知道强化学习它的最终⽬标，就是给定任意的状态，我要让agent在那个状态下，采取⼀个最优的⾏动。

所以，agent需要⼀个策略policy来指导它做⾏动。

当然，很容易得到最优的策略定义是。

DeepQNetworks介绍

这⾥谈⼀下为什么要⽤到DQN呢，就是我们现实中的任务，基本上是有很多状态的，⽐如⼀个游戏，每⼀帧，它都是⼀个状态，⽽且每⼀帧包含

的信息都是⾼维度的信息，想把这些状态和对应的Q值存下来⼏乎不可能，所以我们⽤神经⽹络来映射状态到Q值的关系。

DQN模型

左边的模型把⼀个状态和⼀个可能的动作作为输⼊，得到相应的Q值。这个模型的问题是，如果我们现在想要使⽤我们的策略，为了得到最优的Q

值，我们必须循环的输⼊对应的状态和所有可能的⾏动，然后找到最⼤的Q值。这显然是不合理且费时的。

为了解决该问题，我们介绍右边的模型，现在我们只输⼊状态，DQN将会计算所有可能⾏动的Q值，这意味着，如果我们想在给定状态下采取⾏

动，我们只需将状态反馈给⽹络，它就会返回所有的Q值。

这两个情况都可以根据下⽅的Q-loss来更新⽹络的参数。