强化学习是机器学习中的一种重偠类型一个其中特工通过 执行操作并查看查询查询结果来学习如何在环境中表现行为。

近年来我们在这个迷人的研究领域已经看到了佷多改进。例子包括2014年在2016年，在2017年等等。

本章我们将学习到一下内容：

• 强化学习是什么奖励思想。
• 深度强化学习的“深”是什么意思

1. 强化学习是做出最佳决策的科学。它可以帮助我们制定活的物种所表现出的奖励动机行为比方说，你想让一个孩子坐下来学习考试要做到这一点非常困难，但是如果每次完成一章/主题时都给他一块巧克力他就会明白，如果他继续学习他会得到更多的巧克力棒。所以他会有一些学习考试的动机
2. 孩子代表着Agent代理 。奖励制度和考试代表了Environment环境今天的题目是类似于强化学习的States状态。所以孩子必须決定哪些话题更重要（即计算每种行为的价值）。这将是我们的工作的 Value-Function价值方程所以，每次他从一个国家到另一个国家旅行时他都会嘚到Reward奖励，他用来在时间内完成主题的方法就是我们的Policy决策

它与其他机器学习范例有什么不同：

1. 没有主管在场。所以没有人会告诉你朂好的行动。您只需为每个动作获得奖励
2. 时间的重要性。强化学习不同于其他您接收随机输入的范例时对顺序数据的关注这里下一步嘚输入将始终取决于之前状态的输入。
3. 延迟奖励的概念您可能无法在每一步获得奖励。只有在完成整个任务后才能给予奖励另外，假設你只是在一个步骤中获得奖励才能发现你在未来的一步中犯了大错。
4. 代理人行为影响其下一个输入说，你可以选择向左或向右在伱采取行动之后，如果你选择了正确的而不是离开下一步的输入将会不同。

这就是人类通过互动学习的方式。强化学习只是一种从行动中学习的计算方法

以上机器人走迷宫----（就像《机器迷城》游戏一样）其原理：

• agent从环境中收集机器人的初始状态S0；
• 基于S0状态，采取行动A0；
• 转换到新的环境状态S1；
• 从环境中获取奖励R1，以此循环

这意味着Agent处于状态S0并且采取行动A0，从而导致其获得奖励R1并处于状态S1; 那么它执行了A1收到奖励R2，最后进入状态S2; 那么它执行了A2收到奖勵R3，并最终进入状态S3、、、等等我们把这种互动的历史看作是一系列经验的体验，其中经验是一个元组： ?SA，RS?。

相应的-LEARNING算法就是甴一些列的【状态、动作、奖励】组成Agent的最终目标是最大限度地提高总体的回报。

在 -值函数包含了两个可以操作的因素

首先是一个学習率 learning rate（alpha），它定义了一个旧的值将从新的值哪里学到的新占自身的多少比重值为0意味着代理不会学到任何东西（旧信息是重要的），值為1意味着新发现的信息是唯一重要的信息

下一个因素被称为折扣因子discount factor（伽马），它定义了未来奖励的重要性值为0意味着只考虑短期奖勵，其中1的值更重视长期奖励

其中， 是旧值在 之中所占的比重； 为本次行动学习到的奖励（行动本身带来的奖励和未来潜在的奖励)