做旅游的网站 优帮云佛山 网站建设 骏域

做旅游的网站 优帮云,佛山 网站建设 骏域,海南房地产网站,3liang 设计网站 源码前篇文章已经介绍了评判模型critic#xff0c;引出了优势函数A#xff08;a,s#xff09;、价值函数V(s)#xff0c;并且我们知道一个好的critic模型给出的优势函数应该尽可能做到接近于reward的累计G减去当前状态的价值函数V#xff08;s#xff09;。但是上述例子成立的…前篇文章已经介绍了评判模型critic引出了优势函数Aa,s、价值函数V(s)并且我们知道一个好的critic模型给出的优势函数应该尽可能做到接近于reward的累计G减去当前状态的价值函数Vs。但是上述例子成立的前提是actor每进行一个action就可以立刻得到一个不为零的reward但是在某些情况下进行action以后是并不能立刻得到reward的或者reward为0该种情况称为sparse reward。例如围棋游戏actor就是棋手action就是落子但是单独落一颗子未必能很快的对局势造成有利或者不利影响所以就很难给出合适的reward这种情况下reward往往为0只有在游戏结束判定了胜负以后才能够得到reward。为了解决这种问题提出了reward shaping的思想即在原来的reward的基础上添加别的reward引导actor做出action训练AI进行FPS游戏是一个很好的说明reward shaping的概念。如果在不做reward shaping的情况下对于actor来说只有击杀对手才能得分但显然击杀对手的过程中要涉及到很多复杂的动作并且耗时较长仅仅依靠击杀对手作为rewardactor很难得到合适的训练此时就可以引入reward shaping例如1.血量损失reward-0.052.弹药损失reward-0.043.agent总是待在原地reward-0.03防止agent挂机摆烂。reward shaping的设置规则往往是人类根据经验来进行设定的得到合适的reward shaping规则要求人类对于如何完成任务有着深刻的理解一种有趣的reward shaping的方法是curiosity base该种reward shaping的核心方法是如果actor看到了新的画面就得到正的reward。例如在训练AI玩超级马里奥时该种方法就有较好的表现因为超级马里奥是一个二维游戏游戏通关的表现实际就是actor不断看到新的画面除了sparse reward的情况外还有一种更极端的情况那就是甚至无法得到reward。例如我们让actor去马路上进行行走马路上的路况十分复杂所以reward的规则很难制定这种情况下就几乎无法得到合适的reward。有一种处理此种问题的方法叫做Imitation Learning模仿学习。通过引入expert通常是人类和环境的交互示范来训练actor做出动作。这种训练模式类似于supervised learning。输入状态s将expert的动作作为标签那么就构成了一对数据s,;以此来对actor进行训练使其得到s输入后输出接近于expert的动作。但这样会产生一些问题1.如果expert的所有动作都是正确的如在自动驾驶场景下面对转弯问题时作为expert的人类每次都可以顺利转向那么机器就无法学习到转向失败时的数据因此在面对复杂场景时如果出现类似于转向失败的场景actor将无法处理2.完全复制模仿expert的行为会产生一些多余的动作。例如人类expert在转弯时习惯抽烟我们假设actor有抽烟的机动装置那么这个动作也会被actor学到但实际这个动作本身对转弯是没有任何好处的。3.expert具有非常多的行动特质而actor的学习能力有限只能学习其中的某些特质而并非expert的所有特质都是有利的例如转弯时抽烟如果actor只学到了对处理问题无益的action那么显然actor处理能力的问题并不会变强。上述问题都是建立在人类无法给出合理的reward机制的前提上我们自然而然的可以想出是否可以让机器自己来学习如何设置合适的reward呢Inverse Reinforcement Learning就是一种让机器自己训练reward的方法。这种方法的逻辑模型如下核心思路就是通过expert的行动、environment的反馈来反推出reward函数然后再用这个reward函数对actor进行训练。通过expert训练reward函数的时候有一个基本原则那就是要求expert的action所得到的reward必须要高于actor的分数但这并不代表我们要求actor完全模仿expert的行为训练的步骤如下1.初始化一个actor2.actor和环境交互3.定义一个初始的reward函数在下一次循环中要先更新reward函数让其计算expert的action和actor的action的累计奖励并且让expert的得分高于actor这里expert的action已经作为开始的数据输入到了模型中4.actor在新的reward函数下继续和环境互动最大化自己的累计reward