text: 强化学习第2版第15章笔记--神经科学
  多巴胺的作用就是将TD误差传达给进行学习和决策的大脑结构。
  我们在本章只讨论一些我们认为随着时间的推移会变得重要的联系。
  从脑功能的理论来看，强化学习的一些元素更容易理解。
  我们希望这一章给读者展现多种将强化学习以及理论基础与动物的基于奖励学习的神经科学理论联系起来的渠道。
  15.1 神经科学基础
  神经元的轴突可以分很多叉，使神经元的动作电位达到许多目标。
  神经元轴突的分叉结构部分被称为神经元的轴突中枢。
  突触通常是轴突分叉终止处的结构，作为中介调节一个神经元与另一个神经元之间的通信。
  神经元的背景活动指的是"背景"情况下的活动水平，通常是它的发放率。
  突触释放的神经递质对突触后神经元产生影响的强度或有效性就是突触的效能。
  大脑含有几个不同的神经调节系统，由具有广泛分叉的树状轴突神经元集群组成，每个系统使用不同的神经递质。
  突触效能变化的能力被称为突触可塑性。
  15.2 奖励信号、强化信号、价值和预测误差
  奖励信号(以及智能体的环境)定义了强化学习智能体正试图解决的问题。
  强化学习中的强化信号与奖励信号不同。
  状态价值函数或动作价值函数的估计，即V或Q，指明了在长期内对智能体来说什么是好的，什么是坏的。
  它们是对智能体未来期望累积的总奖励的预测。
  预测误差衡量期望和实际信号或感知之间的差异。
  奖励预测误差(reward prediction errors, RPE)衡量期望和实际收到的奖励信号之间的差异，当奖励信号大于期望时为正值，否则为负值。
  15.3 奖励预测误差假说
  Montague等人(1996)比较了经典条件反射下时序差分模型产生的TD误差和经典条件反射环境下产生多巴胺的神经元的相位活动。
  第二个假说是关于每次经典条件反射试验所访问到的状态以及它们作为学习算法的输入量的表示方式的。
  我们必须有一些方法来追踪感官线索和奖励达成之间的间隔时间。
  虽然在Schultz等人的实验中，并不是每一个被监测到的多巴胺神经元都有以上这些行为，但是大多数被监测神经元的活动和TD误差之间惊人的对应关系为奖励预测误差假说提供了强有力的支持。
  15.4 多巴胺
  但是在包括人类在内的哺乳动物的奖励相关过程中，多巴胺起到的重要作用毋庸置疑。
  一个早期的传统观点认为，多巴胺神经元会向涉及学习和动机的多个大脑区域广播奖励信号。
  这些观察结果有效表明多巴胺神经元活动携带了奖励信息。
  但是，如果奖励预测误差假说是正确的，即使它只解释了多巴胺神经元活动的某些特征，那么这种关于多巴胺神经元活动的传统观点也不完全正确:多巴胺神经元的相位反应表示了奖励预测误差，而非奖励本身。
  强化学习的理论和算法有助于一致性地解释"奖励-预测-误差"的观点与传统的信号奖励的观点之间的关系。
  事实上，仔细研究Olds和Milner 1954年的论文可以发现，这主要是工具性条件反射任务中电刺激的强化效应。
  电刺激不仅能激发老鼠的行为--通过多巴胺对动机的作用，还导致老鼠很快学会通过按压杠杆来刺激自己，而这种刺激会长时间频繁进行。
  最近使用光遗传学方法的实验证实了多巴胺神经元的相位反应作为强化信号的作用。
  多巴胺强化作用的另外证据来自果蝇的光遗传学实验，尽管这些动物中多巴胺的作用与哺乳动物中的作用相反:至少对多巴胺神经元活化的群体来说，多巴胺神经元活性的光学触发像对脚电击一样来强化"回避行为"(Claridge-Chang等, 2009)。
  多巴胺神经元特别适合于向大脑的许多区域广播强化信号。
  如果多巴胺神经元像强化信号δ那样广播强化信号，那么由于这是一个标量信号，即单个数字，所以SNpc和VTA中的所有多巴胺神经元会被预期以相同的方式激活，并以近似同步的方式发送相同的信号到所有轴突的目标位点。
  大多数多巴胺神经元的轴突与额叶皮层和基底神经节中的神经元发生突触接触，涉及自主运动、决策、学习和认知功能的大脑区域。
  纹状体的输出通过其他基底神经核和丘脑回到皮质的前部区域和运动区域，使得纹状体可能影响运动、抽象决策过程和奖励处理。
  但有证据表明，神经科学家称之为皮质纹状体突触的从皮层到纹状体突触相关性的变化，取决于恰当时机的多巴胺信号。
  15.5 奖励预测误差假说的实验支持
  他们训练了两只猴子，当猴子看见并听到门打开的时候，会把手从静止的地方移动到一个装有苹果、饼干或葡萄干的箱子里。
  第一项任务的目的是看当运动是自发时多巴胺神经元的作用。
  这是表明神经元只对食物，而非任务中的其他方面有反应的很好的证据。
  Romo和Schultz第二个任务的目的是看看当运动被刺激触发时会发生什么。
  上述研究的观察结果使Schultz和他的小组得出结论:多巴胺神经元对不可预测的奖励，最早的奖励预测因子做出反应，如果没有发现奖励或者奖励的预测因子，那么多巴胺神经元活性会在期望时间内降低到基准之下。
  最令人不安的一个差异是，当奖励比预期提前发生时会发生什么。
  然后，在后面预期奖励出现却没有出现的时刻，TD误差将为负，但多巴胺神经元的反应却并没有像负的TD误差的那样降到基准以下(Hollerman和Schultz, 1998)。
  一些TD误差与多巴胺神经元行为的不匹配可以通过选择对时序差分算法合适的参数并利用除CSC表示外的其他刺激表示来解决。
  一个明显的发展方向是，与多巴胺系统的性质如此契合的强化学习算法和理论完全是从一个计算的视角开发的，没有考虑到任何多巴胺神经元的相关信息--注意，TD学习和它与最优化控制及动态规划的联系是在任何揭示类似TD的多巴胺神经元行为本质的实验进行前很多年提出的。
  15.7 神经"行动器-评判器"
  "行动器-评判器"算法同时对策略和价值函数进行学习。
  行动器是算法中用户学习策略的组件，评判器是算法中用于学习对行动器的动作进行"评价"的组件，这个"评价"是基于行动器所遵循的策略来进行的，无论这个策略是什么。
  "行动器-评判器"算法有两个鲜明特征让我们认为大脑也许采用了类似的算法。
  评判器和行动器网络都可以接收多个特征，它们表示了智能体所在的环境的状态。
  在评判器网络中的权重参数化了价值函数，在行动器网络中的权重参数化了策略。
  网络根据我们下一章中描述的"行动器-评判器"学习规则来改变权重进行学习。
  在评判器神经回路产生的TD误差是改变的评判器和行动器网络权重的增强信号。
  这是横跨不同大脑区域的许多神经元的综合活动模式的结果。
  尽管在图15.5b中展示的"行动器-评判器"神经实现在某些问题下可能是正确的，但它明显需要提炼、拓展、修改，才有资格作为一个完整的多巴胺神经元相位活动的功能模型。
  15.8 行动器与评判器学习规则
  行动器和评判器学习规则之间的区别相对简单，但是这个区别对于"行动器-评判器"算法本质上如何起作用有着显著的影响。
  如图15.5b所示，多于一类以上的学习规则可以被用来训练"行动器-评判器"网络。
  从神经方面来说，这意味着每一个突触有着自己的资格迹，并且是向量的一个分量。
  对于在时刻 t 的动作和状态，答案是(直接利用链式法则求导即可):
  行动器单元资格迹的突触后偶发性是评判器与行动器学习规则唯一的区别。
  评判器与行动器的学习规则是如何改变皮质突触的功效的呢
  评判器与行动器学习规则的信号之间的一些细微之处更加值得关注。
  更加真实的模型则必须要将激活时间考虑进去。
  激活时间对于更真实的行动器单元更加重要，这是因为它会影响偶发资格迹如何将强化信号分配到合适的突触。
  这个能够起作用，是因为在忽略了激活时间的情况下，突触前活动 参与了引起在 中出现的突触后活动。
  神经科学已经提示了这个过程是如何在大脑中起作用的。
  STDP的发现引导神经科学家去研究一种可能的STDP的三因素形式，这里的神经调节输入必须遵循适当的突触前和突触后脉冲时间。
  这种形式的突触可塑性，被称为奖励调节STDP，其与行动器学习规则十分类似。
  产生这些迹的分子机制以及可能属于STDP的迹都要短得多，而且尚未被理解，但是侧重于时间依赖性以及神经调节依赖性的突触可塑性的研究依然在继续。
  我们这里讨论的使用效应定律学习规则的类神经行动器单元，在Barto et al. (1983)的"行动器-评判器"网络中以一种比较简单的形式出现。
  15.9 享乐主义神经元
  在本章后面的参考文献和历史评注部分我们给出了一些其他人的类似的想法。
  Klopf推断突触功效通过如下方式变化:当一个神经元发放出一个动作电位时，它的所有促进这个动作电位的突触会变得有资格来经历其功效的变化。
  Klopf理论中资格迹的形状与时间因素反映了神经元所处的许多反馈回路的持续时间，其中的一些完全位于机体的大脑和身体内，而另一些则通过运动与感知系统延伸到机体外部的环境中。
  资格迹的高峰会出现在神经元参与的最常见的反馈回路发生的持续时间内。
  Klopf的享乐主义神经元假说超出了单个神经元是强化学习智能体的观点。
  15.10 集体强化学习
  强化学习智能体群体的行为与社会以及经济系统的研究高度相关。
  当强化学习智能体群体的所有成员都根据一个共同的奖励信号学习时，强化学习理论可以告诉我们什么
  团队问题有趣且具有挑战性的原因是送往每个智能体的公共奖励信号评估了整个群体产生的模式，即评估整个团队成员的集体动作。
  在这种情况下，可能会出现有冲突的智能体，这意味着对于一些智能体有利的动作可能对其他智能体是有害的。
  15.11 大脑中的基于模型的算法
  使用功能性神经影像对人类的研究以及对非人灵长类动物的研究结果都支持类似的观点:大脑的不同结构分别对应于习惯性和目标导向的行为模式。
  其他的研究确定了目标导向的活动与大脑前额叶皮质有关，这是涉及包括规划与决策在内的执行功能的额叶皮质的最前部分。
  另一个涉及基于模型的行为的结构是海马体，它对记忆与空间导航非常重要。
  一些发现直接揭示了海马体在规划过程中起到重要的作用，这里的“规划过程”就是指在进行决策时引入外部环境模型的过程。
  基于上述结果，产生了大量关于目标导向或基于模型学习和决策的潜在神经机制的研究文献，但是依然有很多问题没有被解答。
  持续有神经科学研究指出，强化学习中无模型和基于模型的算法之间的区别，潜在地启发并增强了人们对大脑中习惯性和目标导向过程的理解。
  15.12 成瘾
  多巴胺活动的奖励预测误差假说及其与TD学习的联系是Redish (2004)提出的包括部分成瘾特征的模型的基础。
  成瘾行为比Redish模型得出的结果要复杂得多，但该模型的主要思想可能显示了这个难题中的一个侧面。
  15.13 本章小结
  多巴胺神经元活动的奖励预测误差假说是由这样一群科学家提出的:他们认识到了TD误差行为与产生多巴胺的神经元活动之间的惊人相似之处。
  其他一些实验结果严格地证明了多巴胺神经元相位活动是一种可以用于学习的强化信号，它通过大量产生多巴胺的神经元的轴突到达大脑的多个区域。
  一个重要的假说是:大脑实现了一个类似于"行动器-评判器"算法的东西。
  行动器与评判器可以通过人工神经网络来实现，该网络由一系列类神经元单元组成，它们的学习规则基于13.5节中所描述的策略梯度"行动器-评判器"方法。
  在"行动器-评判器"网络中，行动器单元的学习规则与奖励调节的脉冲时序依赖可塑性密切相关。
  突触资格的概念和行动器学习规则中的基本特征都来自于Klopf关于"享乐主义神经元"的假设(Klopf, 1972, 1981)。
  多巴胺系统的显著特征是释放多巴胺的神经纤维可以广泛地投射到大脑的多个部分。
  无模型和基于模型的强化学习之间的区别可以帮助神经科学家研究习惯性和目标导向的学习和决策的神经基础。
  强化学习理论也影响着对药物滥用的神经过程的思考。
  本章只是浅显地讨论了与强化学习相关的神经科学是如何与计算机科学和工程的发展相互影响的。