text: 模仿学习：Imitation Learning: Progress, Taxonomies and Challenges
  paper:Imitation Learning: Progress, Taxonomies and Challenges
  模仿学习旨在从人类专家的演示或人工创建的代理中提取知识，以复制他们的行为。其成功在视频游戏、自主驾驶、机器人模拟和物体操作等领域得到了证明。然而，这种复制过程可能存在问题，例如性能高度依赖于演示质量，并且大多数受过训练的代理只能在特定任务环境中表现良好。在本调查中，我们对模仿学习进行了系统综述。我们首先介绍开发历史和初步知识的背景知识，然后介绍不同的模仿学习分类法和该领域的重要里程碑。接下来，我们详细介绍学习策略中的挑战，并提出了来自次优演示、语音指令和其他相关优化方案的学习策略的研究机会。
  模仿学习（IL），也称为演示学习，通过模仿相对简单的行为方式生成响应。它提取有用的知识来在类似于演示环境中再现行为。IL的存在有助于自主控制系统和设计人工智能代理的研究，因为它展现了在现实世界场景和训练策略时的良好前景和高效性。机器学习领域的最新发展，如深度学习、在线学习和生成对抗网络（GAN）[23]，在IL方面取得了进一步的改进，不仅缓解了现有问题，如动态环境、频繁查询和高维计算，而且实现了更快的收敛、更强的噪声鲁棒性和更高效的学习过程。这些IL的改进促进了其在连续和离散控制领域的应用。例如，在连续控制领域，模仿学习可以应用于自主驾驶车辆的操作，以在动态环境中再现适当的驾驶行为[11、13、14、22、31、52、53、80]。此外，模仿学习还应用于机器人，从基本的抓取和放置到外科手术辅助[21、37、43、46、48、49、67、79]。在离散控制领域，模仿学习对博弈论[5、19、24、55]、导航任务[28、62、76]、缓存管理[38]等领域做出了贡献。
  值得注意的是，演示可以由人类专家或人工智能代理收集。在大多数情况下，演示是从人类专家那里收集的，但也有一些研究通过另一个人工智能代理获取演示。例如，Chen等人提出了一种师生训练结构，他们使用额外信息训练了一个教师代理，并使用这个训练过的代理来教授一个没有额外信息的学生代理。这个过程不是多余的，使用来自其他代理的演示有益于训练过程，因为学生代理可以通过频繁查询训练代理来展开自己的策略，并从相似配置中学习策略，而传统的模仿学习需要克服运动学偏移问题。
  模仿学习（IL）与强化学习（RL）密切相关。IL和RL通常都在马尔可夫决策过程下解决问题，RL中的改进，如TRPO[60]，也可能有益于IL，但它们以不同的方式再现行为。与RL相比，IL更有效、易于访问和人机交互。在效率方面，与试错法相比，IL代理通常使用演示作为指导来产生所需的行为所花费的时间更少。在可访问性方面，RL方法实现自主行为需要熟悉问题设置的人类专家，以及硬编码的奖励函数，在某些情况下可能是不实际和不直观的。例如，人们几乎是通过演示而不是数学函数学会游泳和行走，而这些行为很难以数学方式表述。IL也促进了跨学科的整合，对编程新手来说也能贡献于设计和评估范例。在人机交互方面，IL通过提供演示或偏好来加速学习过程，突显了人类的影响，这有效地利用和传递了专家的知识。虽然IL具有上述优点，但它也面临挑战和机遇，这些内容将在以下章节中详细阐述。
  本survey的组织方式如下：
  其中最早有名的IL研究之一是Pomerleau提出的卡内基梅隆大学的自主地面车辆神经网络（ALVINN）项目[52]。在1998年，Russell提出了对反向强化学习（IRL）的正式定义[58]。反向强化学习旨在从演示中恢复奖励函数。一年后，另一个重要类别——行为克隆（BC）的正式定义在[6]中提出。BC以监督学习的方式工作，旨在学习建立状态和行动之间的直接映射的策略，然后输出控制任务的控制策略。尽管BC展示了显著的效率优势，但它也面临着各种问题。在2010年，SMiLe[55]被提出，它以固定概率将新策略加入到策略集中，这种方法促进了IL的发展，并为后来提出的DAgger[57]奠定了基础。Ross等人提出了DAgger，它在每次迭代中更新数据集，并在基于更新的数据集的后续迭代中训练新策略。与之前的方法如SMILe[55]和SEARN[16]相比，DAgger缓解了在未见过的情况下的问题并实现了数据效率。后来的研究如[38, 56, 67]提出了改进DAgger的方法。除了DAgger及其衍生方法外，其他BC方法也对IL的发展做出了贡献，如MMD-IL[32]和LOLS[12]。至于应用，BC的一个显着应用是由Abbeel等人提出的针对自主直升机项目的无模型BC方法，开发了一个开环迭代学习控制（open-loop iterative learning control）[1]。另一个著名的BC应用是由Osa等人提出的自主手术系带机器人，实现了动态系统中的在线轨迹规划和更新[49]。除了这些现实世界的应用，BC还被应用到其他研究领域，如控制论，例如DAgger被用于[75]中的调度，Liu等人利用Belagy的最优策略（概念验证）作为神谕，通过预测缓存缺失时的重用距离来解决缓存替换问题[38]。
  Fig. 1 特色方法和每类方法的年度出版物数量。蓝色文本表示 IL 中一些最活跃的研究主题，背景直方图是年度出版物的数量。数据从 Web of Science 收集，截至 2021 年 5 月 31 日，通过将每个类别及其缩写设置为关键词进行过滤（如“行为克隆 OR BC”，仅覆盖计算机科学领域的记录）。（很好其这是怎么统计的）
  就IRL而言，Ziebart等人提出了最大熵IRL，利用最大熵分布开发了一个凸优化程序。该方法在后续IRL和GAIL的发展中起着关键作用。2016年，Finn等人对IRL做出了重大贡献，并提出了一种基于模型的IRL方法，称为指导成本学习，利用神经网络来表示成本以增强表达能力，结合基于样本的IRL来处理未知的动态。随后在2017年，Hester等人提出了DQfD，它使用少量演示来显着加速训练过程，通过预训练来启动并从演示和自动生成的数据中学习。随后的方法如T-REX，SQIL，SILP从不同方面对IRL进行了改进。
  另一个新颖的方法称为生成对抗模仿学习（GAIL），它是由Ho和Ermon于2016年提出的，成为了IL领域的热门话题。后来的研究如[17，33，65，76]受GAIL的启发提出，并且其他生成模型逐渐被引入到IL中。除了GAIL之外，另一个重要的研究方向是受Stadie等人[65]的启发。由于在实践中很难获取第一人称演示，并且人们通常通过第三方的视角观察他人的演示来学习，因此提出了从第三人称视角演示中学习的方法。视角的改变促进了后续研究，如[9,19]，其中包括IfO [40]。IfO专注于简化输入，仅使用原始视频（即不再使用状态-动作对），许多后续方法提倡这种新的设置。这些方法测量观察之间的距离以替换对地面真实动作的需求，并扩大了可用于训练的输入，例如使用YouTube视频进行训练[5]。其他有趣的研究领域，如元学习[18，20，27]，多智能体学习[78]也因IL的发展而蓬勃发展。图1展示了一些特色方法以及每个类别的年度出版物数量，重点关注2016年后的研究，它表明BC（行为克隆）类别在出版物方面保持了稳定的增长，而对抗结构IL和IRL（逆强化学习）类别的研究由于深度学习等其他研究领域的最新进展而迅速增长。
  本节提供一些基本概念，以更好地理解IL方法论。
  在IL中，演示的轨迹通常表示为状态和动作对的形式，有时也会包括其他参数，例如高层指令和条件目标，以形成数据集。收集数据集的方式可以是在线或离线的。离线IL事先准备数据集并从数据集中获得策略，与环境的交互较少。这在与环境的交互是昂贵或有风险的情况下可能是有益的。相反，与离线学习相对，在线学习假定数据将按顺序访问，并使用这些更新的数据来学习未来数据的最佳预测器。这种方法使得模仿学习在动态系统中更加健壮。例如，在[48, 49, 57]中，在线学习被用于外科机器人。在线学习代理会在第n次迭代中提供策略，然后对手将基于当前策略选择一个损失函数 ，新观察到的损失将影响下一次迭代的策略选择。性能通过下式进行测量：
  损失函数可以在每次迭代中变化。其中最常见的计算损失的方法之一是Kullback-Leibler（KL）散度。KL散度测量了2个概率分布之间的差异，即
  KL散度不是对称的，即 许多算法（例如[8, 60]）使用KL散度作为损失函数，因为在处理随机策略学习问题时它可能是很有用的。
  对于许多方法，特别是IRL和对抗性结构的IL类别，环境被建模为马尔可夫决策过程（MDP）。
  在本节中，介绍了四种分类法（见图2）。前两种分类法（BC vs. IRL和model-free vs. model-based）遵循[47, 72]中的分类方式，另外两种分类法（低级别操作任务 vs. 高级任务和BC vs. IRL vs. 对抗性结构化IL）是新提出的分类法。
  IL通常分为BC和IRL两类。这两个类别通过结合不同的技术来繁荣发展，并扩展到不同的领域。一般而言，BC和IRL方法使用不同的方法来复现专家行为。BC通常使用从状态到行动的直接映射，而IRL则试图从示范中恢复奖励函数。这种差异可能是为什么BC方法通常应用于现实世界问题，而大多数IRL方法仍然在具有较少发明的环境（作者想说的应该是仿真环境）中进行模拟的原因。
  与直接映射相比，恢复奖励函数需要更强的计算能力和技术来获取独特的奖励函数并解决稀疏奖励问题。内循环强化学习还可能导致IRL方法在实际问题中变得不实用（因为这个环境大多是自建的，所以作者称其为The inner loop reinforcement learning，这和真实环境存在差异）。对于计算问题，GPU的最新发展逐渐缓解了高维计算问题；对于技术方面，最近的算法如Trust Region Policy Optimization[60]和注意力模型[26]为IRL方法提供了更强大和高效的方法；至于稀疏奖励函数，Hindsight Experience Replay[2]通常用于解决这个问题。另一方面，BC也面临“复利错误”[57]的问题，即一个小错误可能破坏最终的性能。除了这些问题，其他问题，如更好的表示和多样化的行为学习，仍然是开放的，有许多方法用于解决这些问题，如[29，39，76]。
  表1列出了IL领域中一些最近的研究，分为BC和IRL两类。最近的BC方法主要关注以下话题：元学习，即通过对更广泛的行为范围进行预训练来学习学习的代理[18]；将BC与其他技术（如VR设备）结合使用[79]。另一方面，最近的IRL方法主要关注以下话题：将其他方法或问题设置与GAIL相结合扩展[17]；从原始视频中恢复奖励函数[5]；通过使用强化学习中的当前发展，如TRPO[60]和HER[2]，开发更有效的基于模型的IRL方法。
  另一种经典分类方法将强化学习（IL）分为基于模型和无模型方法。这两种方法的主要区别在于算法是否采用前向模型来学习环境的背景/动态。在GAIL[25]提出之前，大多数IRL方法都是在基于模型的环境中开发的，因为IRL方法通常涉及迭代算法评估环境，而BC方法通常是无模型的，因为低层控制器通常是可用的。在GAIL提出之后，各种对抗性结构化IL方法都遵循GAIL的无模型设置。虽然从环境中学习听起来对各种方法都有好处，但在某些问题设置中可能并不必要或难以应用。将环境背景/动态整合起来可以获得更有用的信息，以使算法能够实现数据效率和可行性，但缺点是学习模型的代价昂贵且具有挑战性。例如，在机器人技术中，设备通常非常精确，可以轻松获得空间位置、速度和其他参数，系统动态可能提供相对较少的帮助以重现行为。另一方面，在自动驾驶任务中，系统动态可能至关重要，以避免撞击行人。在这种情况下，基于模型或无模型的选择取决于任务。表2列出了一些最近的IL研究主题，分为基于模型和无模型两类。
  该子部分介绍了一种新的分类方法，根据其评估方法将IL分为操作任务和高级任务。
  低层次的操纵任务可以是真实世界的或虚拟的，并且不仅限于机器人和自动驾驶问题。机器人任务可以是通过PR2、KUKA机器人手臂等机器人手臂进行物体操纵，以及在OPEN AI gym、MuJoCo模拟平台等上常见的模拟任务。对于真实世界的物体操作任务，任务可能包括将物体推到期望区域，避开障碍物，操作软物体如绳子等。自动驾驶任务通常通过模拟实现，并与高层次规划更相关。有两种广泛使用的仿真基准系统：CARLA CoRL2017和NoCrash基准系统，这两种基准系统主要关注在各种天气条件下的城市场景，评估代理能否及时到达目的地，但CARLA CoRL2017忽略了碰撞和违反交通规则。除了模拟外，还有一些研究在现实世界中使用汽车[80]和较小的遥控汽车[14]进行实验，但也使用了其他类型的设备，如遥控直升机[1]。至于高层次控制器，任务可能包括导航任务和游戏玩法。导航任务主要是路线推荐和室内房间导航。大多数评估的游戏是OpenAI Gym上的2D Atari游戏，例如MontezumaRevenge通常在困难的探索和稀疏的奖励场景中进行性能评估。其他的则在3D游戏，如GTAV或Minecraft中进行评估。这种分类方法可能具有意义，因为它清晰地反映了所提出算法的目标领域，随着评估方法的差异可能较小，这可能有助于设计统一的评估指标。图3提供了各种流行的IL评估任务。
  从图4可以看出，模仿的目标可能是学习高级控制器的策略，同时假设低级操作器正常工作，或者学习在低级控制器上复制简单行为的策略。一般来说，高级控制器学习规划一系列运动基元的策略，例如[49]。至于低级控制器，则学习复制基元行为的策略，例如[61]，这形成了IL的分层结构。虽然一些方法提出了通用框架，同时在两个领域上进行评估，但大多数方法在选择任务来展示其在高级或低级领域的改进时存在“偏见”。例如，在[10]中，提出的算法在Atari和Mujoco环境中进行了评估，但每个环境中评估的任务量明显不同。在这种情况下，可以根据它们在评估任务上的倾向简单地消除这些通用方法的模糊性。
  表3列出了最近按此分类的一些研究。目前大多数模仿方法倾向于使用低级操作任务来评估所提出的方法，因为在高级控制器任务（如游戏）中，强化学习的表现是可接受的，但通常在低级操作任务中表现较差，因为奖励函数可能很难获得。然而，在高级控制器任务中进行IL并不容易，因为对于3D任务或难以探索的游戏，强化学习可能在庞大的状态和动作空间中耗费时间。
  这个分类法是从第一个分类法（行为克隆（BC）与逆强化学习（IRL））扩展而来的。这个新的分类法将IL分为三个类别：行为克隆（BC）、逆强化学习（IRL）和对抗结构的IL。随着IL的发展，对抗结构的IL为研究者带来了新的见解，并缓解了以前工作中存在的高维问题等问题。受到GAIL的存在的启发，许多最近的论文采用了这种对抗结构，不可避免地，GAIL成为比较的基线。但是这还不足以建立IL中的一个独立类别，真正使它与BC或IRL区分开来的原因是GAIL不属于任何一个类别。虽然对抗结构的IL与IRL密切相关，但大多数对抗结构的IL并不恢复奖励函数。在这种情况下，IL的分类可以更加具体。在本文中，GAIL及其派生物被分离出传统的IRL类别，并被归类为对抗结构的IL。与传统分类法相比，提出的新分类法更适应IL的发展，并消除了对这些对抗结构方法进行分类的模糊性。
  图5. BC vs. IRL vs. 对抗性结构化 IL。我们从研究中收集了6个流行的评估标准，并根据研究共识将它们经验性地分为三个级别。外部点的排名越高，就意味着从经验角度评估它的得分越高。
  图5大致通过两种常见比较研究的方面对所提出的三类进行评估。由于不同的方法在各种任务上进行评估，因此很难量化和排名整体性能，在这种情况下，我们从经验角度评估效率和鲁棒性的三个类别。
  就Efficiency而言，我们主要关注环境交互、计算和专家交互。基于行为克隆的方法通常利用与专家的交互，而在环境交互方面较少，因此行为克隆的计算成本很可能最低；逆强化学习方法通常在内部循环中与环境进行大量交互，在系统动态的评估中，逆强化学习受到高计算成本的影响，但逆强化学习方法在训练过程中很少与专家进行交互；对抗结构化的强化学习方法在迭代更新策略参数和判别器参数时也会频繁与环境进行交互，并且不需要与专家进行交互。由于对抗结构化的强化学习方法通常是无模型的，在计算效率的评估中，我们将其排名为第二。
  关于鲁棒性，我们主要关注高维空间中的鲁棒性、演示数据不够优秀时的鲁棒性（包括考虑演示中的噪声），以及动态系统中的鲁棒性。基于行为克隆的方法通常在高维空间中表现更好，因此在机器人领域得到了广泛的评估，但在动态环境和演示数据不足的情况下表现有限；逆强化学习方法通过优化内部循环中的参数来恢复奖励函数，但这成为限制它们在高维空间中表现的负担，不过恢复的奖励函数对于动态系统的预测有益。由于对抗结构化的模仿学习方法通常源自GAIL，它们继承了GAIL的优点：在高维空间和分布发生变化时具有鲁棒性。由于最近的研究（例如[9, 17, 84]）在逆强化学习和对抗结构化的模仿学习中都在解决演示数据不足的问题，因此我们在评估演示数据不足的鲁棒性时，将它们列为同等级别。
  行为克隆（Behavioural Cloning）直接利用专家/预言者提供的演示，将状态/上下文映射到行动/轨迹上。在生成控制输入或轨迹后，将根据问题表述设计损失函数L，并以监督学习的方式进行优化。目前最先进的行为克隆使用负对数似然损失来更新策略，即...（原文未完，无法翻译完整）。
  算法1概述了最先进的行为克隆过程。与其他普遍方法相比，传统的行为克隆与MDP的联系较少，因此其效率得到保证，但代价是它在代理访问未知状态时会遇到问题。损失函数L可以根据特定问题表述进行定制。损失函数（目标函数）显着影响训练过程，并且存在许多现有的损失函数可用于测量差异（在大多数情况下，差异意味着1步偏差），例如ℓ1损失，ℓ2损失，KL散度，Hinge Loss等。例如，当使用KL散度作为损失函数时，可以通过最小化专家分布 和当前策略分布 之间的偏差来获得目标策略。
  BC可以分为无模型和基于模型两种方法。主要区别在于该方法是否学习前向模型来估计动态系统动。由于无模型BC方法没有考虑上下文，因此无模型BC方法在工业应用中表现良好，因为精确的控制器可用且专家可以控制和修改机器人关节。然而，无模型BC方法通常很难预测未来状态，并且不能保证在没有精确控制器的情况下输出的可行性。在这种“不完美”的环境下，代理人将具有有限的动态系统，并且通常由于“复合误差”而陷入看不见的情况[55]。而基于模型的BC方法利用环境信息并迭代学习动态系统以产生可行的输出，但权衡是基于模型的BC方法通常具有更大的时间复杂性，因为涉及迭代学习过程。
  其中一个重要的行为克隆（BC）方法是DAgger，它是由Ross等人提出的一种无模型的BC方法，其想法是使用数据集聚合来提高对未见场景的泛化能力。算法2介绍了DAgger的抽象流程。DAgger采用迭代学习过程，并使用概率为 混合新策略 以构建下一个策略。混合参数是一组满足 的参数集合 。初始策略是通过BC学习的，并将轨迹记录到数据集中。由于微小的差异可能导致复合误差，因此将新的未见轨迹与专家的更正组合记录下来。在这种情况下，该算法逐渐更新可能的状态并充分利用专家的存在。后来的研究[29, 38, 56, 67, 73, 75]提出了对DAgger的改进。该方法缓解了传统BC方法在未见场景中表现不佳的问题，并与先前的方法（如SMILe[55]）相比实现了数据效率。但是，它确实存在缺点，例如DAgger需要频繁与专家进行交互，在某些情况下可能无法获得专家支持并且代价昂贵（例如，在跨学科任务中查询专家的纠正可能很昂贵）。最近的方法（如[13, 25]）成功缓解了这个问题。DAgger的另一个问题可能是忽略了每个操作的成本。由于DAgger在视频游戏中进行评估，其中操作的成本相等，因此实施每个操作的成本并不明显，如导航任务等任务。这个问题后来被Ross和Bagnell[56]解决了。
  逆强化学习首次由Russell提出[58]。与基于规则的控制（BC）不同，逆强化学习代理通过迭代从专家演示中恢复和评估奖励函数，而不是建立从状态到动作的映射。选择使用BC或IRL取决于问题设置。当问题设置更加注重系统动态和未来预测时，选择IRL方法更有可能通过迭代评估给定上下文并提供更准确的预测。另一方面，当需要准确的控制器时，BC可能是更好的选择。
  逆强化学习首先由Russell提出[58]。与BC不同，IRL代理人通过迭代地恢复和评估专家演示的奖励函数，而不是建立状态到动作的映射。选择BC或IRL取决于问题设置。当问题设置更侧重于系统动态和需要进行未来预测时，选择IRL方法可能更有可能迭代评估给定的上下文并提供更准确的预测。另一方面，当有准确的控制器和丰富的演示可用时，选择BC方法通常需要更少的时间并表现更好。
  为了缓解强化学习中的行为克隆（BC）和反向强化学习（IRL）问题，Ho和Ermon在2016年提出了一个新的通用框架，称为生成对抗性模仿学习（Generative adversarial imitation learning，GAIL）。GAIL将GAN和最大熵IRL之间建立了联系。
  训练过程在算法4中展示。通过采用TRPO，策略可以更加抗噪声和稳定。与DAgger和其他先前的算法不同，从使用专家数据的角度来看，GAIL更具有样本效率，并且在训练过程中不需要专家互动，它还具有处理高维度领域和分布变化的足够能力。而折衷之处在于训练过程需要经常与环境交互，可能对于鞍点问题更加脆弱和不稳定。对于第一个问题，作者建议使用BC来初始化策略，以减少环境交互量。至于第二个问题，最近的研究[3]尝试通过将分布匹配问题形式化为迭代下界优化问题来缓解这个问题。
  受到GAIL的影响，已经有很多研究提出了进一步发展GAIL的方法（见表4），逐渐形成了对抗结构化IL的一个类别。在“进一步改进”的方面，许多提出的方法从不同的角度修改和改进GAIL。例如，MGAIL [7]使用先进的前向模型使模型可微分，以便生成器可以使用判别器的精确梯度。InfoGAIL [35]通过采用WGAN而不是GAN来修改GAIL。其他最近的工作，如GoalGAIL [17]，TRGAIL [33]和DGAIL [83]都是通过与其他方法（如回顾重新标记和深度确定性策略梯度（DDPG）[36]）相结合来改进GAIL，以实现更快的收敛和更好的最终性能。
  上面介绍的主流方法几乎都使用状态-动作序列来形成轨迹作为输入数据。这种数据准备过程可能很费力，对于丰富的未标记视频来说也是一种浪费。在IfO[40]提出之后，这个问题得到了缓解，IL算法开始倡导这种新颖的设置，并利用原始视频来学习策略。与传统的IL方法相比，这个算法更加直观，它遵循人类和动物如何模仿的自然方式。例如，人们通过观看视频学习跳舞，这种跟随过程是通过检测姿势的变化并采取行动来匹配姿势实现的，这与IfO解决问题的方式类似。不同于传统的IL，不提供地面真实的动作序列。与IRL类似，IfO的主要目标是从演示视频中获取奖励函数。
  尽管改进，例如集成新技术，减少训练过程中人类干预以及简化输入等措施可以缓解学习行为方面的困难，但是在模仿学习方面仍存在一些未解决的挑战：
  Diverse behavior learning 多样化行为学习：当前的IL方法通常使用特定任务的训练数据集来学习复制单一行为。类似于[76]的研究通过组合对抗性结构和变分自编码器来实现多样化行为学习，但这仍然是一个开放的挑战。其他方法可以被采用来优化IL，例如迁移学习可以帮助代理人从类似的任务中学习，从而使训练过程更加高效。
  Sub-optimal demonstration for training 用于训练的次优演示：当前的IL方法通常需要高质量的演示集来进行训练。然而，高质量的演示数量可能有限，且获取成本昂贵。现有研究（例如[9, 17, 64]）已经展示了使用次优演示进行训练的可能性，但是通过从数据集中提取共同意图可以提高性能。
  Imitation not just from observation 模仿不仅仅来自观察：目前常用的基于观察（IfO）的方法使用原始视频和观察偏差来恢复奖励函数。但是视频不仅仅是观察，也许语音指令也可以用来获取更好的奖励函数。王等人在导航任务中演示了使用自然语言，但在IfO环境中探索这个话题可能是一个有趣的课题。
  Better representation 更好的表示方法：良好的策略表示方法可以使训练过程受益，以实现数据效率和计算效率。寻找更好的策略表示方法仍然是交互学习(IL)中的一个活跃研究课题。除了策略表示方法，如何表示演示也是IL中的另一个问题。演示的表示需要更高的效率和表达能力。
  Find globally optimal solution 寻找全局最优解：大多数研究都是基于演示找到局部最优解，这可能会设定代理性能的上限。未来的方向可能是针对特定任务寻找全局最优解，这需要代理理解行为的意图而非复制粘贴。目前像[77]这样的研究已经成功地超越了演示者的表现，但是寻找全局最优仍需要努力。
  模仿学习在各种问题中都取得了出色的表现，从解决探索困难的 Atari 游戏到通过机械臂实现物体操作并避开障碍物。不同类型的模仿学习方法对这一显著进展做出了贡献，如 BC 方法更直观地复制行为，其中环境参数可以轻松获得；当问题更加侧重于环境动态而不太关注训练时间时，IRL 方法可以实现数据效率和未来行为预测；对抗结构化 IL 方法在训练过程中消除了专家交互，并具有处理高维问题的足够能力。虽然 IL 方法不断发展壮大，但 IL 也在不断寻求突破，例如，当输入演示是原始视频时，IfO 方法通过替换行动标签的需要来简化输入。尽管最近的研究在复制行为方面具有显著优势，但在 GAIL 及其派生物存在的情况下，分类的模糊性存在。为了消除这种不确定性，我们分析了传统的 IL 分类法，并提出了新的分类法，以更清晰地界定不同方法之间的边界。尽管 IL 取得了成功，但仍存在挑战和机遇，例如学习多样的行为、利用次优演示和语音指令、更好的表示，最终找到全局最优解。未来的工作有望揭示 IL 及其实际应用。