text: 基于AI的情感音乐生成系统：方法和挑战的回顾
  原文：AI-Based Affective Music Generation Systems: A Review of Methods, and Challenges（机翻）音乐可以对听众的情绪状态产生显着的影响[34]。事实上，音乐经常被用作一种强大的媒介，用于诱导和调解听众的情绪和情感状态[2，11]。与此同时，随着计算新时代的到来，研究人员对设计人工智能（AI）驱动的音乐生成系统越来越感兴趣[4，26]。这些计算音乐合成系统的集合集中于创建情感音乐，并且这样的系统可以被称为“AI-based affective music generation (AI-AMG) systems”。与人类创作的音乐相比，AI-AMG系统通常具有某些益处，例如绕过版权问题的能力，以新颖方式混合流派/音乐元素的计算手段，以及在实时音乐生成系统的情况下，根据环境的方面或听众的身体或情绪状态的变化灵活地定制所生成的音乐的能力。此外，AI-AMG系统可能能够创建无限数量的独特情感音乐作品，并且在没有任何相关时间限制的情况下创作音乐[75]。由于这些优势，AI-AMG系统现在正迅速获得研究人员以及谷歌和苹果等公司的关注，这些公司正在积极开发创造性的交互式音乐生成方法。AI-AMG系统具有影响许多领域的巨大潜力，包括但不限于医疗保健，共同创造力和娱乐（游戏）。通过利用情感音乐的力量来诱导/调解/增强听者的不同心理生理状态，AI-AMG系统已被部署在医疗保健的不同领域[2]。情感音乐通常有助于改善焦虑[18]和抑郁[64]患者的情绪状态，同时也促进自我表达[11]。情感音乐在康复过程中也可以有效地促进身体活动或有节奏地伴随音乐的节拍。此外，情感音乐可以帮助提升患者的情绪状态，从而促进更好地遵守规定的康复练习[22]。因此，基于音乐的情绪调解技术可以应用于患有神经系统疾病（如中风）的患者[15]，同时改善他们对康复治疗的参与。基于AI的情感音乐生成的另一个重要应用领域是共同创造力。情感音乐创作中的计算共同创造是指人类和计算机合作创作或即兴创作音乐。基于人工智能的算法可以支持创作过程的各个方面，例如机械化音乐创作的一部分（例如：例如，伴奏），从而与音乐家分享一些创造性的负担[36，46]。娱乐是情感音乐可以找到各种应用的另一个领域，例如伴随游戏的音乐和基于VR/AR的讲故事场景。在基于虚拟现实的游戏中使用情感音乐可以增强用户的沉浸感，同时促进他们的中介存在[23]。在讲故事的情况下，情感音乐和指定的主题可以伴随叙述中的某些人物和情况，以增强体验并更好地吸引听众的注意力。因此，这种基于技术的情感音乐生成方法有望在多个领域发挥巨大作用，并通过共同创造来激励作曲家和音乐家。由于对自动情感音乐生成的兴趣迅速增长，因此谨慎地评估现有系统并回顾文献，以总结最先进的技术，并帮助在该领域工作的研究人员更透彻地了解该领域最有用的技术/方法（例如，在音乐领域中，音乐的自动生成技术）。例如，什么架构看起来最有效、什么特征导致最大的情感诱导等）。然而，据我们所知，最近并不存在这样的审查。据我们所知，只有一篇关于这个主题的评论文章[76]，发表于2015年。从那时起，计算技术取得了巨大的进步，这导致了更先进的音乐生成系统。因为这篇综述旨在帮助研究人员研究最先进的情感音乐生成，所以与[76]相比，本文还更多地关注AMG系统的技术方面。在这篇综述中，我们1）总结了基于AI的情感音乐生成系统的文献，2）根据用于音乐生成的核心算法/方法对这些系统进行分类，3）对不同类别的AMGS进行了广泛的回顾，4）确定了最先进的AMGS中存在的挑战，以及4）探索了未来研究的潜在方向。文章的其余部分被组织为追随者：第2节介绍了进行这项审查所采用的方法，其次是第3节中基于AI的情感音乐生成的背景。第4节详细回顾了文献，第5节介绍了重要的音乐特征和用于操纵它们的方法。第6节讨论了该领域的挑战和未来工作，第7节总结了本文的结论性意见。这篇综述总结了来自三个不同网站的相关文章，即（1）Google Scholar，（2）Scopus和（3）IEEE Xplore。这些网站是使用搜索查询挖掘的：（一）（Affect或Emotion或Mood）和（合成或人造）和（合成或生成）和音乐，以及（二）（情感或情绪或情绪）和（合成或人造）和（合成或生成）和铅片，（三）（Valence OR Emotion OR Affect OR Mood）和（生成或合成）和（主表或旋律或节奏），以及（4）（影响或情感或情绪）和（生成或合成或作曲）和（音乐和（主表或乐谱））。在最初的入围过程中，排除了来自以下主题的文章：（1）基于情感的自动播放列表生成，（2）来自音乐的情感识别，以及（3）悦耳的人工音乐合成，以及不解决音乐生成的情感成分的相关领域。其余的相关文章，包括一个计算情感音乐生成系统/算法的设计后，审查摘要入围。此外，我们在初步检索中查看了相关文章的参考文献，并纳入了1990年至2022年期间发表的符合我们标准的任何其他文章。这总共产生了56篇文章。然后对这56篇文章进行了批判性审查，并在本手稿中提供了文章的详细比较。在这56篇文章中，有31篇是在2015年之后发表的。在下一节中，我们将简要介绍情感音乐生成系统的背景。基于AI的情感音乐生成（AI-AMG）是一个跨学科的领域，需要人工智能，音乐理论和/或音乐创作原理的知识，以及情感科学的基础知识。图1示出了交互以创建基于AI的情感音乐的主要字段，即：例如，计算生成的音乐，其旨在在收听者中产生某种感知或诱导的情感。人工智能（AI）的知识对于设计生成自动音乐的算法是重要的。为了创作高质量的、听起来真实的音乐，该算法需要来自音乐理论和作曲的音乐规则/结构的知识。此外，情感科学的概念有助于理解音乐的情感表达，以及听众对音乐的情感反应。简而言之，AI-AMG需要跨越多个领域的跨学科专业知识，例如计算，音乐理论和作曲，认知科学/心理学，数学建模，信号处理，有时甚至是生理学和神经科学等领域。本综述涵盖了主要领域的新贡献，有助于AI-AMG系统的核心设计元素/组件，并提供了一个全面的比较现有的系统，旨在生成基于AI的情感音乐。在下面的部分中，我们提出了基于AI的情感音乐生成系统的总体概述，并提供了系统的主要组件的描述。AI-AMG系统通常具有三个主要组件，即：（1）目标情感识别（TEI），（2）情感音乐生成（AMG），和（3）情感评估（EE）。图2示出了AI-AMG系统及其组件的相互作用的示意框图。目标情绪识别（TEI）组件从用户或输入设备获取输入，并将其映射到系统可用的表示中的情绪域。AMG组件然后使用由TEI组件提供的情感信息并且相应地创作情感音乐。最后，情感音乐输出（e。例如，音乐的片段或摘录）由EE组件（其可以涉及计算和人工评估两者）评估以检查它们的情感表现力。这些组件中的每一个的详细描述在以下小节中呈现。该组件的目的是识别或选择情感音乐生成的目标情感，即：例如，音乐旨在表达或诱导听众的情感。该组件从用户/输入设备获取文本、图像、视频、传感器数据、乐谱、铅板、用户输入或预定目标情感（如经由情感图或离散情感所指示的）形式的输入，并提供目标情感作为输出，然后将其用于驱动情感音乐生成。来自TEI组件的输出数据可以被呈现为离散情感集合的元素或情感图（2D或3D平面）上的点。离散情感集合的流行选择包括[快乐和悲伤]和[快乐、悲伤、平静和愤怒]。这些离散的情感集合包括彼此非常不同的情感。在情感地图的情况下，最常见的是使用情感的环模型，例如James Russell [56]提出的模型，以在效价-唤醒平面上表示目标情感。TEI组件的输入和输出数据的选择取决于生成情感音乐的应用。例如，为了生成游戏环境的背景音乐音轨，对应的TEI组件将游戏的视频回放作为输入。另一方面，对于一些系统，TEI组件可以根据应用将直接情感或文本/表情符号作为输入。输出情感的类型也取决于应用。例如，在诸如用于治疗抑郁个体的情感音乐的生成的应用中，可能希望在TEI分量中包括诸如平静和快乐的目标输出情绪的离散集合。TEI组件通常使用不同类型的特征提取/分类算法来映射输入数据（文本、视频等）。）到情感的空间。根据应用，使用不同的算法将视频或图像文件映射到情感空间。例如，卷积神经网络架构已被用于基于图像中的情感内容将输入图像映射到离散情感空间（具有7种情感）[42]。在一些情况下，TEI组件的输入是直接来自设计者/用户并且不需要算法处理的一个或多个情绪。在这种情况下，TEI组件充当缓冲器，并将输入情感直接馈送到情感音乐生成组件，情感音乐生成组件基于该信息合成情感音乐。AMG组件的目的是创作能够表达或诱发目标情感的情感音乐。如上所述，对该组件的输入是目标情感，并且输出是旨在表达目标情感的音乐的片段、摘录或连续流。在AMG组件中，音乐通常表示为一系列音乐事件，其中每个事件是不同层次结构中不同音乐特征（克里思，音符持续时间，和弦序列，旋律，和声，音色等）的组合[45]。简单地说，复杂的音乐结构由低级音乐特征组成，例如音符和和弦，它们是相对高级特征的基本构建块，例如动机和短语，并且在音乐中这些特征之间存在某种类型的相互依赖性[45]。也就是说，给定目标情感作为输入，AMG组件采用特定的算法/方法来操纵特征及其在不同层级的交互，以便创作情感音乐。可以使用各种音乐生成算法和方法来合成情感音乐，并且可以根据四种广泛类型的算法/方法来对AMGS进行分类，即，（1）基于规则的方法，（2）数据驱动的方法，（3）优化方法，以及⑷混合方法。我们在下面简要描述每种方法。这种分类如图3所示。3.2.1 基于规则的方法。基于规则的方法定义捕获用于音乐合成的音乐特征之间的关系的音乐规则。这些音乐规则在AMG组件中以数学方程或逻辑语句/启发式规则（if-else语句）的形式表示。AMG组件使用一组规则来创作情感音乐，该情感音乐旨在传达或诱导目标情感。根据音乐特征与情感之间的关系，规则可以被分类为两个不同的类别，（1）特征到情感规则，以及（2）特征到特征规则。规则的特征到情感类别描述了音乐特征和情感维度之间的关系（在情感图中）。例如，沃利斯et al.、[72，73]已经表示了克里思、清晰度和粗糙度与不同唤醒水平（情感维度）之间的关系。最近，研究人员利用这些信息以参数方程的形式构建了这些规则的更一般的表示，其中音乐特征通过效价和唤醒水平（情感维度）进行参数化[17]。另一方面，特征到特征的规则描述了音乐层次结构中不同层次的特征之间的关系。一个这样的示例是“用于从和弦集合中选择和弦以适合给定旋律的规则”。这些规则可以以启发式规则、条件语句或数学方程的形式在AI-AMG系统中编码。这些规则中的许多被分组在一起以形成AMG组件的基于知识的，AMG组件然后利用该知识来生成情感音乐。这些基于规则的方法由一组数学方程来控制，在生成音乐的时间和计算方面是有效的。3.2.2 数据驱动方法。AMG组件中使用的数据驱动方法捕获并利用数据中存在的模式来学习音乐中的固有结构信息。结构信息在训练阶段学习，并以模型参数的形式存储.随后，在生成过程期间使用模型参数来生成人造音乐。这种训练和随后的生成过程可以以目标情感为条件来创作情感音乐。根据模型的结构，数据驱动方法分为两种类型：（1）基于马尔可夫模型的方法，以及（2）基于神经网络的方法。在基于马尔可夫模型的方法中，模型学习与音乐特征的发生相关的句法/统计信息，并且随后，模型用于预测适合音乐上下文的特征值。研究人员已经使用这种方法来预测给定音乐作品的音符值，和弦移动和八度移动/寄存器等特征[53]。另一方面，基于神经网络的方法使用流行的深度神经网络架构来学习音乐特征之间的固有依赖关系。稍后，在生成阶段，这些模型被用来有效地生成新的和悦耳的情感音乐作品。诸如seq 2seq神经网络架构、长短期记忆（LSTM）、变分自动编码器（VAE）和其他众所周知的架构的神经网络也用于创作情感音乐。尽管需要在大型且经常标记的数据集上训练模型，但统一的架构，易于获得，易于操作和高准确性是使这些数据驱动架构成为情感音乐创作的流行选择的一些品质。3.2.3 优化方法。一些优化方法也已成功地部署在情感音乐的自动合成。广义地说，这些优化方法可以分为两类，即（1）遗传算法，和（2）树/图遍历优化方法。自然启发的优化算法，称为遗传算法中使用的AMG组件产生的情感音乐。该算法可用于优化成本函数在约束和无约束的环境。情感音乐合成过程可以建模为一个多目标约束优化问题，其中的音乐规则被规定为约束。基于遗传算法的方法可用于找到音乐特征的最佳拟合值，而不违反音乐规则（陈述为约束）。例如，Scire et al.使用遗传算法为给定的和弦进行选择旋律，同时不违反音乐理论规则[60]。基于路径遍历的其他优化技术，即（a）树遍历和（b）图遍历方法，也已经被用于AI-AMG系统中。这些方法选择优化给定成本函数的图/树网络中的路径。情感音乐生成过程可以使用图/树网络，其中网络的节点描绘音乐特征的不同状态，并且这些状态之间的链接基于它们对于给定上下文/情感的相关性/接近度来加权。例如，Kou et al.[39]设计了用于和弦选择的树网络，其中网络的每个节点由和弦名称表示，并且每个链接的和弦对之间的路径长度由情感的价值加权。成本函数旨在通过在给定效价/情感值的情况下选择和弦序列中最接近的下一个和弦来优化总路径长度。类似地，图遍历优化方法也被用于选择用于创作情感音乐的和弦[60]。3.2.4 混合方法。除了单独使用上述方法外，研究人员还使用这些方法的组合来创作情感音乐。在这种情况下，AMG组件使用不同的方法（遍历方法、遗传算法、规则和神经网络）来预测/选择给定情感的不同音乐特征。随后，这些特征被共同呈现以生成组合物。例如，[39]，使用基于图的遍历方法，遗传算法和基于规则的技术的组合来选择和弦序列中的下一个和弦，生成适合和弦进行和特征（如克里思和音色）的旋律，用于给定的情绪/情感状态。上述AI-AMG方法用于创作能够表达目标情感的音乐。随后，评估人工生成的音乐作品在表达给定情感方面的功效。这最后一步由情感评估组件监督。该部分的目的是评估人工合成的音乐表达目标情感的功效。研究人员已经使用不同的方法来评估人工生成的音乐中的情感内容[1]，其可以大致分为两类，即（1）基于算法的评估，和（2）基于人类研究的评估（如图4所示）。基于算法的评估方法使用分析方法，用于将生成的情感音乐的某些属性与样本模板进行比较，以生成测量指标;基于该指标值，确定系统在生成特定于情感的音乐中的功效。在这方面，通过比较音乐作品中和弦的位置相对于它们在“五度情感圈”[61]（根据它们的情感表达排列和弦）中的位置来计算索引的算法已经被用于估计所生成的音乐的情感内容。虽然基于算法的评估方法易于实现并且比基于人类的评估耗时更少，但是这样的方法不直接捕获人类的情感反应，并且通常缺乏测量音乐听起来如何“结构良好”和自然以及音乐的创造性（系统以创造性而不是过度重复的方式传达情感内容的能力）的能力。另一方面，基于人类研究的评估方法[1，20]依赖于听众对音乐的情感内容进行评级的能力。情绪是人类现象，并且因此，使用人类评分者提供了对感知/诱导的情绪的直接评估。尽管听众的情绪评估可能是嘈杂的，因为不同的人有不同的音乐知识和偏好，但研究人员经常选择这种方法。在这种方法中，来自系统的样本音乐片段被播放给一组人类听众，并且听众被要求提供他们关于音乐的情感内容的反馈/响应[20]。调查问卷用于收集主观评级或评论。这种方法通常旨在量化（通过评级）由音乐传达/表达的情感（感知的情感）或由音乐在听众中唤起的情感（诱导的情感）。形式上，如[38]中所定义的，感知的情绪“是指智力处理，例如对意图或表达的情绪的感知”[38]，并且“诱导的情绪反映了对心理生理变化的内省感知，这通常与情绪自我调节有关”[38]。因此，根据情绪评估的标准，基于人类研究的评估方法可以再次细分为两类，即（1）感知情绪评估和（2）诱导情绪评估[73]。测量感知情感的常规方式是通过从听者收集情感评级，根据效价唤醒水平或离散情感评级。此外，诱导情绪评估方法旨在估计在听到某段音乐后听者的诱发情绪[65]。可以使用与用于测量感知情绪的问卷不同的问卷集合来检查收听者的诱发/诱发情绪。此外，可以通过不同的生理和基于传感器的测量来监测/测量诱导的情绪[1]。例如，可以监测和处理诸如脑电图（EEG）、面部肌电图（EMG）和光电容积描记图（PPG）[65]的生理信号，以用于识别和量化听者中诱发的情绪的强度[17，65]。这种基于生理学的评估方法通常被认为是更可靠的，在这个意义上，这些方法依赖于非自愿的，无偏见的措施，“直接”量化诱导的情绪。重要的是，用于AI-AMG系统的情绪评估方法的选择应该基于其潜在的应用来决定，即AI-AMG系统是用于表达不同的情绪，还是意在诱导听者的情绪。尽管现有的AI-AMG系统能够在其生成的音乐作品中表达所需的目标情感，但大多数研究人员尚未研究听众的诱导情感，并且其计算创造力尚未与人类的创造性追求相匹配-存在改进的空间。在下一节中，我们将详细回顾基于AI的情感音乐生成系统的最新进展。下面的论文简要总结为1）捕获使用的最先进的方法，和2）允许读者评估哪些论文与他们的研究最相关（知道在哪里指导进一步阅读）。如前一节所述，AI-AMG系统通常由三个主要组件组成：（1）目标情感识别（TEI），（2）情感音乐生成（AMG），以及（3）情感评估（EE）。在这三个组件中，音乐生成的核心功能在AMG组件中执行。因此，在本节中，我们基于用于AMG组件中的音乐生成的算法/方法的类型来呈现对不同AI-AMGS的讨论。本文回顾了56篇关于情感音乐生成系统的研究论文。在这些文章中，有21篇文章采用了数据驱动的情感音乐生成方法，使数据驱动方法成为最常用的方法之一。其中，4个采用基于马尔可夫模型的方法，其余17个采用神经网络架构来生成情感音乐。除了数据驱动的方法外，基于规则的方法也是情感音乐生成的流行方法，共有18篇文章。在7篇文章中使用了优化方法，在10篇文章中使用了混合方法（采用多个上述策略）。表1列出了这些文章的完整列表。基于规则的AI-AMG系统利用音乐规则（即，例如，音乐特征与情感之间的关系，或者不同层次的音乐特征之间的关系）来创作情感音乐。基于音乐规则的复杂性，这些系统可以再次分为两个子类别，即：（1）基于简单规则集的系统，其中规则集仅由诸如克里思和模式（大调/小调）的简单音乐特征的小集合组成，以及（2）基于复杂规则集的系统，其中规则集由用于其他音乐特征（音高音域、和声、和弦进行等）的规则组成。）除了简单的音乐特征如克里思和模式之外。这两种方法都用于情感音乐创作。4.1.1 基于简单规则集的系统。一些基于规则的AI-AMG系统使用基于目标情感信息仔细选择情感成分的克里思和模式的规则。简而言之，以每分钟节拍（BPM）测量的克里思是一个简单的特征，与情绪的唤醒成分有直接和递增的关系[72]。同样，音乐的模式（大/小调）通常会影响效价[65]。这些规则被研究界广泛接受，因此包含在大多数基于规则的AI-AMG系统中。在本文中总结的所有论文中，只有一个系统使用了一个简单的规则集在他们的音乐作品中生成情感内容。Su等人提出了一种基于规则的音乐生成系统，用于改善听众的情感状态[65]。该系统的目的是比较策略，即“放电”，“转移”和“放电转移”，用于诱导相对积极的影响，在一个听众从他/她的当前情绪状态。简而言之，“释放”、“转移”和“释放到转移”是用于通过播放分别表达悲伤/愤怒情绪、愉快情绪和悲伤/愤怒到愉快情绪的音乐来将用户从悲伤/愤怒情绪转移到相对愉快情绪的情绪调解策略。该系统使用基于两个特征的音乐规则，即，大/小调模式和克里思，以生成音乐事件，然后用不同的乐器组合（钢琴，吉他，大提琴，电颤琴和踢鼓）播放这些事件。然后将水平重新排序方法应用于这些音乐事件，以便生成用于三种不同策略的音乐。音乐的目的是创造一个比当前状态更快乐的情绪状态，听众的情感状态通过他们的面部表情来测量和量化。结果表明，放电转移策略是更好地诱导积极的影响相比，其他策略。简单的基于规则的AI-AMG系统易于设计和实现。除了基于克里思和模式部署简单的音乐规则之外，复杂的基于规则的系统利用基于给定的情感信息控制其他/附加音乐特征的音乐规则。在下一节中，我们将总结使用复杂规则集的基于规则的系统。4.1.2 基于复杂规则集的系统。除了使用简单的克里思和模式的音乐规则外，AI-AMG系统还使用更复杂的规则集来仔细操纵音乐特征，例如和声，旋律，节奏等。、来创作情感的作品。这样的AI-AMG系统被分类为基于复杂规则集的系统，并在这里进行总结。这些系统已经被设计为在开环模式下操作，其中目标情感信息被给予系统[55]，或者在闭环模式下操作，其中目标情感信息从用户的生理状态实时解码。首先，我们总结了被设计为在开环模式下操作的AI-AMG系统。Vieillard和他的同事[70]开发了一个系统，可以操纵模式，不和谐音/和谐音，旋律音高范围和克里思来创作情感音乐。后来，沃利斯和同事[73]开发了一个基于规则的系统，该系统选择音高区域，响度，节奏粗糙度，克里思，发音，和声模式和上部扩展来创作情感音乐，以表达不同水平的效价和唤醒。此外，研究人员还开发了一套名为“KTH音乐表演规则”的规则，用于创作情感音乐[21]。音乐规则也被定义为操纵不同层次的音乐特征来创作情感音乐。例如，Hoeberechts et.等人提出了一种流水线（顺序）架构，用于通过控制不同层次的音乐特征来合成情感音乐[27]。在这里，音乐规则被定义为操纵高级别的特征，如部分，块和音乐线，以及低级别的音乐特征，如结构，和声模式，主题模式，模式和米，合成快乐和悲伤的音乐。近年来，研究者们也试图通过改变音乐结构来控制音乐的张力.例如，通过破坏音乐结构（乐句破坏和周期破坏）来改变音乐张力的建立和释放[67]。这种改变计算机化音乐的张力的方法也可以用于设计AI-AMGS。此外，AI-AMG系统也被设计为在闭环模式下运行。这些系统与基于传感器的平台（EEG平台、可穿戴传感器）集成，用于监测/解码用户的实时情绪状态。随后，基于解码的情感信息，这些系统生成自适应情感音乐。在这方面，研究人员已经开发了用于情绪调解和情绪诱导等应用的原型AI-AMG系统。Miyamoto及其同事[47]开发了一种基于规则的AI-AMG系统，其中用户可以根据他/她的神经激活来控制情感音乐。从用户的实时EEG激活中解码情感信息，并将其映射到效价-唤醒平面上。随后，基于该情感信息，系统通过使用一组规则集体地改变诸如克里思、节奏、响度、模式和音高的音乐特征来合成情感音乐。类似地，埃利希et al.[17]开发了一种AI-AMG系统，通过基于听者的瞬时EEG激活播放情感音乐，实时支持听者的情绪自我调节。作者的AI-AMG系统通过改变音乐特征来生成音乐，包括克里思，节奏，响度，音高和模式。AI-AMG系统嵌入在闭环脑机接口（BCI）系统中，该系统利用EEG和神经反馈来教导听者调解他/她自己的情绪状态。大多数听众能够控制音乐的产生和自我诱导的目标情绪。Kirke及其同事[37]开发了一种AI-AMG系统，该系统可以与EEG模块集成，用于用户情绪调解。除了EEG之外，还采用可穿戴传感技术和运动/手势传感技术来构建闭环AI-AMG系统。在这项努力中，研究人员[74]开发了一种情感音乐作曲算法，用于设计一个名为“Ada”的智能空间。Ada通过监测手势（视频/图像）、音频（音频事件）和体重变化曲线（地板上的压力负荷）来跟踪用户的情绪，然后使用体重变化曲线来控制其灯光和声音效果。Ada的音效组件利用情感音乐生成算法，通过使用音乐规则改变音乐特征，如音阶材料、音色、克里思、声级、清晰度和时间偏差，来生成特定于情绪的音乐。此外，一些研究人员还尝试将基于规则的AI-AMG系统与多模态平台（叙事、虚拟现实、讲故事、机器人平台）集成，为游戏和娱乐等应用设计原型系统。在这项努力中，Kanno et al.[35]开发了一个基于规则的AI-AMG系统，用于从输入叙事中生成情感音乐。作者首先构建了一个音乐规则库的形式的字典，链接一组印象词对与两个音乐特征：和弦和节奏。印象词对，如“精力充沛的平静”和“快-慢”，用于表示两个极端的印象或情绪。叙事被呈现给系统作为输入，并且系统使用音乐规则来控制音乐特征（节奏和和弦进行），这取决于输入叙事的情感和印象。基于规则的AI-AMG系统也被设计用于讲故事应用[13]。在这个计算机化的音乐生成系统中，音乐的特征，即，脉冲的显着性和运动的节奏，和全音阶模式（大/小调）被操纵编码的音乐中的情感信息。同样，中村及其同事的文章[50]描述了一个原型系统，用于为给定的动画创作情感背景音乐和声音效果。系统的输入以场景中角色的情绪参数、音乐参数和运动参数的形式给出。情绪参数可以是高兴、快乐、困倦、悲伤、愤怒和疲劳，以1-5的量表表示。音乐参数是音乐主题、克里思和音色，并且运动参数包括要在屏幕上呈现的角色的动作。随后，这些输入用于选择不同的音乐特征。例如，基于情绪信息，选择音乐的基调、伴奏（和声伴奏-节奏伴奏）和主题信息（音乐的旋律）来生成音乐。交互式情感音乐生成也被纳入情感敏感机器人[30]。平台获取由用户提供的情感相关信息，并且进一步地，该信息用于定义机器人的音乐参数和运动参数。具体地，使用基于规则的方法来选择音乐参数，其中基于瞬时效价和唤醒值来确定诸如克里思、和弦（大调/小调）和进行稳定性（和弦变化率）的特征。这些基于规则的系统中的大多数能够通过编码然后在使用预定义的音乐规则的同时表达期望的目标情感来可靠地生成情感音乐作品。在基于规则的系统中也观察到，[73]摘录中的感知效价取决于预期的唤醒水平，而感知唤醒不受效价水平的影响。除了通过音乐表达某些情感之外，这些系统中的许多系统还可以自适应地改变音乐中的情感表达，以实时地从一种情感过渡到另一种情感。例如，为了改变情绪表达，音乐可以根据讲故事环境的场景、游戏中玩家的情况、参与者的当前情绪状态而动态地改变，分别用于讲故事、视频游戏和情绪调解应用。本综述中涵盖的一些文章还利用了其AI-AMG系统的实时转换能力，并将该系统与不同的基于传感器的平台（EEG平台）集成，以在闭环模式或多模式平台（叙事/讲故事平台，基于虚拟现实的平台）中工作，以创建自适应AI-AMG系统。自适应系统（如[17，74]）由于其开发交互式游戏，音乐治疗和计算机音乐表演等应用程序的潜力而越来越受欢迎。尽管这些系统能够被部署在无数的应用中，但是这些系统的设计经常被引用为关键。这些系统通常需要具有音乐理论或作曲知识的熟练研究人员来开发系统的规则库。此外，找到一组令人信服的音乐规则可能是困难的，因为规则可能针对不同的音乐流派/风格而不同。设计规则来定制表达不同水平的音乐特征也具有挑战性[47]，需要进一步探索。尽管存在这些限制，基于规则的系统仍然是研究人员的热门选择，因为它易于设计，需要更少的计算资源，例如用于训练的标记数据集，以及生成可靠，悦耳的情感音乐的能力。生成情感音乐的另一种流行方式是通过使用数据驱动的方法，其中使用音乐数据库来训练模型，即。例如，学习模型的参数。随后，使用这些参数来生成情感音乐以表达特定目标情感。数据驱动模型可以是显式确定模型参数的马尔可夫模型，或者是学习模型参数的深度学习模型。这些模型参数的学习过程可以以离散的情感或映射为组成情感音乐的效价和唤醒的成分的情感为条件。基于所使用的模型的类型，数据驱动系统大致分为两类，即（1）基于隐马尔可夫模型的系统，和（2）基于神经网络的系统。4.2.1 基于隐马尔可夫模型的系统。AI-AMG系统已经使用隐马尔可夫模型（HMM）来选择用于创作情感音乐的和弦进行[49，62，63]。具体地，[62，63]中的研究人员已经使用HMM方法来选择和弦序列来伴随给定的旋律，以用于创作快乐和悲伤的音乐作品。转换概率矩阵、连接和弦组（大调/小调）用于选择给定情感的序列中的下一个和弦。来自[62]中的用户收听研究的验证结果表明，使用HMM模型分配给旋律的和弦与音乐家手动分配的和弦收到类似的主观评级。然而，值得注意的是，[62，63]这两个系统都是针对其创作音乐的潜力而设计和验证的，这些音乐只能传达两种离散的情感水平（快乐和悲伤）。类似地，基于HMM的方法也已经用于混合AI-AMG系统[7]中，其中使用基于HMM的和弦过渡模型来选择下一个和弦。该AI-AMG系统的详细结果见第4节。5.后来，Park et al.[51]提出了一种使用隐藏半马尔可夫模型（HSMM）来操纵合成音乐/歌曲中的情感内容的系统。系统通过改变合成歌曲的持续时间和颤音参数来控制由能量紧张模型（2D平面）表示的情感内容。从听力研究的结果表明，持续时间参数是更有效的比颤音参数在代表一种情绪。基于从[62，63]中提到的基于人类的评估结果/听力研究得出的推断，基于HMM的方法在对音乐中的情感信息进行编码方面是有效的，特别是对于选择和弦以表达期望的情感。基于HMM的方法也可以是用于设计混合AI-AMG系统的潜在选项。然而，这些HMM方法仅用于控制和弦进行特征，并且用于处理/定制其他音乐特征的该方法的功效未被充分探索。其次，为音乐特征设计HMM模型既耗时又计算昂贵，因为它需要大量的音乐数据集来构建HMM的过渡矩阵。在下一节中，我们总结了使用基于神经网络的架构来创作情感音乐的AI-AMG系统。4.2.2 基于神经网络的系统这些AI-AMG系统使用基于神经网络的架构来生成情感音乐。这些系统中的大多数使用（1）长短期记忆（LSTM），（2）递归神经网络（RNN）或（3）变分自动编码器生成对抗网络（VAE）-GAN作为系统的核心架构。长短期记忆（LSTM）架构在生成人工音乐方面有着悠久的历史。LSTM架构具有存储/调用能力，这对于及时有序地生成音乐特征是有用的。因此，它已被用于生成具有长期连贯结构的音乐。在这项工作中，Zhao及其同事[79]开发了一种AI-AMG系统，该系统使用具有Lookback模块的双轴LSTM架构来解决音乐中的长期结构问题。在双轴模型中，时间轴和音高轴用于在每个时间步长处训练所有音高上的音符，而回顾模块被引入以加强小节之间的关系，从而产生音乐中的结构连贯性。在另一个系统[42]中，作者使用了双栈LSTM架构与卷积神经网络（CNN）结合用于特定情感的情感音乐创作。在第一步中，CNN用于从输入的面部图像中提取情感，随后，基于情感信息，LSTM网络合成情感音乐。在这两个系统中，与情感相关的信息以情感向量（独热向量）的形式作为全局条件被馈送到网络以创作情感音乐。与用音乐特征训练LSTM模型相反，一组AI-AMG系统已经用音乐编码的音节训练了LSTM模型，表示为（1）音乐编码的文本（音乐事件，诸如克里思、和弦等的音乐特征的组合）。、编码为文本）[20]，以及（2）音乐引导表[43]，以将情感音乐生成任务作为语言建模问题来解决。Ferreira及其同事[20]的AI-AMG系统使用了标准LSTM架构的变体，即乘法长短期记忆（mLSTM），使用音乐编码文本进行训练。经过训练的网络用于基于预期的情感来创作情感音乐，所述情感被表示为唤醒和效价的水平。沿着这些路线，Makris及其同事[43]开发了一种AI-AMG系统，用于生成具有基于LSTM的序列到序列架构的价态调节的铅片。序列到序列框架将音乐特征作为输入，并将高级情感特征（如效价）沿着时间标记、分组和密度一起“翻译”成铅片（和弦和旋律）。来自AI-AMG系统的输出是铅片，其和弦进行反映了所需的化合价。除了LSTM架构，RNN架构也被用作AI-AMG系统的核心元素。RNN可以单独使用[80]或与CNN [61]结合使用，以生成特定于情感的情感音乐。例如，Zheng及其同事[80]提出了一种基于RNN的AI-AMG系统，其中使用音高直方图和音符密度等音乐特征来训练网络。这些特征可以被视为表示音乐中的模式和克里思，并且因此这些特征的改变可以导致音乐中的情感内容的改变。利用这一概念，AI-AMG系统使用这些特征来训练网络，而不是使用大型的情感标签音乐数据集。之后，在生成阶段，系统可以生成音乐来表达四种离散的情绪，即快乐，悲伤，紧张和平静。基于RNN的AI-AMG系统也已用于基于视频的应用[61]，其中CNN和RNN一起用于为情感注释的视频生成携带情感的背景音乐。CNN用于从输入视频中提取与情感相关的视觉特征，随后，RNN用于基于视觉特征中的情感信息生成音乐。AI-AMG系统使用的另一种流行的神经网络架构是变分自动编码器和生成对抗网络（VAE-GAN）二人组[29，52]。VAE-GAN网络一起形成串联连接编码器和解码器/生成器的sequence 2sequence架构。在训练阶段，该模型将带有情感表达的音乐片段作为输入，并将情感标签作为条件馈送到网络。随后，在生成阶段，该模型生成具有所需情感表达的情感音乐。具有VAE-GAN模型的AI-AMG系统已被部署用于使用来自离散情感域和价唤醒空间的不同部分的情感标签来创作音乐。此外，独立的GAN和VAE架构也已被部署用于构建AI-AMG系统。具体来说，研究人员使用GAN来生成特定于情感的旋律[31]。类似地，VAE架构也独立地用于AI-AMG系统中[24，68]。Tiraboschi及其同事[68]使用VAE模型设计了一个AI-AMG系统，该系统可以通过实时EEG测量来感知用户的情绪状态，以闭环方式生成情感音乐。这里，从EEG信号解码的用户的情绪被用于驱动情感音乐生成过程。甚至像前馈神经网络这样简单的架构也被用于创作情感音乐[75]。例如，[75]中的AI-AMG系统使用用音乐特征（即音色、基调、音高扩展、克里思和包络）训练的前馈神经网络模型。通过调整这些音乐特征来校准和更新模型，以最大化所生成的音乐作品的情感元素在效价-唤醒平面上的传播。所提出的系统可以产生情感的音乐刺激，表达在真实的世界中发现的广泛的情感。后来，该AI-AMG系统被集成到闭环EEG系统中[14]，其中用户的当前情绪状态用于控制情感音乐生成过程。通过基于用户的听力研究以及与现有音乐的统计比较，对这些基于神经网络的系统用于创作特定于情感的音乐的功效进行评估[43]。这些研究的结果和数据的比较分析证实了基于神经网络的AI-AMG系统在生成情感音乐以表达所需情感方面是有效的。事实上，这些系统被部署在各种领域，包括人机交互，AI电影创作和情感中介，用于创建应用程序，如（1）EEG集成闭环音乐情感调解系统的设计[75]，（2）为情感视频/游戏生成音乐[61]，（3）创建音频伴奏[42，61]，以及（4）创建X现实[68]。然而，这些系统的设计需要巨大的计算资源和大量的标记音乐数据进行训练。再次，对来自这些系统的输出音乐中的情感内容的精细控制通常是具有挑战性的。具体到视频应用，对于这些系统来说，创建可以促进不同情绪之间的平滑过渡的音乐也是具有挑战性的。为了缓解大型标记数据集的需求问题，研究人员试图用带有情感的音乐特征（如音高直方图和音符密度）来训练网络，而不是用标记的音乐数据集来训练网络[80]。尽管所提出的方法可以在一定程度上限制与数据大小相关的要求，但未来研究人员可以设计更复杂的方法来处理这个问题沿着其他挑战。第6节中还提到了处理这些问题的一些潜在方法。除了基于规则和数据驱动的方法之外，研究人员还部署了基于遗传算法的方法来生成情感音乐，这将在下一节中详细介绍。基于在创作情感音乐中使用的优化方法，系统可以被分为两大类，即，基于遗传算法的系统和基于树/图遍历优化方法的系统。下一节将介绍详细的子分类和最新技术水平。4.3.1基于遗传算法的系统AI-AMG系统已经使用了遗传算法，其中情感音乐生成系统的任务被提出为优化问题，该优化问题旨在找到用于构成情感特定音乐的最优音乐事件集合或生成音乐规则集合（用于音乐规则集合的最优权重）。广义上，基于这些AI-AMG系统用于更新适应度函数的方法，GA可以是两种类型。在第一种类型中，适应度函数是用于优化音乐规则的数学方程。例如，[16]的AI-AMG系统已经使用GA方法（在本文中称为“常规GA”）来创作具有与输入音乐模板的情感简档匹配的情感简档的单声道钢琴音乐。这里使用的适应度函数计算表示合成的和输入的音乐片段的情感内容的差异的距离度量（数学方程）。该系统通过控制诸如音阶、克里思、和弦进行、旋律和和声的音乐特征来生成音乐作品。即使该系统可以生成音乐片段以匹配输入音乐的情感简档，该系统的功效也仅针对两种离散情感（即快乐和悲伤）进行测试。另一种类型的AI-AMG系统使用遗传算法的变体（称为交互式遗传算法）进行优化。交互式遗传算法是遗传算法的一种形式，其在GA的适应度函数中使用收听者的主观评价信息。简而言之，[78，81]中的AI-AMG系统已经使用交互式遗传算法（伊加）方法来创作快乐和悲伤的情感音乐。在这里，核心算法使用音乐规则和主观评价（伊加）在训练阶段构建GA的适应度函数，然后使用更新后的规则来创作情感音乐。为了测试这些系统在产生情感音乐方面的功效，作者进行了听力研究。根据这些研究的结果[78，81]，伊加方法能够编码所需的情感音乐，并且在构成音乐的情感谐波分量（包括克里思和模式）[78]中也是有用的。然而，这些系统在为多种（两种以上）情感创作情感音乐方面的功效尚未得到测试。一些AI-AMG系统还被设计成使用合成样式（例如，浪漫时期古典风格）而不是情感，用于在使用遗传算法的同时生成情感音乐。例如，Brown [5]提供了一种使用遗传算法为计算机游戏创作浪漫时代风格音乐的系统。该算法以游戏角色和游戏环境的属性（如道具和环境特征）作为输入，用于选择“Leitmotivs”。然后，系统使用输入成分（Leitmotivs）通过改变音乐特征（如和声张力和形式规律）来构建其成分。上述AI-AMG系统已经表明，基于遗传算法的方法在生成情感音乐方面是有效的，更重要的是，伊加方法是将用户的感知相关反馈包括到AI-AMG的强大方式，这最终提高了系统创作情感音乐的能力。虽然使用IGA可能是一种更好的方法，因为它需要听众对系统进行递归评估，但在训练阶段也很耗时且令人疲惫[69]。然而，只有少数AI-AMG系统使用了GA方法，并且该方法的可靠性仅针对两种离散情感的情感音乐进行了测试。因此，这种基于遗传算法的方法在生成用于多种情感的情感音乐中的功效的进一步调查是有必要的。4.3.2基于树/图遍历优化方法的系统除了遗传算法之外，研究人员还使用组合优化技术，使用树/图遍历技术和基于动态编程的方法来设计AI-AMG系统。在这些优化技术中，基于搜索的方法用于选择音乐特征的值，例如，选择进展中的下一和弦值。一般来说，这种组合优化技术被用作混合AI-AMG系统的一部分，其中使用图遍历/树遍历方法选择情感特定和弦进行[59，60] [39]特征。例如，Scirea及其同事[59，60]的混合AI-AMG系统，旨在为交互式游戏环境创作情感音乐，已经使用图遍历技术来根据游戏中呈现的情感选择最佳和弦序列。类似地，Kuo和合作研究者[39]已经使用树遍历方法在混合AI-AMG系统中生成情绪特定的最佳和弦序列，其中使用不同的方法选择其他特征（这些混合系统的细节和关于选择其他特征的信息总结在第4.5节）。在这两个系统中，作曲的音乐被编程为表达不同的情感，定位在价-唤醒平面上的一个点上，以及音乐在这些情感点之间的平滑过渡。除了组合优化技术之外，基于动态编程的优化也被用于设计AI-AMG系统以组成用户指定的情感流引导的音乐伴奏[77]。给定一个旋律，该系统生成的音乐伴奏，通过最佳的和弦和伴奏模式（节奏，音量和音高范围）的选择，使用基于动态规划的约束优化方法。即使该系统可以生成情感音乐来传达各种水平的效价和一些量化的唤醒水平，这种系统在从效价-唤醒平面上的不同点生成音乐并在它们之间过渡方面的有效性还有待验证。基于可变邻域搜索的约束优化方法也已用于AI-AMG系统设计中，用于基于给定的音调张力分布生成音乐[25]。该方法在生成具有指定张力分布的音乐方面是有效的，并且可以潜在地用于表达情感。这些AI-AMG系统的验证结果对于确认优化方法在生成情感音乐中的功效是有希望的。事实上，具有基于树/图的方法的AI-AMG系统主要是有利的，因为它们使用概率选择方法（用于音乐特征），这在生成非单调和创造性情感音乐方面特别有益。然而，在设计这些系统方面的主要缺点是，它需要具有音乐知识的熟练研究人员来设计构成核心算法的树/图结构或目标函数。其次，由这些系统使用的这些基于树/图的方法可以一次选择一个特征，并且为了选择多个音乐特征以形成作品，需要一起设计和处理更多的图网络/其他方法。然而，只有和弦进行选择使用树/图形为基础的方法，并调查是必要的其他音乐功能。在下一节中，我们将介绍使用混合方法生成情感音乐的不同AI-AMG系统。混合方法基本上基于这样的思想，即可以使用不同的算法/方法来有效地定制不同的音乐特征以用于创作情感音乐。混合AI-AMG系统使用基于规则的方法、数据驱动的方法、基于遗传算法的方法和图/树遍历方法的组合来创作情感音乐。一组ofhybrid AI-AMG系统结合嗯方法与基于规则的方法(28,44,53)。在这些AI-AMG系统,HMM方法用于选择音乐和弦,注意长度,和八度范围的概率(打一份报告来自相同/不同的八度)虽然音乐特性如节奏、模式,并使用音乐音高范围定制规则生成mood-specific音乐。例如,混合AI-AMG系统提出了[44]已经部署了马尔可夫模型和基于规则的方法的组合来构成情感音乐文本叙述部分。文本叙事是第一次加工使用情绪分析方法(深度学习模型、支持向量机、朴素贝叶斯分类器)来提取情感/情绪信息,随后,这情绪信息使用混合AI-AMG组成sentiment-specific情感音乐。在另一组混合AI-AMG系统中,而非马尔可夫模型,不同的图/树遍历方法结合使用基于规则的方法(39,58、60)。在这些系统中,图/树遍历方法中选择了选择和弦进行复调情感成分。例如,混合动力系统Scirea和他的同事利用图遍历过程选择和弦进行,和基于规则的方法来确定强度,音色,在音乐节奏,失调。具体来说,实现音乐的旋律组件,系统已经部署了一个进化算法(名为FI-2POP)使用最小化音乐规则的违反约束条件的优化方法在一代的旋律。最后,结果AI-AMG系统可以为一个互动游戏平台生成乐曲表达不同的情绪valence-arousal平面上的实现。上述混合AI-AMG系统是用于生成从头复调音乐情感。而不是从头开始创作情感音乐，混合AI-AMG系统也被设计为在预先创作的旋律上构建情感音乐[7，8]。在这种情况下，预先创作的旋律与情感相关信息沿着作为输入被馈送到系统。然后，系统通过生成给定旋律的伴奏来创建情感作品。例如，[7]中的混合AI-AMG采用基于HMM的方法进行和弦选择，采用最近邻算法进行和声选择，并采用乐器参数根据给定的旋律创作情感音乐。因此，通过组合特定于情绪的乐器、旋律、和声和和弦进行来创建所得到的作品。混合AI-AMG系统也使用神经网络架构与基于规则的方法[32]或遗传算法[33]相结合。例如，Hutchings及其同事开发了一个AI-AMG系统，为多智能体游戏环境创作自适应情感音乐。根据游戏环境的属性（称为上下文），系统首先从数据集检索预先组成的旋律主题[32]。然后，使用该上下文信息和情感信息来操纵预先组成的旋律主题上的音乐特征，诸如和声、旋律和节奏，以创建情感音乐。基于上下文信息，使用RNN来选择音乐作品的和声和节奏内容，并且使用音乐规则来选择作品的旋律。类似地，[33]中开发的AI-AMG将遗传算法方法与神经网络架构和音乐规则相结合，通过操纵音乐特征（如音高值，音符之间的持续时间和音乐的旋律）来创作情感音乐。在一般情况下，混合方法被证明是有效的，在生成情感音乐。基于从基于人类的评估中收集的证据，这些系统可以生成音乐，以可靠地表达来自离散域和效价唤醒平面的不同情感。这些AI-AMG系统用于诸如用于游戏的自适应音乐生成[32]、伴奏生成[8]、生理敏感情感音乐生成[28]等应用。即使混合方法在研究界被广泛接受用于产生情感音乐，这种方法也有一些局限性。这些系统的主要缺点之一是没有清楚地说明选择不同方法来操纵/选择不同音乐特征的基本原理。这种挑战被称为“杂交”问题，在第5节中详细描述了一些可能的解决方案。设计混合系统的第二个主要缺点是需要有音乐理论知识的熟练研究人员。具体而言，作为混合系统的一部分，设计图/树遍历架构，HMM模型和音乐规则需要更深入地理解音乐理论来构建模型。在下一节中，我们将全面概述用于创建情感音乐的算法，重点介绍它们用于控制和生成情感音乐的音乐特征。在本节中，我们将简要总结情感音乐生成中用于编码音乐中的情感信息的最可靠的特征，并讨论可能用于定制它们的程序。创建AI-AMG系统的一般程序包括四个步骤：（1）建立系统的研究目标和功能应用，（2）基于1和研究团队的能力，选择合适的方法/AI-AMG系统架构，（3）实现AI-AMG系统，该系统可以操纵音乐特征以实现1的目标，（4）评估系统的功效。这篇评论集中于呈现用于情感音乐生成的各种架构;因此，我们将重点放在本节剩余部分的步骤（3）和（4）上。表2总结了情感音乐生成的重要音乐特征及其对情感不同方面（效价和唤醒）的依赖性。各种音乐特征对情绪有影响。不同的算法可以利用（所有）这些功能，但一些算法可能能够比其他算法更有效地控制一些功能，因此被研究人员更频繁地使用。(Note：这里，为了以简洁的方式呈现特征及其对情绪维度的依赖性，我们独立地考虑每个特征并呈现它们对效价、唤醒或两者的依赖性（即，“价”或“唤醒”、“价和唤醒”）。个体特征和离散情感之间的关系不包括在表中，因为与离散情感相关的信息通常通过共同地（而不是单独地）操纵情感组合物的多个特征而被编码到情感组合物中。首先，我们提供了一些重要特征的细节，这些特征是由大多数研究人员定制的，以在音乐中嵌入情感。一个经常被操纵的特征是克里思（每分钟的节拍）。基于规则的方法是有效的利用克里思的能力来传达情感信息[17，70，72]。作品[17，72]的克里思通常基于目标情感的唤醒值来控制，其中节奏和唤醒之间的映射由代数方程控制。然而，神经网络[75]和交互式遗传算法[78]等方法也已有效地用于操纵此功能。此外，在所有这些系统中，操纵克里思的经验法则是，更快的节奏与更高的唤醒有关。情感音乐创作的另一个非常重要的特征是创作的模式，例如，音乐的音阶（通常是大调/小调），与情感价有关。基于规则的方法可以用于选择情感成分的模式[65，80]，其中正价与大和弦的选择相关联，负价与小和弦相关联。研究人员还使用了调式和克里思的组合（例如，[70，75]）用于编码AI-AMG系统中的效价和唤醒的不同组合。除了选择音阶/调式，和弦序列的选择，称为和弦进行，通常被认为是情感作品的重要特征，和弦进行的选择通常基于价[39]。概率方法，如隐马尔可夫模型[62]和树遍历/图遍历方法[39，60]已经显示出选择和弦进行以引起特定情绪反应的前景。值得注意的是，这些方法不仅在选择乐曲的下一个和弦方面有效，而且由于其概率性质而潜在地为乐曲带来一定量的变化。音乐中的音高/音高寄存器特性对于通过音乐表达特定情感也是至关重要的，并且可以通过选择某个音高寄存器或选择音高寄存器的允许范围来定义。音高寄存器特征可以基于效价[72]或唤醒[77]来选择。文献表明，基于规则的方法用于选择特定音高寄存器的概率取决于效价水平[72]，尽管基于规则的方法用于定义音高的允许范围也已基于唤醒成功部署[77]。这种方法可以潜在地考虑在未来的情感音乐创作中选择音高特征。乐器音量（动力学）也被认为是情感音乐生成的关键参数，它可以携带有关效价和唤醒的相关信息[39]。基于规则的方法已被证明在选择组合物中的仪器体积方面是有效的[39]。节奏是音乐创作中编码和传达情感的另一个重要特征。节奏由相对音符持续时间及其时间组织定义[13]。组合中的节奏可以基于单独的唤醒水平[72]或效价和唤醒水平的组合[57]来选择。为了调节节奏分量，可以使用简单的基于规则的方法（例如，[72])例如针对给定唤醒值的概率性音符开始规则。此外，用于生成欧几里德节奏的基于复杂规则的方法也已经有效地用于在情感组成中组成节奏分量，同时基于效价和唤醒值两者来定制节奏分量[60]。上面我们讨论了情感音乐作品的一些潜在特征，这些特征可以根据给定的情感成分（效价和/或唤醒）独立定制。然而，大多数情感作曲系统被设计成通过同时修改给定效价/唤醒值或离散情感的多个特征来作曲。为了同时修改多个特征，在文献[39，60]中已经考虑了不同方法的组合。混合方法可能是一个强大的选择，因为它们可以提供使用其最合适的算法定制不同特征的灵活性，然后通过组合所有这些特征来生成音乐。这种方法可以在未来进一步追求，目的是找到一个合适的和可行的组合功能，沿着他们的剪裁算法组成的情感音乐。除了混合方法之外，数据驱动（特别是神经网络）方法也被证明在一次处理多个特征以创作情感音乐方面是高效和有效的。特别地，诸如RNN和seq-to-seq模型的顺序架构已经被证明在生成情感组合物中是有效的。尽管这样的架构在生成具有所需情感的音乐方面是有效的，但是在精确控制在该过程中生成的音乐的情感内容方面仍然存在大量工作[6]。在人工音乐创作中，这通常被称为“控制情感的挑战”（详细讨论见6.2节）。在下一节中，我们将讨论设计计算创意系统的主要挑战，重点是基于AI的情感音乐生成系统，并将讨论可能的改进方向。在前一节中，我们已经介绍了用于情感音乐生成的详细的最先进的方法，并总结了使用这些方法的AI-AMG系统。比较结果见表1。这些AI-AMG系统已经将情绪表示在效价-唤醒平面上或表示为离散的情绪集合。我们在这里要提到的是，由于在验证研究中选择（1）离散情绪的数量和（2）听众群体的差异，这些系统之间缺乏可比性。离散情绪的数量的选择的差异可以被称为“离散情绪的数量的可变性”。例如，一些AI-AMG已经针对四种离散情绪，而一些AI-AMG系统已经测试了仅两种离散情绪（快乐和悲伤）。能够表达更多离散情感的系统能够更好地精确地定制音乐特征，并且可以被视为上级其对应物。另一方面，对于情绪评估过程，大多数这些AI-AMG系统都依赖于基于人类学习的评估方法。虽然基于人类学习的评估是有利的，因为它们在评估过程中具有捕获人类感知（关于音乐中的情感和创造力）的固有能力，但用于选择收听者组的标准没有仔细选择。在验证研究中使用的听众群体在听众的数量、听众的人口统计学（年龄、性别）和先前的音乐训练方面表现出高度的可变性。听众群体选择的这种变化可以被称为“听众群体的可变性”。“听众群体的变异性”可能会对AI-AMG的验证产生显著的混杂效应，未来需要将这种音乐听力研究群体标准化。表1中呈现的比较易受这些可变性的影响（用于验证的离散情感集合和收听者组的选择）。在下一节中，我们将讨论设计一个可靠的AI-AMG系统的主要挑战和开放性研究问题，该系统能够生成真实的情感音乐。在本节中，我们将讨论设计基于AI的自动情感音乐生成系统面临的挑战。挑战的图示在图5中给出。我们希望这一讨论将帮助读者设计基于AI的情感音乐生成系统，能够使用计算创造力1制作真实的情感音乐。创建AI-AMG系统的主要挑战之一是“控制”，在这种情况下，它是指允许用户指定所生成音乐的所需情感内容（以及系统精确控制音乐特征的能力，以便所产生的音乐表现出所需的情感信息[6]）。与人类作曲家不同，他们有权调整音乐模式/想法[6]，AI-AMG系统仅依赖于在训练期间获得的学习参数/信息来创作音乐（对于数据驱动系统/神经网络系统尤其如此）。因此，对于这样的系统，由于输入、输出及其相互依赖性的有限透明度，控制特征以产生期望的输出通常变得困难[4]。为了解决这个问题的可控性，研究人员已经开发了条件策略，通过使用条件架构。这里，数据驱动架构/神经网络模型具有在训练阶段期间施加的附加条件。例如，Markis et al.已经提出了一种具有高级条件信息的AI-AMG系统，该高级条件信息被馈送到序列到序列架构的编码器部分以用于以更可控的方式生成音价特定的情感音乐（例如，音乐被生成以匹配由用户提供的效价值的简档）[43]。然而，在这个方向上的一个挑战是，标记有可靠情感信息的数据集是稀缺的，尽管一些研究人员正在研究这个限制[10]。除了使用条件架构外，另一种提高可控性的潜在方法是使用强化学习的基本原理来训练神经网络模型[4]。简而言之，这个想法是将音乐生成过程框定为强化学习问题，其中模型的目标函数是递归网络的目标函数沿着一些用户定义的约束的组合。这样的方法已经被证明在提高自动音乐生成系统的可控性方面是有益的[4]，并且这种方法在未来也可以被考虑用于提高所生成的音乐的情感内容的可控性。第二个主要挑战是“适应性”，也称为“叙事适应性”，这是指AI-AMG系统生成连贯音乐片段的能力，该音乐片段可以基于故事的给定叙事/序列（叙事的情感要求）自适应地改变。AI-AMG系统的潜在应用之一是通过自适应地控制所生成的音乐中表达的情感来创作能够匹配叙事/讲故事中动态变化的事件的音乐。然而，AI-AMG系统通常难以控制/定制其音乐特征以可靠地传达叙述中的不同事件之间的过渡。这里值得一提的是，为叙事生成自适应音乐的任务无法单独使用人类创作的音乐来完成，因此可以被视为AI-AMG系统的一个有趣的挑战[6]。这个问题的一个潜在解决方案是共同创造（使用人类和机器生成的音乐的组合）。在这方面，由丹尼尔Brown开发的名为“Mezzo”[5]的AI-AMG系统为视频游戏创作浪漫时代风格的音乐。在这里，与涉及特定角色和情况的游戏中场景相关的主题（Leitmotiv）由人类组成，并且这些主题作为输入被给予系统。之后，当在游戏中遇到事件时，AI-AMG系统通过将人类创作的主题与计算生成的音乐混合来创作音乐，以表达适当的游戏中的情况和情感。提高适应性的另一种可能的方法是首先了解不同情绪的特征之间的相互作用，研究如何独立地定制每个特定特征以传达特定的情绪，然后根据叙述自适应地改变单个（最可靠的）特征，同时保持其他特征不变。这种方法也由[6]提出，可以有益于允许AI-AMG系统在回答该领域中的一些基本问题的同时仔细地调整其情感表达。设计基于AI的情感音乐生成系统的其他一些相关挑战是混合，长期结构和操纵听众的期望。混合是指在单个AI-AMG系统中组合一种以上的音乐生成技术。尽管研究人员已经部署了许多不同的技术组合（详见第4.5节）来设计AI-AMG系统，但选择这些技术并将其组合的基本原理往往不清楚。在这方面，更系统的方法可能是有帮助的，其中可以基于它们在生成情感音乐中的功效来优化针对不同音乐特征的不同技术的选择。长期结构的问题是指难以生成具有足够数量的音乐结构（例如重复模式）的较长摘录，以便在整个作品中听起来音乐连贯。长期结构的问题是自动音乐生成系统的一般问题，并且不仅限于情感自动音乐生成系统。为了解决这个问题，例如，研究人员已经开发了一种基于约束编程的方法，用于保留给定音乐作品的张力分布以生成新的音乐作品。这种方法在生成具有长期结构的自动音乐方面是有效的[25]，并且这种方法也可以在基于AI的情感音乐生成系统中潜在地转换和实现。此外，在作品中操纵音乐期望可以被视为引发听者不同情感的可行方法。更确切地说，通过音乐诱导情绪的过程可以被视为从根本上由大脑中的奖励机制控制，该机制随着时间的推移对音乐期望的实现和违反做出反应[9]。因此，在音乐中编码情感的另一种可能的方式是通过算法操纵作品中的音乐期望。这可能会在基于AI的情感音乐生成系统领域开辟一条新的研究途径。因此，找到一个可行的算法方法，明确操纵音乐中的期望，可以作为一个未来的研究问题。在这篇文章中，我们提出了一个全面的审查基于人工智能的情感音乐生成系统。详细介绍了AI-AMG系统的主要组成部分，并提出了用于设计这些组成部分的不同方法。随后，我们回顾并总结了已部署用于开发可靠的AI-AMG系统的最先进方法。为了读者的兴趣，我们提出了一组重要的功能，包括在这样的系统，它们与唤醒和效价的关系，以及以前使用的方法来控制它们。最后，我们总结了在开发可靠的情感自动音乐生成系统领域的挑战和开放的问题。我们希望这篇综述对那些寻求了解已开发的不同AI-AMG系统并获得开发它们所用方法的概述的读者有用，从而有助于未来对这一领域的探索。我们希望这篇综述也有助于进入这一领域的研究人员，因为他们为开发新的AI-AMG系统制定了研究问题。