text: 【文献速读】基于多特征动态加权的卷积向量融合网络及机械剩余使用寿命预测
  基于从状态监测数据中提取的特征，数据驱动的预测方法能够预测机械的剩余使用寿命。现有的方法通常假设在操作过程中某个特征对预测结果的贡献是一致的。事实上，在大多数实际情况下，每个特征的退化灵敏度都是随时间变化的，这限制了RUL的预测精度。为了解决这一问题，本文提出了一种新的卷积向量融合网络(C-VFN)方法。设计了一种矢量动态加权融合(V-DWF)算法来动态评估各特征随时间的退化灵敏度。特征灵敏度随时间的波动通过权重图可视化。然后，对相应的特征赋予灵敏度权值来估计RUL。同时，通过基于结果的反馈机制，迭代地消除不敏感特征。利用轴减速机的加速退化数据和XJTU-SY数据集对所提出的模型进行了验证。实验结果表明，C-VFN能够估计出各特征随时间的退化灵敏度，提高了RUL预测的准确性。机械剩余使用寿命(Remaining useful life, RUL)预测能够估计出机械运行能力丧失前的剩余时间，对指导维修策略具有重要作用[1,2]。数据驱动的预测方法考虑了退化过程的表征学习能力，因而被广泛用于建立机械的RUL与测量数据之间的关系[3,4]。然而，由于退化机制的复杂性，如何准确地充分利用监测数据中的退化信息仍然是RUL预测中一个具有挑战性的任务[5]。常用的数据驱动预测方法主要包括特征提取、特征选择和RUL估计三个阶段[6,7]。许多预测方法旨在构建健康指标(HIs)来指示健康状态和退化趋势[8-10]。从监测数据中提取各种特征来构建HIs，如RMS、峰度、时域和频域的峰间值等[11,12]。同时，通过微波和Hilbert-Huang变换等信号处理技术，在时频域提取出一些有效的特征[13,14]。提取的特征应与机械设备的不可逆退化过程一致，才能准确反映退化[1]。然而，在大多数实际情况下，并不是所有提取的特征都对RUL预测有同等的帮助。提取的一些特征监测数据可能被噪声所掩盖，导致局部波动的存在，影响了RUL估计的有效性[15]，导致特征的灵敏度差异很大。为了降低计算复杂度，减少对预测的干扰，需要从原始特征集中剔除一些不敏感的特征[16,17]。采用降维方法来减弱不敏感退化分量的影响，如主成分分析(PCA)[18]和局部线性嵌入(LLE)[19]。除降维外，还通过各种评价标准对特征的退化灵敏度进行定量评价，这些评价标准被广泛用于评价特征与退化行为之间的相关性[20]。利用Spearman关联在特征的灵敏度和鲁棒性之间进行权衡[21]。Loutas等人[22]利用Spearman相关系数进行特征评价，选择单调性好的特征用于滚动轴承的RUL预测。此外，为了配合机械的不可逆退化过程，通过评价其增减趋势，相关性、单调性和鲁棒性也作为灵敏度评价的标准[23]。例如，Javed等人[24]利用单调性和趋势作为特征选择指标，将选择的特征送入极限学习机，实现RUL估计。Mosallam等[25,26]提出了一致性指标来描述多个特征之间的相关性，使用不同特征的相关系数来进行敏感特征的选择。Yang等人[27]构造了单调性、渐进性和一致性来选择敏感特征并预测电机的RUL。这些方法对整体特征进行灵敏度评价，却忽略了退化过程中特征的局部灵敏度。深度学习作为最有效的数据驱动方法之一，已经被发展用于特征提取和RUL预测模型的构建[5,28]。Dulaimi等人[29]提出了一种混合深度神经网络(HDNN)的方法，采用了LSTM和CNN的并行路径结构，然后将两种路径的输出组合成航空发动机的RUL。Yang等人[30]利用双卷积神经网络提取高级表示，并对轴承进行RUL预测。Zhao等人[31]提出了一种卷积双向长短期记忆(CBLSTM)网络，利用CNN提取用于数控工具状态监测的鲁棒性和信息性特征。由于退化特征为时间序列数据，将注意力机制引入RUL预测领域。它通过计算注意力分布，为网络的不同部分分配不同的权重[32,33]。各种类型的注意力机制被用于自动评估提取特征的灵敏度，并嵌入常用的神经网络，如RNN和LSTM[34,35]。如Chen等人[15]提出了一种基于注意力的机器RUL预测深度学习框架，将序列特征与重要权值融合。Xiang等人[36]设计了一种具有注意力引导有序神经元的LSTM网络(LSTM-AON)，该模型引入了注意力机制，以提高RUL的长期预测能力。为了应对多维特征输入，一种新的多端注意力机制被用来捕获局部和全局特征，并估计一个时间序列与其他时间序列的相关性[37]。现有的预后预测方法主要存在以下局限性：没有对整个操作时间内特征的灵敏度进行评估。在实际情况下，所提取的特征在整个退化过程中可能具有不同的灵敏度。图1显示了整个生命周期的三个特征。特征1有明显的增加趋势，特征2与特征1的趋势相似，但在前期和后期出现波动。然而，特征3在整个生命周期内存在明显的波动，使得退化难以表征。因此，特征灵敏度在不同的特征和不同时间变化很大。现有的大多数方法都假设某个特性在整个生命周期内对RUL预测的贡献是一致的。但忽略了特征灵敏度的动态变化。对于基于注意力的方法，虽然得到了特征序列在不同时刻的重要性权重，但灵敏度评价机制尚不明确，这意味着权重不一定与退化相关，不能指导敏感特征的选择。图1.不同特征随时间变化的退化灵敏度在本文中，我们提出了一种新的解决方案来处理特征的退化灵敏度。该方法对每个时刻的特征值进行动态加权。利用权值根据特征向量之间的余弦距离估计退化灵敏度。考虑了不同时期特征间的灵敏度。本文的主要贡献如下:（1）提出了一种用于RUL预测的深度学习模型——卷积向量融合网络(C-VFN)。在C-VFN中设计了一种矢量动态加权融合(V-DWF)算法，根据特征的退化灵敏度计算权值。然后利用动态权值随时间的变化对特征进行融合。与此同时，权值提供了可视化，以探索哪些特征对RUL预测至关重要，以及什么时候有较大贡献。（2）提出一种自适应特征选择方法，通过设定阈值迭代去除不敏感特征。阈值由映射到单位超球上的特征向量之间的余弦距离确定。然后利用基于结果反馈的机制自适应消除不敏感特征，为特征选择提供了一个通用模型。本文的其余部分组织如下。第2节详细介绍了提议的C-VFN模型。在第3节中利用轴减速机的加速退化数据验证了该方法的有效性。第四部分对全文进行总结。所提出的C-VFN的总体结构如图2所示。主要包括特征提取、退化灵敏度估计、不敏感特征迭代消除和RUL估计四个步骤。C-VFN模型以从振动信号中提取的多个特征作为输入，输出为对应的RUL值。在神经网络中嵌入面向结果反馈机制，基于预测误差的反向传播进行特征评价。最后，将特征进行动态融合，再将特征输入到密集层中，以估计RUL。图2.所提出的C-VFN的总体结构✦✦退化灵敏度估计主要包括两个步骤:特征向量的构造和基于V-DWF算法的灵敏度估计。在此前提下，从振动信号中提取常用的特征。采用0-1归一化方法克服振幅差。此外，我们采用趋势统一的方法，通过使特征的主趋势(即增加和减少趋势)保持一致。这样，特征的下降趋势就会逆转。图3.基于CNN的特征向量构造结构为了构造特征向量，我们提出了一种基于CNN的结构来学习每个特征的退化表示，如图3所示。提取的特征作为多通道序列输入，输出为长度为的表示向量，其中是由所有特征序列组成的矩阵，其中为特征个数，为时间窗的大小。同时，为共享的CNN核数，核大小为×1。利用一维卷积核学习每个时刻的退化表示，其滤波器在每个特征序列上移动。卷积运算公式如下：其中表示第个特征的输入序列。和分别表示卷积核和偏置项。(⋅)为非线性激活函数。因此，输出可以看作是学习后的核的表示。卷积运算后，将结果通过下式串接成一个长嵌入其中表示第个特征与所有核卷积后的输出，⊕表示串接操作。特征表示如下。这样，每个特征的表示由卷积核独立学习，并且没有信息在不同特征之间的泄漏。然后，通过维数变换矩阵构造特征向量。通过网络训练调整矩阵的参数，提高了模型的非线性表示能力。变换可以计算如下：其中为维数变换矩阵，为特征向量的矩阵，然后滑动窗口向前移动到下一个时间步。得到特征向量后，设计V-DWF算法对特征向量进行动态加权融合。算法的描述如表1所示。表1.矢量动态加权融合算法在表1中，通过迭代过程计算特征的灵敏度权重。为归一化融合向量，为第个特征向量的归一化权值，为特征向量与融合向量之间的余弦距离。是保证融合矢量逐渐收敛的迭代步骤。在每个迭代步骤中执行向量归一化，并且可以分布在一个单位超球上。基于余弦距离评估各特征的灵敏度。与欧几里德距离不同，余弦距离可以测量两个向量方向的差值，取值范围为-1~1。由于余弦距离的关系，在超球上越接近融合向量的特征向量权重越大。在步迭代过程中，融合矢量的位置不断更新，并趋向于向超球上的密集区域移动。由于利用了函数，使得每个时刻的权值之和等于1。然后基于对特征向量进行如下融合：权重表示一个特征在所有退化信息中的贡献比例，与特征灵敏度相对应。权重具有明确的物理意义，即在和之间的余弦值，如图4（a）所示。因此，灵敏度权值能够突出敏感退化期，抑制不敏感退化期。然后通过随时间的不断计算，构造出所有特征的全生命权图。图4.灵敏度权值的计算和消除阈值（a）权值的物理意义（b）消除阈值的定义✦✦在估计每个特征的退化灵敏度后，提出了一种迭代消去方法，根据灵敏度权重来选择特征。在预测模型中嵌入消去过程，如图2所示。在一种情况下，从相同的设备和相似的操作条件下采集信号，我们将所有训练样本的灵敏度加权平均，以减少特征选择的随机性。通过预测误差的反向传播来调整网络参数，实现了面向结果的反馈机制。对退化不敏感的特征被自适应地赋予较小的权值，因为它们对RUL预测的贡献很小，而且被映射到远离密集区域的地方。也就是说，这些特征在本案例的RUL预测中并不占主导地位，它们对预测的准确性影响较小。该反馈机制为RUL预测中的特征选择提供了一个通用模型，并避免了逐项设计评估指标。消除阈值的定义如图4(b)所示。的余弦值表示特征向量和融合向量之间的相关性。一般情况下，角度越大，计算中引入的不敏感周期干扰越多。但是，如果角度太小，可能保留的特征较少，会影响模型的鲁棒性。因此，是控制预测精度和鲁棒性之间权衡的超参数。消除阈值由的余弦值定义。然后，根据如下公式挑选敏感的特征：其中为所有训练样本的时间窗数。公式(6)表示一个特征在所有操作时间内的平均退化灵敏度。在每一轮特征消去后，保留的特征(RFs)将继续作为C-VFN训练的输入，并重新计算每个RF的灵敏度权重。因此，需要进行多次特征消除过程。直到下次计算中所有特征的平均权值满足式(6)为止，消去过程终止。然后，对剩余的特征进行融合，通过密集层实现RUL估计。本节通过两个实例验证C-VFN在RUL预测中的预测表现，包括:(1)轴减速机齿轮退化数据集，(2)滚动轴承XJTU-SY公共数据集。✦✦✦✦车轴在车辆的动力传递和稳定性控制中起着重要的作用。轴减速机试验台原理图如图5(a)所示，试验台由一个驱动电机、两个负载电机、三个传动齿轮箱、一对试验减速机齿轮等组成。试验台由驱动电机供电，负载由对称分布的负载电机提供。两个速度传感器安装在输出轴上，以监测转速。输出转速由负载电机控制在50 r/min或60 r/min。对于单个实验，整个操作时间内速度保持不变。在试验齿轮的基础上安装加速度计，采样频率为2048Hz，每2分钟记录8192个数据点，该实验平台能够进行减速齿轮的加速退化试验，获得完整的运行失效数据。故障标准定义为监测软件测得的转矩突然减少。在本次实验中，共选用8种减速器齿轮经过测试。失败的类型有三种，即断齿、散裂和它们的组合。图5(b-d)为减速器齿轮故障照片。减速器齿轮在整个运行过程中的振动信号如图6所示。提取的特征列在表2中，分别标记为。表2中的和可以计算如下。提取出的G_1的20个特征如图7所示。图5.车轴减速器试验台示意图和齿轮故障照片。(a)车轴减速器齿轮的试验台 (b) 断齿 (c) 剥落 (d) 断齿和剥落图6.减速器齿轮在整个运行过程中的振动信号表2.振动信号的特征提取式中，为信号的频谱振幅，, 为谱线个数，为第条谱线的频率值。这两个特征可以用来描述光谱的集中度[38]。G_1在整个运行寿命中的20个特征如图6所示。同时，利用3σ原理和连续触发机制确定了第一次退化时间[39]。标签在FDT之前设置为1，然后线性减少到0，直到它们的生命结束。减速器齿轮的FDT、总寿命及运行工况如表3所示。图7.G_1的二十个特征表3.FDT、减速器齿轮的总寿命和运行条件表4.C-VFN参数的配置✦✦特征准备好后，通过训练数据训练C-VFN模型，然后将测试样本送入网络进行特征灵敏度评估和RUL预测。需要预先定义的超参数包括每层神经元数量、迭代步长、时间窗口大小、批处理大小和迭代期。这些超参数通过反向传播算法进行调整，然后通过对训练集的交叉验证进行选择。最终的超参数是在考虑预测精度和计算成本之间的权衡后确定的。C-VFN使用Adam优化器更新权值和偏差，均方误差作为损失函数。表4列出了最后一个超参数。为了更详细地可视化V-DWF算法的性能，将向量维数设置为3，可以在单位球面上可视化特征向量。G_1、G_2在失效前的第20时刻的可视化结果如图8所示。它的结果表明，特征向量分布在球体表面，融合向量位于分布相对密集的区域。这是因为对退化敏感的特征向量对RUL的预测有有用的信息，并且它们被映射到附近的区域。通过V-DWF算法的迭代，融合矢量最终收敛到密集区域的中心。通过测量特征向量与融合向量之间随时间的余弦距离，得到各特征的灵敏度权重。随着维数的增加，V-DWF算法的迭代更新原则保持不变。图8.G_1和G_2的特征向量可视化四个样本(即G_1~G_2,G_7~G_8)的灵敏度权重图如图9所示，并绘制出每个权重图中平均权重最大和最小的两个特征。可以看出，各个特征的权值在时间维度上随整个运行时间的变化而动态波动。此外，在特征维数上，不同特征的权值也不一致。特征退化过程中的细粒度波动也可以反映在权重图中。可以推断，C-VEN模型在训练时注意单调特征。每时每刻。对退化敏感的特征通过权值增强，有助于提高预测精度。然而，不敏感特性被抑制了。从权值映射和特征趋势对比来看，权值较大的特征均表现出明显的退化单调化趋势，如F2和F9(即RMS和谱能量)，而F13和F14(即谱峰度和谱偏度)几乎分配了每个数据集中最低的敏感权值。这两个特性在运行过程中有很强的波动，很难表征减速器齿轮的退化。因此，权值映射在将来一定程度上可以作为特征选择的先验知识。以G_1为例，由于时间窗长度为35，采样间隔为2分钟，所以初始时间为70分钟。从图9可以清楚地看出，本文方法能够在细粒度水平上实现对不同特征的敏感性评价。从图9(a)中可以看出，各特征的权重在早期直到240分钟左右发生了轻微变化。在此期间，轴减速机运行正常，无故障，各特征的退化灵敏度相对稳定。之后，权值发生了显著变化，说明特征的敏感性发生了变化，尤其是在退化阶段。很容易发现灵敏度权重与特征趋势之间存在很强的相关性。例如，F2和F9有明显的增长趋势，相应的权重也较大。相反，F13和F14在运行时间内表现出明显的波动，对RUL预测产生干扰。因此，给它们分配了较低的权重。总的来说，权值图说明了哪些特征对RUL至关重要，预测以及什么时候出现重大贡献。图9.四个示例的权重图和相应的特征。✦✦采用灵敏度权重作为特征选择准则。根据2.2节，我们在实际中设置了三个值作为特征消除的阈值，即π/6,π/4和π/3。在网络训练过程中，计算出每个特征的平均权重进行消去。如果权值满足式(6)，特征将被保留。我们举了一个例子，使用一个由π/4确定的阈值进行特征消去，特征消去过程总共有两轮。如图10所示，第一轮淘汰了4个特征。然后，剩下的16个特征作为输入继续训练网络。为了验证特征评价的有效性，引入了相关性和单调性量度来定量地评价特征。计算两个指标组合的Cri作为特征选择准则[20]。按Cri降序排列的特性如表5所示。图10.消除过程中的特征权重。(a) 不消除 (b) 在第一次消除之后 (c) 在第二次消除之后表5.按Cri的降序排列的特征如表5所示，Cri值最小的6个特征与所提出的C-VFN消除的特征一致。他们是F3, F5-F6, F13-F15。G7和G8的预测结果如图11所示。可以看出，C-VFN能够利用提取的特征对轴减速机的RUL进行预测，特征消除大大提高了对测试样本的预测性能。预测结果与实际值吻合，特别是图11中的蓝线。图11.测试数据集的预测结果。(a) G_7 (b) G_8为了验证特征剔除过程的有效性，将每轮未剔除的特征和剔除后的特征分别用于预测健康百分比。预测结果的均方根误差如表6所示。当=π/6和=π/4时，特征消除过程进行了两轮，当=π/3时只进行了一轮。在不同的特征消除阈值下，RMSE值随着特征消除过程的进行而减小。不难看出，不敏感特征中含有大量的噪声或干扰，限制了RUL的预测精度。通过对特征敏感性的评估和对不敏感特征的迭代剔除，可以提高预测精度。从表6可以看出，在=π/4时达到了最好的结果，最终确定消除阈值为=π/4的余弦值。表6.不同 θ 的G_7和G_8的RMSE✦✦预测健康百分比后，轴齿轮的实际RUL可以换算如下[3]。式中，为FDT的运行时间，为在运行时间t的健康百分比。RUL转换的原理是基于图12中三角形A和三角形B的相似关系。图12.RUL转换原理为了证明所提出的C-VFN的优越性，本文还采用了三种最先进的预测方法来预测减速器齿轮的RUL，包括double-CNN[30]、CBLSTM[31]和LSTM-AON[36]。对于double-CNN和CBLSTM，原始信号作为输入，通过网络直接估计RUL。对于LSTM-AON，首先从振动信号中提取中列出的特征[36]，然后输入到模型中进行RUL预测。为了验证所提出的C-VFN模型的预测能力，我们对数据集进行了8次交叉验证。此外，每个预测方法运行10次，以减少随机性的影响。由于在这些检测时间内的预测比早期阶段的[3]更可靠，因此RMSE是从退化期的一半到寿命结束的计算。四种预后方法的均方根误差和标准差列于表7。表7.预后方法的结果。从表7可以看出，本文提出的C-VFN具有较低的RMSE，能够提供比其他方法更准确的RUL预测结果。此外，所提出的C-VFN在所列方法中具有最小的标准差和最好的鲁棒性。原因是C-VFN考虑了特征的退化敏感性，基于相应的权值对特征进行融合，减弱了不敏感特征的影响。因此，所提出的C-VFN在减速齿轮RUL预测方面优于现有的一些预测方法。✦✦✦✦图13为滚动轴承的加速退化试验台[40]。它由交流(AC)电机供电，速度由电机转速控制器控制。径向力通过液压加载系统施加到测试轴承座。在本节中，在11kN的径向力和2250rpm的转速下，总共使用了五个LDK UER204球轴承（即G_1~G_5）来验证C-VFN的效果。在水平和垂直方向上安装了两个PCB型加速度计，以收集振动信号，并在下次验证中使用垂直振动信号。采样频率被设置为25.6kHz，并且每1分钟记录32,768数据点。根据表2提取的G_5的20个特征如图14所示。表8列出了滚动轴承的FDT，总寿命和运行条件。图13.滚动轴承试验台图14.G_5的二十个特征表8.滚动轴承的FDT、总寿命和运行状况✦✦C-VFN在4个数据集上训练，在剩下的一个数据集上测试。在本例中，窗口大小设置为20，其他模型配置与表4相同。基于动态权值，消除了不敏感特征。本研究中每个实验重复10次，以减少随机性的影响。用预测误差的标准差来衡量模型的可信性。为了更好地验证本文提出的C-VFN模型的预测能力，我们对数据集进行了5次交叉验证。以G_1和G_5为例，敏感度权重图如图9所示，并绘制出每个权重图中平均权重最大和最小的两个特征。图15.两个示例的权重图和相应的特征。(a) G_1 (b) G_5由图15可以看出，权值图能够表示各个特征在各个时刻的灵敏度。此外，不难发现权重与特征的趋势有很强的相关性。例如，F9和F10有明显的上升趋势，这反映了滚动轴承的退化。因此，相应地分配较大的权重。相反，F6和F8在操作过程中表现出明显的波动，对RUL预测造成干扰，赋值权值较低。得到权值映射后，进行不敏感特征消除。消除阈值设置为与3.1.3节相同的值，分别为π/6,π/4和π/3。我们展示了一个例子，在这个例子中，特征消除是使用π/4确定的阈值来执行的。消去过程中特征的权值如图16所示。按Cri降序排列的特性如表9所示。表9.按Cri的降序排列的特征从图16中，在消除过程中消除了7个不敏感特征。然后，利用保留的特征继续训练模型。然后，在下一轮特征消除中保留所有的特征。此外，7个被剔除的特征在表9中得到了最低的Cri值，这说明了C-VFN在特征敏感性评价中的有效性。G_5的预测结果如图17所示。从图17中可以看出，C-VFN能够利用提取的特征预测滚动轴承的RUL，特征消除过程提高了测试数据集的预测性能。G_5的RMSE值列于表10。结果表明，在不同的值处，经过特征消元处理后的均方根误差(RMSE)值有所降低。图16.消除过程中的特征权重。(a) 不消除 (b) 在第一次淘汰之后图17.G_5的预测结果表10.不同 θ 的G_5的RMSE比较采用3.1.4节中列出的最先进的预后方法，即double-CNN[30]、CBLSTM[31]、LSTM-AON[36]。为了获得更准确的预后结果，每个模型都采用了5倍交叉验证，并进行了10次交叉验证以减少随机性的影响。四种预后方法的均方根误差和标准差列于表11。表11.预后方法的结果从表11可以看出，在比较预后方法中，建议的C-VFN具有最低的RMSE和标准偏差。因此，所提出的C-VFN在滚动轴承RUL预测中取得了最好的性能。本文提出了一种新的数据驱动预测方法 C-VFN，用于机械设备的RUL预测。在C-VFN中，通过V-DWF算法计算各特征的动态权值，突出敏感退化期，减少不敏感退化期的影响。根据获得的权值迭代剔除不敏感特征，提高预测精度。利用车轴简化器退化数据集和公开的XJTU-SY数据集对所提出的C-VFN模型进行了实验验证。结果表明，该模型能够提供准确的预测结果，其性能比现有的预测方法具有更强的鲁棒性。更重要的是，利用权值图可视化了特征在不同时刻的灵敏度，发现特征的灵敏度随时间动态变化。这对进一步研究RUL预测的特征探索具有重要意义。在未来的工作中，我们将详细探讨V-DWF算法获得的权值映射。研究神经网络模型如何关注敏感的退化信息，从而解释神经网络的预测机制是很重要的。微信号reliability_ustb点击“阅读原文”获取英文版原文，提取码：821p