text: 基于深度学习的3D图像质量的度量方法与流程
  立体图像的质量评价方法一般分为主观评价(subjective evaluation)和客观评价(objective evaluation)。
  由于人眼是最终的图像的最终接收者，所以主观评价被看作是评估立体图像质量的一种可靠方法，但是主观评价方法需要很多的观察者参与图像评价的实验中，每个观察者要给出图像的主观分数，最后统计计算得到平均主观分数(Mean opinion score,MOS)，这种方式虽然可以获得较准确的图像评价，但花费的时间和成本长，而客观评价方法能够自动评估立体图像的质量，能够有效的弥补主观评价方法的不足。
  因此，建立一套可以准确反映人眼主观感受的立体图像质量客观评价机制具有深远意义。
  近年来，相关研究机构对立体图像质量评价算法进行了深入研究，早期是直接将平面图像质量评价方法应用于立体图像质量评价上，如峰值信噪比(PSNR)、均方误差(MSE)、结构相似度(SSIM)等评价指标。
  然而立体图像中包含更多的因素如深度图等，直接将平面图像质量评价算法应用于立体图像质量评价上终究是不符合人眼的主观感受。
  因此研究工作者考虑将平面图像质量评价算法与立体图像中的一些因素相结合，从而提升评价效果。
  文献融合了立体图像中的深度特性、结构特性和梯度特性，经过实验后得到的结果与主观评价有较高的一致性。
  文献将结构相似度和立体图像深度信息进行线性组合得到相应的立体图像质量评价得分;文献考虑到人类在观看外部事物时具有的生理特性和心理特性，结合结构相似度方法提出了改进SSIM的算法;文献提出了一种将视差信息进行加权处理的立体图像客观评价算法，并在实验中采用相应的立体图像数据库对算法性能进行评估，结果发现加入视差信息后算法能够实现更好的评价效果;文献在传统平面图像质量评价考虑因素中加入了人类的双目融合特性，提出了一种改进的立体图像质量评价方法。
  然而，由于人眼系统比较复杂，目前对HVS的研究得不够深入，因而基于HVS的评价方式与人眼的主观感受不能完全相符。
  因此，研究人员提出采用能够模拟人类大脑的神经网络方式进行立体图像质量评价，并取得了良好的效果。
  文献首先通过独立成分分析(ICA)提取立体图像的有效特征，然后通过基于二叉树的支持向量机(BT-SVM)算法提出了一种应用在立体图像质量客观评价上的分类器，能够分类识别不同立体图像的质量;文献考虑到传统神经网络学习速度慢、泛化能力差等缺点，首先通过主成分分析(PCA)进行原始图像的预处理，引入极限学习机(ELM)对立体图像质量进行客观评价。
  但由于ELM网络的初始参数即输入权重和阈值随机给定，导致网络的性能不稳定。
  近年来，深度学习成为机器学习和神经网络相关领域的研究热点，深度学习能够模拟人脑深层次处理数据的方式对原始数据内部结构和关系得到层次化的特征表示，因而经该预处理后的网络参数符合人脑的处理结果，训练后得到的网络稳定性和泛化能力也有一定的提高。
  卷积神经网络(CNN)是深度学习网络中的一种经典网络，已经被广泛应用于识别、定位和理解等任务，它以原始图像作为输入，并将特征学习和训练集为一体，能够有效地学习复杂的映射。
  文献中采用将图片输入到多通道的深度神经网络中进行分类，取得良好的效果，然而实验中的数据集图像的尺寸较小，对于尺寸较大的图片而言，网络处理起来相当困难。
  文献中考虑处理尺寸较大的图，方法是将原始大图切成相同大小的小图片块后再送入到构建的神经网络模型中，最后对图像块的质量分数加权平均得到原始大图的质量分数。
  然而，将原始大图切割成小的图像块后会破坏原始图像的结构信息，从而影响立体图像质量评价的准确性。
  立体图像质量评价算法的发展对立体图像的发展有着重要的意义。
  为克服现有技术的不足，本发明旨在提出一种新的立体图像质量评价方法，实现更加准确有效的评价立体图像质量,同时在一定程度上推动立体成像技术的发展。
  为此，本发明采用的技术方案是，基于深度学习的3D图像质量的度量方法，首先对立体图像数据集进行切块处理，切块处理得到许多小的图像块，再对每个图像块进行归一化处理;同时对立体图像数据集进行主成分分析PCA降维处理，得到维度较低的图像;然后将切块得到的图像块数据集与PCA降维后得到的低维度数据集送入搭建的卷积神经网络中;然后利用卷积神经网络逐层提取特征;最后通过softmax分类器得到立体图像的总体质量。
  一个实例中具体步骤如下:
  图像分块处理的步骤如下:
  (2)图像块归一化处理规则如下:
  通过PCA算法对实验图像进行降维预处理，算法步骤如下:
  (2)计算样本数据的协方差矩阵
  (3)利用SVD定理，通过求解的特征值和特征向量获得的特征值以及特征向量;
  (4)对得到的特征值进行排序，并根据特征值的贡献率选取前k个特征值及其与之对应的特征向量，贡献率表示所定义的主成分在整个数据分析中占多大的比重，在这里通过选取的特征值之和与所有特征之和的比值来表示:
  CNN的过程如下:
  (1)卷积层:卷积层的作用就是提取图像特征，原始输入图像与原始输入图像与滤波器进行卷积后通过一个激活函数，就得到第一层输出特征maps，公式为:
  (2)下采样层即池化层:下采样层的作用是对卷积层得到的图像特征进行下采样操作，即对相邻小区域进行聚合操作，采用有平均池化mean pooling、最大值池化max pooling、随机池化stochastic pooling中的一种;
  (3)全连接层:全连接层的作用是将学习到特征映射到标签空间，之后送入softmax分类器等就可以进行分类;
  (4)激活函数:激活函数的主要作用是提供网络的非线性建模能力，采用有ReLU、Leaky ReLU、sigmoid中的一个;
  (6)LRN:对局部输入区域进行归一化，能够把所有的变量具有相似的方差，公式如下:
  使用最大值池化，公式如下:
  在深度学习网络中，ReLU激活函数公式如下:
  其中，x为神经网络的输入。
  实验结果及数据对比表明，本发明提出的MPCNN算法所得结果与主观评价结果有更好的一致性。
  这说明在立体图像质量评价方面基于深度学习的方法更符合人类的观看体验。
  由客观评价方法SVM所得结果与主观评价结果一致性最差，本文所提方法MPCNN所得结果与主观评价结果具有最好的一致性;客观评价方法ELM和评价性能稍微比SVM好一些，且仅次于本文所提的客观质量评价方法MPCNN的性能。
  通过以上各种立体图像质量评价方法性能对比，我们可以发现在立体图像质量评价方面基于深度学习的方法更接近人类做出的主观评价，这说明基于PCA和卷积神经网络结合有利于提高立体图像质量评价方法的可靠性和准确性，同时也说明选择合适的特征提取以及网络模型对改善立体图像质量评价方法的性能至关重要。
  图1传统卷积神经网络结构。
  图3基于卷积神经网络的立体图像质量评价方法流图。
  图5原图-河流。
  图6原图-家庭。
  图8失真图-花。
  图9失真图-河流。
  图10失真图-家庭。
  图11失真图-女孩。
  本发明提供一种对图像进行切块预处理的基础上，结合主成分分析PCA降维后的数据集，再送入多通道的卷积神经网络后构造了一种新的立体图像质量评价方法。
  本发明提出的算法更加准确有效的评价立体图像质量,同时在一定程度上推动立体成像技术的发展。
  本发明提出了基于卷积神经网络与主成分分析的立体图像质量评价方法。
  该方法首先分别对图像进行区域分割和主成分分析PCA降维预处理，然后将得到的切块数据集与PCA降维后的数据集送入多通道卷积神经网络中;最后，应用卷积神经网络逐层提取特征后送入softmax分类器得到立体图像的客观质量。
  首先对立体图像数据集进行切块处理，切块处理得到许多小的图像块，再对每个图像块进行归一化处理;同时对立体图像数据集进行主成分分析PCA降维处理，得到维度较低的图像;然后将切块得到的图像块数据集与PCA降维后得到的低维度数据集送入搭建的卷积神经网络中;然后利用卷积神经网络逐层提取特征;最后通过softmax分类器得到立体图像的总体质量。
  一图像块预处理
  卷积神经网络是通过卷积层中的卷积核提取图片的特征，若输入的图片尺寸太大，这会造成网络处理起来相对困难，另外复杂度也会大大增加。
  因此大多数的文献都是先将图像切割成图像块后，再将图像块送入设计的网络中。
  分块处理的步骤如下:
  (2)图像块归一化处理。
  由于切块后得到的是不同的图像块，为了产生相似数量级像素值的图像块，需要将图像块进行归一化处理，处理规则如下:
  二PCA算法
  通过PCA算法对实验图像进行降维预处理，能够找到立体图像的有效信息，减少计算量及噪声等因素对实验的影响，另外PCA降维得到的特征向量能够较好的保持图片的结构信息。
  本质上，PCA算法是一种线性映射算法，算法步骤如下:
  (6)对样本矩阵X作中心化处理。
  (7)计算样本数据的协方差矩阵
  (8)利用SVD定理，通过求解的特征值和特征向量获得的特征值以及特征向量。
  (9)对得到的特征值进行排序，并根据特征值的贡献率选取前k个特征值及其与之对应的特征向量。
  贡献率表示所定义的主成分在整个数据分析中占多大的比重，在这里通过选取的特征值之和与所有特征之和的比值来表示:
  三CNN算法
  CNN算法最早由Kunihiko Fukushima提出 ，Yann LeCun等人进行改进 ，CNN本质上类似于一个多层感知机，具有良好的并行处理能力、自学习能力和泛化能力。
  传统的CNN由卷积层(convolutional layer)、下采样层(pooling layer)和全连接层(fullConnectedlayer)组成。
  原始图像首先经过卷积层与滤波器进行卷积，得到若干特征图(feature maps)后，通过下采样层对特征进行模糊，逐层提取特征完毕后，最后通过一个全连接层输出用以识别图像的特征，如图1所示:
  CNN的基本过程如下:
  (2)下采样层(池化层):下采样层的作用是对卷积层得到的图像特征进行下采样操作，即对相邻小区域进行聚合操作。
  主要作用是提供很强的鲁棒性，并减少了参数的数量，防止过拟合现象的发生。
  常用的有平均池化(mean pooling)、最大值池化(max pooling)、随机池化(stochastic pooling) 等。
  本文使用最大值池化，公式如下:
  (3)全连接层:全连接层的作用是将学习到特征映射到标签空间，之后送入softmax分类器等就可以进行分类等。
  (4)激活函数:激活函数的主要作用是提供网络的非线性建模能力，一个合适的激活函数能够有效的提升CNN网络的性能，常用的有ReLU 、Leaky ReLU 、sigmoid等。
  在深度学习网络中，ReLU激活函数使用较多，公式如下:
  Dropout可以有效地提高网络的性能，并能防止过拟合 。
  (6)LRN:对局部输入区域进行归一化，能够把所有的变量具有相似的方差，可以使监督学习算法更快，性能更好 ，公式如下:
  鉴于CNN网络的输入尺寸的限定，不同大小的图片输入会对网络的性能有很大差异，也会影响立体图像质量客观评价的准确性。
  因此，可通过对输入图片进行切块预处理操作，但分块可能会造成图像的结构信息的丢失;因此在网络中加入PCA降维后的特征向量通道，另外通过多尺度池化层提取更多的特征信息，来提高CNN网络的识别能力。
  本文使用PCA算法以及切块预处理获得CNN网络的输入数据集，构造多通道网络，不同的通道采用的是不同的输入数据，对应着PCA数据、不同尺寸切块的图像块数据，使得优化后的卷积神经网络能够具有更好的分类识别效果。
  MPCNN的过程如下:
  本文发明的模型结构如图2所示，算法结构如图3所示。
  CNN网络的参数比较多，需要确定网络的层数、网络的结构、卷积层的卷积核大小以及个数，池化层的池化方式以及全连接的节点数等。
  本文选取不同的激励函数，包括ReLU函数、Sigmoid函数、Tanh函数、Absval函数、Power函数以及BNLL函数。
  实验网络的参数设置如表1，其中pca_net表示pca降维后数据集的通道网络，patch_32表示将图像切块为32×32大小数据集的通道网络，patch_256表示将图像切块为256×256大小数据集的通道网络。