text: 高斯过程回归_词库
  此外，GPR可提供预测结果的后验，且在 似然 为正态分布时，该后验具有解析形式。
  基于高斯过程及其核函数所具有的便利性质，GPR在时间序列分析、图像处理和自动控制等领域的问题中有得到应用。
  权重空间观点
  由正态分布的共轭性(conjugacy)可知，对正态分布的似然和方差已知的正态分布先验，其后验也为正态分布，因此带入似然和先验的解析形式并按正态分布整理可得:
  给定测试样本 ，贝叶斯线性回归通过对可通过边缘化模型权重，即按其后验积分得到测试结果 的概率分布:
  贝叶斯线性回归是一个线性参数模型，为使其表示样本间的非线性关系，可以使用给定的函数将 映射至高维空间:
  由于映射函数 是固定的，即与模型权重无关，因此可直接带入贝叶斯线性回归的结果得到:
  使用核方法(kernel method)，即定义核函数 可改写上式:
  上述改写结果即是GPR对 的均值和协方差进行预测的形式，式中 表示由学习样本得到的格拉姆矩阵(Gram matrix)，即核矩阵， 表示带入测试样本后得到的行向量和列向量:
  函数空间观点
  GPR取该函数空间的先验为高斯过程(Gaussian Process, GP)，不失一般性，这里表示为0均值高斯过程:式中 为学习样本，其在高斯过程中的测度是高斯过程的有限维分布(finite-dimensional distribution)，由定义可知，该有限维分布是联合正态分布:
  式中 为核函数，0均值高斯过程由其核函数完全决定:
  具体地，由回归模型和高斯过程的定义， 和 的概率分布为:
  因此二者的联合概率分布是如下形式的联合正态分布:
  对上述联合分布取 的边缘分布，由联合正态分布的边缘分布性质(marginalization property)可得:
  在给定基函数的正态分布先验 时， 是具有如下形式的高斯过程:
  参照先前的推导，此时GPR的预测形式为:
  这里对GPR常见的核函数进行简单介绍，并引入核函数计算的加速方法。
  若GPR的先验为平移不变(transformation invariant)的平稳高斯过程时，可用的核函数包括径向基函数核(RBF kernel)、马顿核(Matérn kernel)、指数函数核(exponential kernel)、二次有理函数核(rational quadratic kernel, RQ kernel)等，以RBF核为例，其解析形式如下:
  常见地，对各向同性的情形，RBF核表示为:
  核矩阵求逆的计算简化
  这里简单介绍核矩阵求逆的简化方法以应对上述问题，一般地，这些方法除GPR外也适用于其它核学习(kernel learning)方法，例如核岭回归、 支持向量机 (Support Vector Machine, SVM)等。
  1. 选取数据子集(subset of datapoints, SD)
  2. 低秩近似(low-rank approximation)
  低秩近似将核矩阵近似为一系列低秩矩阵的乘积以简化求逆计算，具体地，N×N的核矩阵可以近似表示为: ，其中的大小分别为N×m、m×m、m×N，此时由Sherman-Morrison-Woodbury定理可得:
  确定低秩矩阵的常见方法包括Nystr m法(Nystr m method)、子集回归法(subset ofregressors, SR)、映射过程近似(projected process approximation, PP)、BCM(Bayesian committee machine)等，这里对前两者进行介绍。
  正态似然
  极大似然估计(Maximum Likelihood Estimation, MLE)
  MLE通过令GPR的似然取极大值实现对超参数的单点估计。
  不失一般性，对0均值先验的GPR，带入联合正态分布的解析形式并求其负自然对数可得:
  求解GPR似然极大值等价于求解负自然对数的极小值，因此这里给出其对 的偏导数:
  GPR的对数似然不是凸函数，且其优化复杂度随学习样本的增加而增大，在大量学习样本的情形下，可能会发现多个局部最优，且局部最优解的差异很大的情形，考虑解出的核函数超参数通常表示高斯过程的特征长度尺度，多个局部最优意味着学习样本可以按多个尺度进行回归，其中小尺度的模型复杂度高但考虑更多局部特征，大尺度的模型反之。
  除MLE外，GPR也可通过极大后验估计(Maximum A Posteriori estimation, MAP)求解。
  极大伪似然估计(maximum pseudo-likelihood estimator, MPLE)
  使用MPLE求解GPR的过程也被称为交叉验证(cross-validation)，相比于MLE，其改变是对学习样本使用留一法(Leave One Out, LOO)计算其伪似然(pseudo-likelihood)的负自然对数:
  这里提供一个使用GPy封装的GPR模型的例子:
  非正态似然
  LA和EP的推导可参见Rasmussen and Williams (2006), pp.41-60。
  数值方法可用在非正态似然，或核函数超参数过多，不利于MLE问题优化的情形下求解GPR。
  封装高斯过程(Warped Gaussian Process, WGP)
  WGP的中封装函数的选择通常为双曲正切函数(hyperbolic tangent)线性组合，这里给出WGP对应于GPR的模型和算法:
  半参数高斯过程(Semi-parametric Gaussian Processes, SGP)
  具体地，SGPR构建了如下求解系统:
  深度高斯过程(deep Gaussian Process, DGP)
  按定义，DGP是一组从高斯过程先验中选择的函数的分布:
  可加高斯过程(Additive Gaussian Process, AGP)
  以RBF核为例，其1阶可加高斯过程先验可表示为:
  高斯过程分类(Gaussian Process Classification, GPC)
  以二元分类为例，因为标签数据是 取值的二项分布随机变量，所以对应的GPC似然是潜函数对学习样本的因子乘积:
  克里金法(Kriging)
  有一些克里金法的扩展方法与GPR等价，例如Handcock and Stein (1993)和Handcock and Wallis (1994)提出的包含贝叶斯推断的克里金法使用了各向同性的马顿核高斯过程先验，并在正态似然假设下按MLE求解超参数。
  等价核的例子包括RBF核、二次有理函数核、指数函数核等。
  作为贝叶斯方法的性质:GPR是一个包含全贝叶斯特性(full Bayesian)的回归模型，可以给出测试数据的完整后验。
  与核学习方法的比较:GPR与适用于回归问题的核学习(kernel learning)方法，例如核岭回归、支持向量回归(support vector regression)等都使用了核函数与核方法，且可以通过相同的方式简化核矩阵求逆计算，但对后者，其核函数是输入空间向高维特征空间的映射，而GPR中的核函数是高斯过程协方差函数的模型，表示随机变量间的相关性。
  具体地，对如下预测形式的MLP: 若其权重为iid随机变量且均值为0，方差为有限值，则由中心极限定理(central limit theorem)可推出，当隐含层节点数n趋于无穷时，模型输出的联合分布趋于0均值的联合正态分布: 该结论不要求iid权重服从正态分布，但当权重服从iid正态分布时，有限个隐含层节点的MLP也可表示为高斯过程。
  包含GPR的编程模块
  由谢菲尔德机器学习团队(Sheffield machine learning group)开发的Python高斯过程建模工具GPy提供了GPR的完整求解系统和核函数，包括异方差噪声GPR、隐变量模型，解析近似、VBI和蒙特卡罗求解、稀疏高斯过程和低秩近似。
  pyGPs是基于Python开发的面向对象高斯过程建模应用，包含可视化学习界面，在功能上包括了常见核函数、稀疏高斯过程和解析近似。