text: 随机神经网络及模拟退火算法
  通过前面对Boltzmann机的结构、运行规则以及学习算法的讨论,可见Boltzmann机具有以下优点:
  (1)通过训练,神经元体现了与周围环境相匹配的概率分布;
  (2)网络提供了一种可用于寻找、表示和训练的普遍方法;
  另外,从学习的角度观察,上面的权值调整规则具有两层相反的含义:首先,在主动阶段(外界环境约束条件下),这种学习规则本质上就是Hebb学习规则,其次在被动阶段(自由运行条件下),网络并没有学习到外界的概率分布或会遗忘外界的概率分布。
  使用被动阶段的主要原因在于:由于能量空间最速下降的方向和概率空间最速下降的方向不同,因此需要运行被动阶段来消除两者之间的不同。
  但是在Boltzmann机的学习过程中被动阶段的存在具有两个很大的缺点:
  (2)对于统计错误的敏感。
  从6.1.3所讨论的Boltzmann机的运行步骤中可以看到,Boltzmann机的运行主要包括两个过程:在一个确定温度T下的随机取样过程(第一步至第四步)和温度下降即退火的过程(第五步)。
  6.2 Boltzmann机的改进
  6.2.1确定性Boltzmann机
  由于Boltzmann机在学习过程中需要计算网络中每对神经元的平均关联,当网络所含神经元的数目过大时,需要的计算时间也非常大。
  Boltzmann机在学习过程中存在的运算时间过长的问题使其很难在实际问题中加以应用。
  目前,还没有一种数学方法可以精确评价Boltzmann机的行为,但是可以使用平均场逼近的方法来逼近Boltzmann机的行为。
  1987年Peterson和Anderson使用平均场理论提出了一种加速Boltzmann学习过程的方法,为与具有随机特性的Boltzmann机相区别,该方法被称为确定性Boltzmann机(
  该方法将式(6.14)中Boltzmann学习规则中的平均关联替换为平均场逼近,即:
  1. 平均场理论
  1987年Peterson和Anderson使用平均场理论来研究确定性Boltzmann机。
  根据平均场理论,首先需要知道网络中每个神经元状态的平均值,令<vi>表示网络中神经元i状态的平均值。
  神经元i的输出状态以概率规则描述如下:
  因此,可以用神经元i的输入表达<vi>:
  这就是Boltzmann机神经元的平均场逼近。
  平均场逼近的基本概念在于:将每个神经元i的真实输入替换为其平均值<ui>,即:
  与式(6.18)随机神经元的平均场逼近类似,得到下式:
  2. 确定性Boltzmann机
  式(6.14)所确定的标准Boltzmann学习规则可近似为:
  确定性Boltzmann机可将标准Boltzmann机的学习速度提高一至两个数量级,但在实际应用中需注意以下两点:
  无监督学习不能在所有的平均场框架中起作用,因为平均状态不能很好的表示自由运行状态的概率分布。
  在有监督学习中,确定性Boltzmann学习要求神经网络只有一个单隐层(Galland, 1993)。