包含三个可见单元和四个隐单元的受限玻兹曼机示意图(不包含偏置节点)
受限玻尔兹曼机 (英語:restricted Boltzmann machine , RBM)是一种可通过输入数据集学习概率分布的随机 生成 神经网络 。RBM最初由发明者保罗·斯模棱斯基 于1986年命名为簧风琴 (Harmonium)[1] ,但直到杰弗里·辛顿 及其合作者在2000年代中叶发明快速学习算法后,受限玻兹曼机才变得知名。受限玻兹曼机在降维 [2] 、分类 [3] 、协同过滤 [4] 、特征学习 [5] 和主题建模 [6] 中得到了应用。根据任务的不同,受限玻兹曼机可以使用监督学习 或无监督学习 的方法进行训练。
正如名字所提示的那样,受限玻兹曼机是一种玻兹曼机 的变体,但限定模型必须为二分图 。模型中包含对应输入参数的输入(可见)单元和对应训练结果的隐单元,图中的每条边必须连接一个可见单元和一个隐单元。(与此相对,“无限制”玻兹曼机包含隐单元间的边,使之成为循环神经网络 。)这一限定使得相比一般玻兹曼机更高效的训练算法成为可能,特别是基于梯度 的对比分歧(contrastive divergence)算法[7] 。
受限玻兹曼机也可被用于深度学习 网络。具体地,深度信念网络 可使用多个RBM堆叠而成,并可使用梯度下降法 和反向传播算法 进行调优[8] 。
^ Smolensky, Paulgengxin. Chapter 6: Information Processing in Dynamical Systems: Foundations of Harmony Theory. Rumelhart, David E.; McLelland, James L. (编). Parallel Distributed Processing: Explorations in the Microstructure of Cognition, Volume 1: Foundations (PDF) . MIT Press. 1986: 194–281 [2014-09-16 ] . ISBN 0-262-68053-X . (原始内容 (PDF) 存档于2013-06-13).
^ G. E. Hinton, R. R. Salakhutdinov. Reducing the Dimensionality of Data with Neural Networks . Science. 2006-07-28, 313 (5786): 504–507 [2018-04-02 ] . ISSN 0036-8075 . doi:10.1126/science.1127647 . (原始内容存档 于2018-03-20) (英语) .
^ Hugo Larochelle, Yoshua Bengio. Classification using discriminative restricted Boltzmann machines . ACM: 536–543. 2008-07-05 [2018-04-02 ] . ISBN 9781605582054 . doi:10.1145/1390156.1390224 .
^ Salakhutdinov, R.; Mnih, A.; Hinton, G. Restricted Boltzmann machines for collaborative filtering. Proceedings of the 24th international conference on Machine learning - ICML '07: 791. 2007. ISBN 9781595937933 . doi:10.1145/1273496.1273596 .
^ Coates, Adam; Lee, Honglak; Ng, Andrew Y. An analysis of single-layer networks in unsupervised feature learning (PDF) . International Conference on Artificial Intelligence and Statistics (AISTATS). 2011 [2014-09-16 ] . (原始内容 (PDF) 存档于2013-05-10).
^ Ruslan Salakhutdinov and Geoffrey Hinton (2010). Replicated softmax: an undirected topic model (页面存档备份 ,存于互联网档案馆 ). Neural Information Processing Systems 23 .
^ Miguel Á. Carreira-Perpiñán and Geoffrey Hinton (2005). On contrastive divergence learning. Artificial Intelligence and Statistics .
^ Hinton, G. Deep belief networks. Scholarpedia. 2009, 4 (5): 5947. Bibcode:2009SchpJ...4.5947H . doi:10.4249/scholarpedia.5947 .