一文帮你理解什么是深层置信网络(DBN)

原创 2018年01月11日 23:03:02



翻译 | 林椿眄

编辑 | SuiSui



前言


随着机器学习的进步和深度学习的出现,一些工具和图形表示被逐渐用来关联大量的数据。深度置信网络(Deep Belief Networks)本质上是一种具有生成能力的图形表示网络,即它生成当前示例的所有可能值。


深度置信网络是概率统计学与机器学习和神经网络的融合,由多个带有数值的层组成,其中层之间存在关系,而数值之间没有。深层置信网络主要目标是帮助系统将数据分类到不同的类别。



深度信念网络如何演进?


第一代神经网络使用感知器,通过考虑“权重”或预先馈送的目标属性来识别特定的物体或其他物体。然而,感知器只能在更基本的层面上有效,并不能提高识别的技术。


为了解决这些问题,第二代神经网络引入了反向传播的概念,将得到的输出与期望的输出进行比较,最终目标是使误差值减小到零。支持向量机通过引用先前测试用例的输入来创建和理解更多的测试用例。


接下来是针对信念网络的非循环图。这种图能够帮助解决与推理那些和学习问题有关的问题。随后是深度置信网络,它帮助创建存储在叶节点中的无偏值。



受限玻尔兹曼机


深度置信网络由诸如波尔兹曼机无监督网络组成。在这里,每个子网络的不可见层是下一层的可见层。隐藏层或不可见的层并不是相互连接,而是有条件互相独立的。


联合配置网络的可见层和隐藏层上的概率,取决于联合配置网络的能量与其他所有联合配置网络的能量。



训练深度置信网络


训练网络层属性的第一步是直接从像素获取输入信号。下一步是将此图层的值作为像素,并在第二个隐藏层从先前获取的特征中学习特征。每当另一层的属性或特征被添加到深度置信网络时,训练数据集的对数概率的下限就会有所改善。


例如:




实施


MATLAB可以很容易地将可见层,隐藏层和权重表示为矩阵形式并高效地执行矩阵算法。因此,我们选择MATLAB来实现深度置信网络。


选用这些MNIST9的手写数字,然后用作深度置信网络的计算,以便与其他分类器的性能进行比较。


MNIST9可以被描述为是一个手写数字的数据库,有6万个训练样本和1万个数字测试样本。手写数字是从0到9,并且在每个图像表现出各种的形状和位置特征。每一张图像都被标准化,并以28x28像素为中心被标记。


决定这些权重更新频率的方法是-在线学习,或采用小批量和全批量数据大小。


在线学习需要最长的计算时间,因为在每个训练数据实例之后,它才完成权重的更新。全批量处理通过训练数据并更新权重,但是,建议不要将其用于大数据集。


小批量处理是把数据集分成较小的数据块,并对每个数据块进行学习操作,这种方法需要更少的计算时间。因此,我们使用小批量学习来实现。


需要记住的一个重要的问题是,实现一个深层置信网络需要对每层波尔兹曼机进行训练。


为此,首先需要初始化网络单位和参数。其次是对比散度算法的两个阶段--正相和负相阶段。在正相阶段,隐藏层的二进制状态可以通过权重的计算和可见单位的概率来获得。由于增加了训练数据集的概率,因此称为正相。负相阶段会降低模型生成样本的概率。


贪婪学习算法被用来训练整个深度置信网络。它一次训练一个波尔兹曼机,直到所有的波尔兹曼机都被训练为止。


作者 | Icecream Labs

原文链接:

https://medium.com/@kaveri_53280/deep-belief-networks-all-you-need-to-know-cb708774ee3a

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/dQCFKyQDXYm3F8rB0/article/details/79039419

深度学习深度信念网络DBNs—简易详解

针对实验室同门有些人向我问过DBNs,了解到,他们单单看论文,不能很好的理解DBNs,所有写了下面简易的图解;对一个初学深度神经网络的人,自己再结合理论证明,应该很容易理解这个模型。 参考文献: [...
  • Justin_Xip
  • Justin_Xip
  • 2014-08-30 23:31:44
  • 1766

关于DBN的理解

关于DBN我一直有以下三个问题: 1.什么是complementary priors? 2.为什么说RBM展开后可以当成sigmoid belief network with tied paramet...
  • willduan1
  • willduan1
  • 2016-05-06 16:27:59
  • 7352

DBN的浅显易懂解释

DBN的简单框架理解
  • lijunweiyhn
  • lijunweiyhn
  • 2016-10-15 16:16:01
  • 1331

系统学习深度学习(三) --RBM及DBN

转自:/zouxy09/article/details/8781396 9.3、Restricted Boltzmann Machine (RBM)限制波尔兹曼...
  • App_12062011
  • App_12062011
  • 2017-01-10 13:41:40
  • 11790

深度学习DBN深度置信网络

之前的文章有些地方不太完善,故补充完善一下。 2017-4-10。 深度信念网络,DBN,Deep Belief Nets,神经网络的一种。既可以用于非监督学习,类似于一个自编码机;也可以用...
  • csw19970124
  • csw19970124
  • 2017-06-20 11:48:28
  • 1953

深度信念网络(DBN)

1.初识深度信念网络  深度信念网络是一个概率生成模型,与传统的判别模型的神经网络相对,生成模型是建立一个观察数据和标签之间的联合分布,对P(Observation|Label)和 P(Label|O...
  • a819825294
  • a819825294
  • 2016-12-13 12:47:20
  • 16742

DBN

本篇非常简要地介绍了深度信念网络的基本概念。文章先简要介绍了深度信念网络(包括其应用实例)。接着分别讲述了:(1) 其基本组成结构——受限玻尔兹曼机的的基本情况,以及,(2) 这个基本结构如何组成深度...
  • u013146742
  • u013146742
  • 2016-09-01 16:27:48
  • 15083

深度学习-深度信念(置信)网络(DBN)-从原理到实现(DeepLearnToolBox)

深度信念网络,DBN,Deep Belief Nets,神经网络的一种。既可以用于无监督学习,类似于一个自编码机;也可以用于监督学习,作为分类器来使用。作为神经网络,神经元自然是其必不可少的组成部分。...
  • Rainbow0210
  • Rainbow0210
  • 2016-11-02 19:00:56
  • 24242

深度信念神经网络DBN最通俗易懂的教程

前几天我把受限玻尔兹曼机给讲完了,这次我接着讲一下它的进阶理论,还是那句话,全是白话文,你们肯定能听懂 深度信念网络,它的英文名叫作Deep Belief Network,先解释一下这个名词: D...
  • u013631121
  • u013631121
  • 2017-08-06 21:45:22
  • 3649

dbn

转自:http://blog.csdn.NET/yt7589/article/details/52487505 另外,有一篇文章《RBM原理理解》写的很详细,每个过程都有详细推导,也就通俗化的理解。我...
  • csw19970124
  • csw19970124
  • 2017-09-02 16:45:07
  • 591
收藏助手
不良信息举报
您举报文章:一文帮你理解什么是深层置信网络(DBN)
举报原因:
原因补充:

(最多只允许输入30个字)