DBN(深度置信网络)解析

原创 2016年12月14日 22:42:01

我在上篇文章介绍了RBM(受限玻尔兹曼机),本篇文章需要RBM的先验知识,不了解的可以去看看,了解了继续往下看。

1.DBN结构

DBN: 将RBM像砖块一样叠加起来构建的一个网络。

DBN训练方法:
DBN训练方法

第 1 步:(预训练)
分别单独无监督地训练每一层 RBM 网络,确保特征向量映射到不同特征空间时,都尽可能多地保留特征信息;(H0可以看作H1的可见层)

第 2 步:(微调)
在 DBN 的最后一层设置 BP 网络,接收 RBM 的输出特征向量作为它的输入特征向量,有监督地训练实体关系分类器.

每一层 RBM 网络只能确保自身层内的权值对该层特征向量映射达到最优,并不是对整个 DBN 的特征向量映射达到最优,所以反向传播网络还将错误信息自顶向下传播至每一层 RBM,微调整个 DBN 网络.

RBM 网络训练模型的过程可以看作对一个深层 BP 网络权值参数的初始化,使DBN 克服了 BP 网络因随机初始化权值参数而容易陷入局部最优和训练时间长的缺点.这可以很直观的解释,DBNs的BP算法只需要对权值参数空间进行一个局部的搜索,这相比前向神经网络来说,训练是要快的,而且收敛的时间也少。

注意:本过程和栈式自编码器类似,用RBM将自编码器进行替换,并用对比差异算法替换反向传播。

版权声明:本文为博主原创文章,未经博主允许不得转载。

机器学习——DBN深度信念网络详解

使用BP算法单独训练每一层的时候,我们发现,必须丢掉网络的第三层,才能级联自联想神经网络。然而,有一种更好的神经网络模型,这就是受限玻尔兹曼机。使用层叠波尔兹曼机组成深度神经网络的方法,在深度学习里被...
  • NIeson2012
  • NIeson2012
  • 2016年08月11日 16:48
  • 12776

RBM(限制玻尔兹曼机)、DBN(深度信念网络)介绍

original url: /chlele0105/article/details/17251971        一、DBNs是一个概率生...
  • junmuzi
  • junmuzi
  • 2016年09月09日 19:22
  • 2050

深度学习 —— 深度置信网络

深度置信网络 [Hinton06]提出了RBMs可以堆叠起来以贪婪的方式进行训练以构成深度置信网络(DBN)。DBNs是学习提取训练数据深度结构表征的图模型,为观察到的向量x和l隐藏层h_k的联合分...
  • wangli0519
  • wangli0519
  • 2017年06月03日 22:00
  • 1664

theano学习指南--深度置信网络(DBN)(源码)

欢迎fork我的github:https://github.com/zhaoyu611/DeepLearningTutorialForChinese最近在学习Git,所以正好趁这个机会,把学习到的知识...
  • zhaoyu106
  • zhaoyu106
  • 2016年09月03日 22:03
  • 4377

theano学习指南--深度置信网络(DBN)(翻译)

欢迎fork我的github:https://github.com/zhaoyu611/DeepLearningTutorialForChinese最近在学习Git,所以正好趁这个机会,把学习到的知识...
  • zhaoyu106
  • zhaoyu106
  • 2016年08月30日 21:11
  • 4115

深度学习DBN深度置信网络

之前的文章有些地方不太完善,故补充完善一下。 2017-4-10。 深度信念网络,DBN,Deep Belief Nets,神经网络的一种。既可以用于非监督学习,类似于一个自编码机;也可以用...
  • csw19970124
  • csw19970124
  • 2017年06月20日 11:48
  • 702

受限玻尔兹曼机与深度置信网络

  • 2017年07月29日 13:39
  • 1.77MB
  • 下载

matlab调试卷积深度置信网络CDBN-master的时候出现crbm_forward2D_batch_mex没法识别(解决)

今天帮群里的一个群友调matlab代码,CDBN,卷积深度置信网络,他说的是这个错误改了好几天都没法改,其实就是matlab如何调用c语言的问题,挺简单的。下面说说我的做法和如何在matlab中调用c...
  • u011292087
  • u011292087
  • 2017年05月04日 14:24
  • 759

深度学习 —— 深度置信网络

深度置信网络 [Hinton06]提出了RBMs可以堆叠起来以贪婪的方式进行训练以构成深度置信网络(DBN)。DBNs是学习提取训练数据深度结构表征的图模型,为观察到的向量x和l隐藏层h_k的联合分...
  • wangli0519
  • wangli0519
  • 2017年06月03日 22:00
  • 1664

深度置信神经网络(DBN-DNN)

1.1 BP神经网络  BP神经网络是1968年由Rumelhart和Mcclelland为首的科学家提出的概念,是一种按照误差反向传播算法进行训练的多层前馈神经网络,是目前应用比较广泛的一种神经网络...
  • zhanglu_wind
  • zhanglu_wind
  • 2018年01月02日 09:44
  • 85
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:DBN(深度置信网络)解析
举报原因:
原因补充:

(最多只允许输入30个字)