DBN(深度置信网络)解析

原创 2016年12月14日 22:42:01

我在上篇文章介绍了RBM(受限玻尔兹曼机),本篇文章需要RBM的先验知识,不了解的可以去看看,了解了继续往下看。

1.DBN结构

DBN: 将RBM像砖块一样叠加起来构建的一个网络。

DBN训练方法:
DBN训练方法

第 1 步:(预训练)
分别单独无监督地训练每一层 RBM 网络,确保特征向量映射到不同特征空间时,都尽可能多地保留特征信息;(H0可以看作H1的可见层)

第 2 步:(微调)
在 DBN 的最后一层设置 BP 网络,接收 RBM 的输出特征向量作为它的输入特征向量,有监督地训练实体关系分类器.

每一层 RBM 网络只能确保自身层内的权值对该层特征向量映射达到最优,并不是对整个 DBN 的特征向量映射达到最优,所以反向传播网络还将错误信息自顶向下传播至每一层 RBM,微调整个 DBN 网络.

RBM 网络训练模型的过程可以看作对一个深层 BP 网络权值参数的初始化,使DBN 克服了 BP 网络因随机初始化权值参数而容易陷入局部最优和训练时间长的缺点.这可以很直观的解释,DBNs的BP算法只需要对权值参数空间进行一个局部的搜索,这相比前向神经网络来说,训练是要快的,而且收敛的时间也少。

注意:本过程和栈式自编码器类似,用RBM将自编码器进行替换,并用对比差异算法替换反向传播。

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/zhoutaochun/article/details/53648214

深度学习DBN深度置信网络

之前的文章有些地方不太完善,故补充完善一下。 2017-4-10。 深度信念网络,DBN,Deep Belief Nets,神经网络的一种。既可以用于非监督学习,类似于一个自编码机;也可以用...
  • csw19970124
  • csw19970124
  • 2017-06-20 11:48:28
  • 1953

深度学习-深度信念(置信)网络(DBN)-从原理到实现(DeepLearnToolBox)

深度信念网络,DBN,Deep Belief Nets,神经网络的一种。既可以用于无监督学习,类似于一个自编码机;也可以用于监督学习,作为分类器来使用。作为神经网络,神经元自然是其必不可少的组成部分。...
  • Rainbow0210
  • Rainbow0210
  • 2016-11-02 19:00:56
  • 24242

深度学习 —— 深度置信网络

深度置信网络 [Hinton06]提出了RBMs可以堆叠起来以贪婪的方式进行训练以构成深度置信网络(DBN)。DBNs是学习提取训练数据深度结构表征的图模型,为观察到的向量x和l隐藏层h_k的联合分...
  • wangli0519
  • wangli0519
  • 2017-06-03 22:00:32
  • 2690

深度置信网络学习总结

深度置信网络学习总结 目录 深度置信网络学习总结... 1 一、 蒙特卡洛方法和Gibbs 采样... 2 1.1 随机模拟(蒙特卡罗方法)的作用... 2 3.2蒙特卡洛的基础——马...
  • qq_27652147
  • qq_27652147
  • 2016-12-22 14:56:49
  • 2471

DBN(深度置信网络)

参考文献:/zouxy09/article/details/8775518 具有层次结构的数学算法:                  神经网络      ...
  • win_in_action
  • win_in_action
  • 2014-05-08 19:25:33
  • 28027

深度学习进阶(五)--卷积神经网络与深度置信网络以及自动编码初识(补昨天博客更新)

总结一下昨天的学习过程 (注:这几天老不在状态,貌似进入了学习激情的瓶颈期,动力以及平静心严重失控,Python3.X与Python2.X之间的代码调试,尤其是环境配置搞得头昏脑胀) 昨天了解接触的内...
  • u013991917
  • u013991917
  • 2017-10-11 22:09:44
  • 665

受限玻尔兹曼机和<em>深度置信网络</em>详解

详细的介绍了受限玻尔兹曼机(RBM)和<em>深度置信网络</em>(DBN),看完你就知道什么是<em>深度置信网络</em>了。侵删。
  • 2018年04月18日 00:00

theano学习指南--深度置信网络(DBN)(源码)

欢迎fork我的github:https://github.com/zhaoyu611/DeepLearningTutorialForChinese最近在学习Git,所以正好趁这个机会,把学习到的知识...
  • zhaoyu106
  • zhaoyu106
  • 2016-09-03 22:03:33
  • 5195

神经网络凸优化

这是一篇试验失败的总结。 第一次读博士的时候,就是读的凸优化。所以对凸函数有一种莫名的好感。去年在做SGD加速,发现很多SGD算法的理论分析都是基于凸函数的。详见Zhang Tong, Li Mu这...
  • linnanwang
  • linnanwang
  • 2016-03-31 23:51:16
  • 822

DBN深度置信网

  • 2015年11月10日 11:52
  • 4.16MB
  • 下载
收藏助手
不良信息举报
您举报文章:DBN(深度置信网络)解析
举报原因:
原因补充:

(最多只允许输入30个字)