关闭

神经网络的理解(MLP RBF RBM DBN DBM CNN 整理学习)

标签: 神经网络
3524人阅读 评论(0) 收藏 举报
分类:

开篇语


文章整理自向世明老师的PPT,围绕神经网络发展历史,前馈网络(单层感知器,多层感知器,径向基函数网络RBF),反馈网络(Hopfield网络,联想存储网络,SOM,Boltzman及受限的玻尔兹曼机RBM,DBN,CNN)三部分进行讲述,给人一个神经网络的整体认识。

发展历史


单层感知器


基本模型如下

训练

如果激励函数是线性的话,可用最小二乘直接计算:

如果激励函数是sifmoid function,可迭代更新(一次性或者逐样本更新):

上式只做了简单的求导展开,很容易推导:

多层感知器


基本模型如下

举例(含有一个隐含层的多层感知器MLP)

模式:

y=h(v)=h(h(u))y=h(v)=h(h(u))

求解:

然后分别对两个层的权值求导:

然后更新即可,反向传播(BP)

经验

优缺点

RBF神经网络


模型

求解

优点和视角

深度学习简介


前向神经网络

发展历程

整体一览

一些值得关注

学术

工业

Belief Network & Hopfield Network & Boltzman机 & RBM 结构一瞥


Belief Network

Hopfield Network

Boltzman机

RBM 受限的玻尔兹曼机

RBM


模型

利用上图中公式,可以得到

求解 CD算法

DBN


模型

训练

面向特征提取

面向分类

DBM


模型

CNN


模型

训练

参考文献


0
0
查看评论
发表评论
* 以上用户言论只代表其个人钱柜娱乐开户,不代表CSDN网站的钱柜娱乐开户或立场

MLP、RBF、SVM网络比较及其应用前景

摘  要: 本文主要对MLP、RBF、SVM三种神经网络进行了详细的分析与讨论,从三种网络的结构、学习算法、功能和性能等方面进行了比较。同时,结合自己的研究方向讨论了三种结构的神经网络的应用前景。 ...
  • xiaoding133
  • xiaoding133
  • 2013-06-12 14:50
  • 23188

DBM 和 DBN 的区别

下边这部分摘自知乎:http://www.zhihu.com/question/24005468 首先,还是纠正下题主,直接叠加RBM是DBN。而DBM是一个真正的无向图模型,层间互有反馈。 DB...
  • u014114990
  • u014114990
  • 2015-10-03 21:46
  • 4750

系统学习深度学习(三) --RBM及DBN

转自:/zouxy09/article/details/8781396 9.3、Restricted Boltzmann Machine (RBM)限制波尔兹曼...
  • App_12062011
  • App_12062011
  • 2017-01-10 13:41
  • 7340

[深度学习]神经网络的理解(MLP RBF RBM DBN DBM CNN 整理学习)

转载于 http://lanbing510.info/2014/11/07/Neural-Network.html 开篇语 文章整理自向世明老师的PPT,围绕神经网络发展历史,前馈网络(...
  • LuohenYJ
  • LuohenYJ
  • 2017-10-15 17:01
  • 404

系统学习机器学习之神经网络(一)--MLP及局部模型,RBF综述

今天我们要谈的多层感知器其实是一种人工神经网络结构,属于非参数估计,可以用于解决分类和回归问题。我们先来了解下神经网络的背景,然后再来介绍下感知器。 神经网络 感知器 多层感知器 神经网络的应用 局...
  • App_12062011
  • App_12062011
  • 2015-12-22 13:44
  • 6536

RBM(受限波尔兹曼机)和 DBN(深信度神经网络)

原文地址:/hanzihan123/article/details/23707143 版主不让转啊,不过太好啦,不转怕找不到啦! 前言:Deep Lear...
  • yewei11
  • yewei11
  • 2015-12-08 19:39
  • 2380

深度学习(DL)与卷积神经网络(CNN)学习笔记随笔-04-基于Python的LeNet之MLP

原文地址可以查看更多信息   本文主要参考于:Multilayer Perceptron    python源代码(github下载  CSDN免费下载)   本文主要介绍含有单隐层的M...
  • qq_26898461
  • qq_26898461
  • 2016-03-30 10:44
  • 1212

Deep Learning 系列(1):RBM(受限波尔兹曼机)和 DBN(深信度神经网络)

前言:Deep Learning 是近几年来最火的
  • hanzihan123
  • hanzihan123
  • 2014-04-14 21:55
  • 7152

深度学习(DL)与卷积神经网络(CNN)学习笔记随笔-04-基于Python的LeNet之MLP

原文地址可以查看更多信息   本文主要参考于:Multilayer Perceptron   python源代码(github下载  CSDN免费下载)   本文主要介绍含有单隐层的MLP的...
  • jdbc
  • jdbc
  • 2016-02-24 05:12
  • 912

深度学习(DL)与卷积神经网络(CNN)学习笔记随笔-04-基于Python的LeNet之MLP

本文主要参考于:Multilayer Perceptron   python源代码(github下载  CSDN免费下载)  本文主要介绍含有单隐层的MLP的建模及实现。建议在阅读本博文之前,先看一...
  • niuwei22007
  • niuwei22007
  • 2015-10-06 10:17
  • 5925
    个人资料
    • 访问:165003次
    • 积分:2321
    • 等级:
    • 排名:第18637名
    • 原创:82篇
    • 转载:59篇
    • 译文:3篇
    • 评论:12条
    文章分类
    最新评论