神经网络的理解(MLP RBF RBM DBN DBM CNN 整理学习)

标签: 神经网络
5230人阅读 评论(0) 收藏 举报
分类:

开篇语


文章整理自向世明老师的PPT,围绕神经网络发展历史,前馈网络(单层感知器,多层感知器,径向基函数网络RBF),反馈网络(Hopfield网络,联想存储网络,SOM,Boltzman及受限的玻尔兹曼机RBM,DBN,CNN)三部分进行讲述,给人一个神经网络的整体认识。

发展历史


单层感知器


基本模型如下

训练

如果激励函数是线性的话,可用最小二乘直接计算:

如果激励函数是sifmoid function,可迭代更新(一次性或者逐样本更新):

上式只做了简单的求导展开,很容易推导:

多层感知器


基本模型如下

举例(含有一个隐含层的多层感知器MLP)

模式:

y=h(v)=h(h(u))y=h(v)=h(h(u))

求解:

然后分别对两个层的权值求导:

然后更新即可,反向传播(BP)

经验

优缺点

RBF神经网络


模型

求解

优点和视角

深度学习简介


前向神经网络

发展历程

整体一览

一些值得关注

学术

工业

Belief Network & Hopfield Network & Boltzman机 & RBM 结构一瞥


Belief Network

Hopfield Network

Boltzman机

RBM 受限的玻尔兹曼机

RBM


模型

利用上图中公式,可以得到

求解 CD算法

DBN


模型

训练

面向特征提取

面向分类

DBM


模型

CNN


模型

训练

参考文献


查看评论

表格排序技巧

表格排序的方法function Table (tBody, tHead) { this.tBody = tBody; this.tHead = tHead.constructor == A...
  • net_lover
  • net_lover
  • 2001-07-04 16:27:00
  • 2631

RBF神经网络简单介绍与MATLAB实现

RBF的直观介绍 RBF是一种两层的网络 RBF的隐层是一种非线性的映射 RBF输出层是线性的 RBF的基本思想是将数据转化到高维空间使其在高维空间线性可分 RBF学习算法 Lazy RBF MATL...
  • weiwei9363
  • weiwei9363
  • 2017-05-30 09:10:02
  • 12197

RBF神经网络

本文摘自:《模式识别与智能计算——matlab技术实现第三版》与《matlab神经网络43个案例分析》 【注】蓝色字体为自己的理解部分      径向基函数神经网络的优点:逼近能力,分类能...
  • ecnu18918079120
  • ecnu18918079120
  • 2016-11-27 16:53:11
  • 21376

RBF神经网络的matlab简单实现

RBF神经网络的介绍:点击打开链接 实验数据集 点击打开链接 代码 clear all clc %清除命令窗口 load Data-Ass2; d=data'; %求转置 da...
  • xiaoshengforever
  • xiaoshengforever
  • 2013-12-28 15:55:17
  • 27105

机器学习之径向基神经网络(RBF NN)

本文基于台大机器学习技法系列课程进行的笔记总结。 主要内容如下图所示: 首先介绍一下径向基函数网络的Hypothesis和网络的结构,然后介绍径向基神经网络学习算法,以及利用K-means进行的学...
  • LG1259156776
  • LG1259156776
  • 2015-07-17 00:47:05
  • 19228

RBM(受限波尔兹曼机)和 DBN(深信度神经网络)

原文地址:/hanzihan123/article/details/23707143 版主不让转啊,不过太好啦,不转怕找不到啦! 前言:Deep Lear...
  • yewei11
  • yewei11
  • 2015-12-08 19:39:49
  • 2965

Deep Learning 系列(1):RBM(受限波尔兹曼机)和 DBN(深信度神经网络)

前言:Deep Learning 是近几年来最火的
  • hanzihan123
  • hanzihan123
  • 2014-04-14 21:55:09
  • 7550

深度学习方法:受限玻尔兹曼机RBM(二)网络模型

欢迎转载,转载请注明:本文出自Bin的专栏blog.csdn.net/xbinworld。 技术交流QQ群:433250724,欢迎对算法、技术、应用感兴趣的同学加入。上解上一篇RBM(一)基本概...
  • xbinworld
  • xbinworld
  • 2015-04-22 00:20:57
  • 9538

机器学习之RBM(Restricted Boltzmann Machines,受限玻尔兹曼机)

本人最近在学习DBN(Deep Belief Net,深度信念网络),通过学习才知道有RBM这个东西。因为我所要用到的DBN是有RBM通过累加堆叠组成的,要学习DBN就要弄明白RBM的原理。我就在此说...
  • u014487025
  • u014487025
  • 2016-06-20 17:39:31
  • 3828

径向基网络(RBF network)之BP监督训练

径向基网络(RBF network)之BP监督训练zouxy09@qq.com/zouxy09          之前看了流行学习的时候,感觉它很神奇,可以将一...
  • zouxy09
  • zouxy09
  • 2013-10-28 18:17:24
  • 64862
    个人资料
    持之以恒
    等级:
    访问量: 23万+
    积分: 2915
    排名: 1万+
    最新评论