神经网络之父Hinton介绍及其论文介绍

zz/2024/5/23 1:34:08

1简介

杰弗里·埃弗里斯特·辛顿(Geoffrey Everest Hinton),计算机学家、心理学家,被称为“神经网络之父”、“深度学习鼻祖”。他研究了使用神经网络进行机器学习、记忆、感知和符号处理的方法,并在这些领域发表了超过200篇论文。他是将(Backpropagation)反向传播算法引入多层神经网络训练的学者之一,他还联合发明了波尔兹曼机(Boltzmann machine)。他对于神经网络的其它贡献包括:分布特征(distributed representation)、时延神经网络、专家混合系统(mixtures of experts)、亥姆霍兹机(Helmholtz machines)等。

2 论文

2.1 玻尔兹曼机

1985年Hinton等人写的《A learning algorithm for Boltzmann machines》,即玻尔兹曼机的学习算法。玻尔兹曼机是第一个能够学习不属于输入或输出的神经元内部表征的神经网络。

热量均衡下,系统在任一全局状态的概率服从玻尔兹曼分布。玻尔兹曼分布有非常好的数据特性,它与信息理论密切相关。特别地,两个全局状态的log 概率的微分在温度1下刚好等于它们能量的微分。这样容易求偏导数,容易采用梯度下降算法

文中提出模型4-2-4 Encoder,第一个4表示4个可见单元,可以代表输入,2是隐藏单元,最后一个4代表可见单元,可以代表输出。

参考下面文章:

1.1985年 玻尔兹曼机的学习算法–Hinton论文系列《A learning algorithm for Boltzmann machines》
https://blog.csdn.net/zephyr_wang/article/details/120391250
2.2010年Hinton写的《A practical guide to training Restricted Boltzmann Machines》。RBMs(Restricted Boltzmann Machines)的最重要的使用是作为形成深度信念网络的构成模块。RBMs通常采用对比散度(contrastive divergence)的学习过程进行训练
https://blog.csdn.net/zephyr_wang/article/details/120498709

2.2 反向传播

反向传播由下面这些人分别独立发现:(Bryson and Ho, 1975; Werbos, 1974; Parker, 1985; LeCun, 1985; Rumelhart et al., 1986)。反向传播是第一个有效的学习神经网络的方法,神经网络可以拥有一个或多个自适应隐藏单元层。

1986年Hinton等人写的《Learning representations by back-propagating errors》。输入与输出之间隐藏单元的引入,使得计算复杂,采用反向传播。

深度学习的开篇:2006年. G.E. Hinton 和R. R. Salakhutdinov的《Reducing the dimensionality of data with neural networks》
只从1980年代开始,通过深度autoencoder的反向传播(backpropagation)是处理非线性维度下降的一个非常有效分方法,但需要满足3个条件(1)计算机速度足够快;(2)数据集足够大;(3)初始权重有一个好的办法。而现在刚好就满足这三个条件了。
该文提出的模型:(1)第一步预训练,迭代训练很多RBMs,即训练完一个RBM后,将其学到的特征用于训练下一个RBM;(2)接着是Unroll(展开),构成一个深度autoencoder;(3)最后使用反向传播fine-tuning。

参考下面文章:

  1. 1986年,反向传播-Hinton论文系列《Learning representations by back-propagating errors》https://blog.csdn.net/zephyr_wang/article/details/120190585
  2. Hinton论文系列-Reducing the dimensionality of data with neural networks,2006年。https://blog.csdn.net/zephyr_wang/article/details/119878836

2.3 wake-sleep算法

wake-sleep算法,该算法有两个通路,一个是从下到上的识别连接,一个是从上到下的生成连接.

参考下面文章:
wake-sleep算法-Hinton论文系列《To Recognize Shapes, First Learn to Generate Images》2006年
https://blog.csdn.net/zephyr_wang/article/details/120157174

2.4 deep belief nets

2006年Hinton等人写的《A fast learning algorithm for deep belief nets》显示了是有可能学习一个深度、紧密相连的信念网络,一次学习一层。进行如此学习方式的一种是假定当学习低层时,较高的层不存在;但这与简单的因子化相似(替换难处理的后验分布)不相容。为了使这些相似起作用,我们需要真的后验尽可能逼近因子化。所以不是忽略较高层,而是假定他们存在,只是有捆绑的权重,他们满足互补先验分布(Complementary Prior),以使真后验分布可以因子化。这就相当于拥有了一个无向模型,可以使用对比散度(contrastive divergence)有效的学习。

参考下面文章:
Hinton 论文系列《A fast learning algorithm for deep belief nets》2006年
https://blog.csdn.net/zephyr_wang/article/details/120007607

2.5 其他模型

  1. AlexNet .是2012年ImageNet竞赛冠军获得者Hinton和他的学生Alex Krizhevsky设计的。也是在那年之后,更多的更深的神经网络被提出,比如优秀的vgg,GoogLeNet。AlexNet中包含了几个比较新的技术点,也首次在CNN中成功应用了ReLU、Dropout和LRN等Trick。

  2. 胶囊网络CapsNet,2017年
    https://blog.csdn.net/zephyr_wang/article/details/118863203
    现在卷积网络在物体识别领域占据了主导地位,其是否也存在指数性无效率。卷积网络不能很好的处理仿射变换,比如我们可能需要指数级的增加训练样本。
    而本文说的胶囊网络(capsule)可以避免指数性无效率,其将像素强度转换成识别片段的实例参数的向量,然后应用转换矩阵来预测更大片段的实例化参数。转换矩阵是学习部分和整体间的内在关系。


http://www.ngui.cc/zz/1998983.html

相关文章

2022茶艺师(中级)复训题库及模拟考试

题库来源:安全生产模拟考试一点通公众号小程序 2022茶艺师(中级)题库为茶艺师(中级)考试真题仿真模拟预测!2022茶艺师(中级)复训题库及模拟考试依据茶艺师(中级&#xf…

PVC石笼网的结构特性

它是一种生态格网结构。石笼网由高抗腐蚀、高强度、具有延展性的低碳钢丝或者包覆PVC的以上钢丝使用机械编织而成,使用该网制作而成的箱型结构就是石笼。石笼网箱原材料为PVC涂塑石笼网,过硬的技术基础,以确保均匀的涂层厚度,耐腐…

欧隆六角网系列也可以当做牧场防护网来使用

安平县欧隆丝网制品有限公司生产的石笼网,格宾网,六角网,护栏网,重型六角网都可以用于牧场防护网,http://www.oulongshilongwang.com/product/38482.html牧场防护网的特点: 全自动机械制作特点:…

格宾网与石笼网一样吗

有人说格宾网和石笼网不太一样,格宾网5拧的多一般孔小丝径细,石笼网3拧的多一般孔大丝径粗。 还有人说格宾网和拧花网一样,石笼网孔大是重型格宾网。带着疑问我们来到了安平县欧隆丝网制品有限公司,也就是安平县欧隆格宾网厂,石笼…

jPlayer常用的方法

//播放 $("#jpId").jPlayer("play"); //暂停 $("#jpId").jPlayer("pause"); //停止 $("#jpId").jPlayer("stop"); //设置进度相关 //1.按歌曲时长百分比 $("#jpId").jPlayer("playHead", 0);…

播放器JPlayer的使用及遇到的问题

原文地址:http://blog.csdn.net/z69183787/article/details/8178656?_t_t_t0.5149982699228508 jPlayer是一个用于控制和播放mp3文件的jQuery插件。它在后台使用Flash来播放mp3文件,前台播放器外观完全可以使用XHML/CSS自定义。支持: 有一点…

JQuery 开源播放器 JPlayer

最近在一网盘项目里烦恼着播放器的问题,经过千辛万苦终于找到一个合适的了,一个Open Source的JS播放器,可以适应多浏览器,太兴奋了,急于与大家分享一下: 地址:http://www.happyworm.com/jquery/…

基于jQuery的网页影音播放器jPlayer的基本使用教程

jPlayer简介: 想在网页上播放背景音乐,不想用html标签的方式,因为那样只有音乐全部下载完以后才能播放,还容易出现跨浏览器兼容性的问题,于是选了一款基于jQuery的播放器jPlayer来做。 设置jPlayer的尺寸大小 使用构…

jPlayer插件使用踩过的坑

业务需要,对于好几年前的老项目进行二次开发。项目的主要技术使用jqueryrequire.js。 最近需要做一个可以在系统中播放录音的需求,使用了兼容ie8的jPlayer插件。 这个插件已经有很长的历史了,最新一次的版本是2015年的。。。。。 没办法还得硬…

Jplayer小样

最近应公司要求需要一个MP3播放的插件,网上找了很多插件,看来看去还是jPlayer用着最舒服也最容易扩展。所以就找了个资料研究了下,简单做了个小DEMO。支持实时控制列表,常见的播放器功能。 jPlayer中可扩展的强大功能很多&#xf…