Hinton 2006 science 文章 RBM 预训练 AutoEncoder

zz/2024/5/21 21:20:29

Reducing the Dimensionality of Data with Neural Networks, Hinton et al., 2006, science.

摘要 作者提出用 auto encoder 实现降维, 性能远超 pca. 作者同时发现 deep auto encoder network 非常依赖 effective initialization.

背景 AutoEncoder 基本理论 (高维-低微-高维, 重构输入), AutoEncoder 不易用梯度训练, 需要较好的预训练做为初始化.

RBM 二值两层神经网络, 最小化能量函数 (最大化联合概率).

逐层 RBM activation 预训练

datahiddenvisibleactivation
original binarybinarybinarystochastic
continuousbinarygaussianlogistic

前一次的 hidden 激活之后作为下一层的 visible.

预训练必要性

未经预训练, deep auto encoder network 倾向于学到训练数据的平均值, shallow auto encoder network 需要更长的训练时间.

MNIST 上, SVM 错误率 1.4%, 随机初始化前馈全连接神经网络错误率 1.6%, 预训练前馈全连接神经网络错误率 1.2%, 预训练有助于泛化. 标签信息仅用作微调.

数据集

2 维平面上 3 点之间二次曲线段 (图像)

内在维度 6 (二次曲线贡献 3 个内在维度, 坐标系旋转贡献 1 个内在维度, 起始位置贡献 2 个内在维度)
(恰好等于用于生成样例的信息的维度, 3 个点的 2 维坐标)

像素取值 [0,1], 严重偏离高斯分布, 因此采用交叉熵损失.

−∑p∈pixelplog⁡p^−∑p∈pixel(1−p)log⁡(1−p^)- \sum_{p \in \mathrm{pixel}} p \log \hat{p} - \sum_{p \in \mathrm{pixel}} (1-p) \log (1-\hat{p}) ppixelplogp^ppixel(1p)log(1p^)


http://www.ngui.cc/zz/1998988.html

相关文章

Geoffrey Hinton:我的五十年深度学习生涯与研究心法

来源|The Robot Brains Podcast 翻译|沈佳丽、程浩源、许菡如、胡燕君、贾川 他从未正式上过计算机课程,本科在剑桥大学读的是生理学和物理学,期间曾转向哲学,但最终拿到的却是心理学方向的学士学位;他曾因…

Hinton2022年RobotBrains访谈记录

目录Part1:睡眠与学习Part2:在有噪声的标签下学习Nips2018:Co-teachingCVPR2020:Noisy student学生的表现会超越老师?补充内容:PU Learning整体访谈内容很多,本篇记录了两个有哲学意义的方面&am…

Geoffrey Hinton

The notes for interviewing Geoffrey Hinton, the godfather for deep learning, by Andrew Ng. You can definitely see many advanced techniques in deep learning and some good advice for how to start with your deep leraning! ———————————————— Res…

【转载】Hinton“深度学习之父”和“神经网络先驱”,新论文Capsule

Hinton“深度学习之父”和“神经网络先驱”,新论文Capsule将推翻自己积累了30年的学术成果时 Hinton“深度学习之父”和“神经网络先驱”,新论文Capsule将推翻自己积累了30年的学术成果时 在论文中,Capsule被Hinton大神定义为这样一组神经元…

神经网络之父Hinton介绍及其论文介绍

1简介 杰弗里埃弗里斯特辛顿(Geoffrey Everest Hinton),计算机学家、心理学家,被称为“神经网络之父”、“深度学习鼻祖”。他研究了使用神经网络进行机器学习、记忆、感知和符号处理的方法,并在这些领域发表了超过20…

2022茶艺师(中级)复训题库及模拟考试

题库来源:安全生产模拟考试一点通公众号小程序 2022茶艺师(中级)题库为茶艺师(中级)考试真题仿真模拟预测!2022茶艺师(中级)复训题库及模拟考试依据茶艺师(中级&#xf…

PVC石笼网的结构特性

它是一种生态格网结构。石笼网由高抗腐蚀、高强度、具有延展性的低碳钢丝或者包覆PVC的以上钢丝使用机械编织而成,使用该网制作而成的箱型结构就是石笼。石笼网箱原材料为PVC涂塑石笼网,过硬的技术基础,以确保均匀的涂层厚度,耐腐…

欧隆六角网系列也可以当做牧场防护网来使用

安平县欧隆丝网制品有限公司生产的石笼网,格宾网,六角网,护栏网,重型六角网都可以用于牧场防护网,http://www.oulongshilongwang.com/product/38482.html牧场防护网的特点: 全自动机械制作特点:…

格宾网与石笼网一样吗

有人说格宾网和石笼网不太一样,格宾网5拧的多一般孔小丝径细,石笼网3拧的多一般孔大丝径粗。 还有人说格宾网和拧花网一样,石笼网孔大是重型格宾网。带着疑问我们来到了安平县欧隆丝网制品有限公司,也就是安平县欧隆格宾网厂,石笼…

jPlayer常用的方法

//播放 $("#jpId").jPlayer("play"); //暂停 $("#jpId").jPlayer("pause"); //停止 $("#jpId").jPlayer("stop"); //设置进度相关 //1.按歌曲时长百分比 $("#jpId").jPlayer("playHead", 0);…