归一化,标准化,正则化的概念和区别

el/2024/4/19 23:01:26

归一化(Normalization)

        1.把数据变为(0,1)之间的小数。主要是为了方便数据处理,因为将数据映射到0~1范围之内,可以使处理过程更加便捷、快速。

        2.把有量纲表达式变换为无量纲表达式,成为纯量。经过归一化处理的数据,处于同一数量级,可以消除指标之间的量纲和量纲单位的影响,提高不同数据指标之间的可比性。

        主要算法:

        1.线性转换,即min-max归一化(常用方法)

        y=(x-min)/(max-min)

        2. 对数函数转换

        y=log10(x)

        3.反余切函数转换

        y=atan(x)*2/PI

 

        标准化(Standardization)

        数据的标准化是将数据按比例缩放,使之落入一个小的特定区间。

        主要方法:

        1.z-score标准化,即零-均值标准化(常用方法)

        y=(x-μ)/σ

        是一种统计的处理,基于正态分布的假设,将数据变换为均值为0、标准差为1的标准正态分布。但即使数据不服从正态分布,也可以用此法。特别适用于数据的最大值和最小值未知,或存在孤立点。

        2.小数定标标准化

        y=x/10^j  (j确保max(|y|)<1)

        通过移动x的小数位置进行标准化

        3.对数Logistic模式

        y=1/(1+e^(-x))

 

        正则化(Regularization)

        用一组与原不适定问题相“邻近”的适定问题的解,去逼近原问题的解,这种方法称为正则化方法。如何建立有效的正则化方法是反问题领域中不适定问题研究的重要内容。通常的正则化方法有基于变分原理的Tikhonov 正则化、各种迭代方法以及其它的一些改进方法。

 

        总的来说,归一化是为了消除不同数据之间的量纲,方便数据比较和共同处理,比如在神经网络中,归一化可以加快训练网络的收敛性;标准化是为了方便数据的下一步处理,而进行的数据缩放等变换,并不是为了方便与其他数据一同处理或比较,比如数据经过零-均值标准化后,更利于使用标准正态分布的性质,进行处理;正则化而是利用先验知识,在处理过程中引入正则化因子(regulator),增加引导约束的作用,比如在逻辑回归中使用正则化,可有效降低过拟合的现象。


http://www.ngui.cc/el/5179162.html

相关文章

dropout的用法

dropout的作用是增加网络的泛化能力&#xff0c;可以用在卷积层和全连接层。但是在卷积层一般不用dropout, dropout是用来防止过拟合的过多参数才会容易过拟合, 所以卷积层没必要, 但是是可以用的&#xff0c;要小心翼翼

LRN局部相应归一化

本笔记记录学习 LRN(Local Response Normalization&#xff09;&#xff0c;若有错误&#xff0c;欢迎批评指正&#xff0c;学习交流。 1.侧抑制&#xff08;lateral inhibition&#xff09; 2.计算公式 Hinton在2012年的Alexnet网络中给出其具体的计算公式如下&#xff1a; …

简要介绍一下目标检测的网络,r-cnn, spp-net, fast-rcnn, faster-rcnn

简要介绍一下目标检测的网络 &#xff08;1&#xff09;R-CNN的原理&#xff1a;先用框把物体找出来&#xff0c;然后将找出来的框放入CNN中进行分类&#xff0c;这就是RCNN的简单原理。 &#xff08;2&#xff09;SPP-net&#xff1a;直接输入整张图片&#xff0c;所有区域…

概率分布中的cdf,pdf, pmf

一 概念解释二 数学表示三概念分析四分布函数的意义五参考文献 一. 概念解释 PDF&#xff1a;概率密度函数&#xff08;probability density function&#xff09;, 在数学中&#xff0c;连续型随机变量的概率密度函数&#xff08;在不至于混淆时可以简称为密度函数&#xff0…

[Latex] 所有字体embedded: Type3 PDF文档处理 / True Type转换为Type 1 目录: [正文] Type3转TRUE Type/Type 1 [Appendi

目录&#xff1a; [正文] Type3转TRUE Type/Type 1 [Appendix] TRUE Type转Type 1 &#xff08;并embedded&#xff09; 准备提交给ACM与IEEE的论文时&#xff0c;我们手头的文档除了有明确具体字体类型的Type1和TrueType字体外&#xff0c;还经常会出现Type3字体&#xf…

贝叶斯分析

1 先来说一下贝叶斯统计与经典统计的不同之处: 简单说,频率派认为估计对象(参数)是一个未知的固定值。而贝叶斯却认为未知的参数都是随机变量。 我曾经见到这么个不错的例子:我们要通过一些事实估计“爱因斯坦在1905年12月25日晚上八点吸烟”的真假。定义参数:,吸烟;,…

数据科学必备的分布

正态分布 正态分布代表了宇宙中大多数情况的运转状态&#xff0c;大量的随机变量被证明是正态分布的。 若随机变量X服从一个数学期望为u, 方差为σ^2的正态分布&#xff0c;记为N(μ&#xff0c;σ^2)。其概率密度函数为正态分布的期望值μ决定了其位置&#xff0c;其标准差σ…

tensorflow保存模型文件分析

tensorflow模型保存函数为: tf.train.Saver() 例如下列代码: import tensorflow as tf ​ v1 tf.Variable(tf.random_normal([784, 200], stddev0.35), name"v1") v2 tf.Variable(tf.zeros([200]), name"v2") v3 tf.Variable(tf.zeros([100]), name&quo…

目标检测之YoloV1论文及tensorflow实现

You Only Look Once: Unified, Real-Time Object Detection Abstract 作者提出了一种新的物体检测方法YOLO。YOLO之前的物体检测方法主要是通过region proposal产生大量的可能包含待检测物体的 potential bounding box,再用分类器去判断每个 bounding box里是否包含有物体,…

迁移学习总结(One Shot Learning, Zero Shot Learning)

转自&#xff1a; https://blog.csdn.net/XJTU_NOC_Wei/article/details/77850221 目录 目录迁移学习 综述Source Data 与Target Data 都有标签 Fine-tuningMultitask LearningSource Data 有标签Target Data 没有标签 Domain-adversarial trainingZero-shot Learning Source D…