先验概率、后验概率、极大似然估计

zz/2024/3/2 12:33:52

先验概率

      先验概率(prior probability)是指根据以往经验和分析得到的概率。例如投硬币事件,我们在执行这个事件之前就已经了解其符合二项分布,然后直接根据二项分布分析出的概率被称作是先验概率。它往往作为"由因求果"问题中的"因"出现的概率。

      在贝叶斯统计推断中,不确定数量的先验概率分布是在考虑一些因素之前表达对这一数量的置信程度的概率分布。例如,先验概率分布可能代表在将来的选举中投票给特定政治家的选民相对比例的概率分布。未知的数量可以是模型的参数或者是潜在变量。

 后验概率

      后验概率是指在得到“结果”的信息后重新修正的概率,是“执果寻因”问题中的"果"。是在相关证据或者背景给定并纳入考虑之后的条件概率。

      后验概率是关于参数 θ 在给定的证据信息 X 下的概率: p(θ|x) 。

 

举例说明先验概率与后验概率

假设我们出门堵车的可能因素有两个(就是假设而已,别当真):车辆太多和交通事故。

  • 依照先前经验得到的堵车的概率就是先验概率 。
  • 如果我们已经出了门,然后遇到了堵车,那么我们想算一下堵车时由交通事故引起的概率有多大,那这个就叫做后验概率 (也是条件概率,但是通常习惯这么说) 。也就是P(交通事故|堵车)。这是有果求因。

 

先验概率与后验概率的联系与区别

  • 先验概率与后验概率有不可分割的联系,后验概率的计算要以先验概率为基础
  • 事情还没有发生,要求这件事情发生的可能性的大小,是先验概率。事情已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小,是后验概率。

 

极大似然估计

假设有一枚硬币,我们想确定这枚硬币是否质地均匀。即想知道抛这枚硬币,正反面出现的概率各是多少?于是我们将这枚硬币抛了10次,得到的数据x0是:反正正正正反正正正反。我们想求的正面概率θ是模型参数,而抛硬币模型可以假设服从二项分布。

那么,出现实验结果x0(反正正正正反正正正反)的似然函数是多少呢? 

而极大似然估计,顾名思义,就是要最大化这个函数。

我们可以画出f(θ)的图像:

                                   

从图像中可以观察到,θ=0.7时,函数取值最大。也就是说,我们通过最大化似然函数后,得到了模型参数的值,相应的,正反面出现的概率也就求出了。  

极大似然估计需要保证所有的采样都是独立同分布的。

 

首先要明确的是极大似然估计最大似然估计(Maximum likelihood estimation,MLE)是相同的概念,不同的说法。

其次:

对于极大似然估计或者最大似然估计来说,都是指的是参数的一种估计方法。对上面这例子来讲,一般都称作是极大似然概率,因为它求的是函数的一个极大值作为参数。但是有的时候极大值与最大值是同一个值,所以我们有时候也称之为是最大似然估计。

另外一种说法就是:

极大值似然估计,它是对是无穷多个,可选择的范围里面选择一个最大的或者是极大的值。类似于上述的例子它是在取值范围里面去选择,令这个函数取值最大的或者是最极大的,而在给定的区间范围内有无穷多个点来求极大值,所以称作极大值似然估计。

最大似然估计,它是有限多个可能的选择里面选择其中的一个最大的或者是极大的值。下面举个例子来解释这种说法。

      我们举个栗子解释最大似然估计

      假设头痛是由比如感冒,中风,脑溢血...等等原因引起的。那么医生是如何判断病人的感冒是由哪一种原因引起的呢?

其实医生在大脑中计算了:

P(感冒|头痛)(头痛由感冒引起的概率,下面类似)

P(中风|头痛)

P(脑溢血|头痛)

...

然后得出哪一种情况概率是最大的,就判断是由其引起的头痛。这个就叫最大似然估计(Maximum likelihood estimation,MLE) 。

 

最大后验概率  

与极大似然估计相比,使用最大后验概率估计θ时,首先认为θ本身存在一个分布,即θ有先验分布。还是以判断一枚硬币是否质地均匀为例。假设正面概率θ满足均值为0.5,方差为1的先验分布,即:

                                                                              

那么,将这枚硬币抛了10次,得到的数据x0是:反正正正正反正正正反。

因为考虑了先验分布,所以实验结果x0的函数可以表示为:

                                       

                                           

因此,我们可以通过最大化这个后验概率函数求得θ,我们可以画出f(θ)的图像:

                                        

计算得到θ = 0.696。也就是说,采用最大后验概率计算得到硬币正面朝上的概率为0.696。

 

最大后验概率函数一般构造:

                                 

 对于f(x|θ),实际上类似于在最大似然估计里面那个似然函数;而g(θ),它则是θ的先验分布。通常情况下,我们可以把它看成一个连续型随机变量,那样的话,它的先验分布就是一个密度函数。

 

似然与概率的区别

  • 概率: 如果我有一枚质地均匀的硬币,那么它出现正面朝上的概率是0.5。
  • 似然: 如果我抛一枚硬币100次,正面朝上52次,那么它十有八九是质地均匀的。

实际上,似然几乎可以等价于置信度。

 


http://www.ngui.cc/zz/2641758.html

相关文章

Python 网页爬虫

import re #匹配的库 import requests headers {Cookie:UM_distinctid16828a999356ee-01dbffc4bd71a8-33504275-144000-16828a99936840; CNZZDATA12553571271573548009-1546867979-%7C1546921578,Host:m.网站名称.com,User-Agent:Mozilla/5.0 (Windows NT 10.0; WOW64) Apple…

将文件数据读入结构体

将文件数据读入结构体 #include <stdio.h> #include <string.h> #include <stdlib.h> struct infostu {char no[20]; //学号 char name[20]; char sex[4];int age;char major[20]; //专业班级 }; int main() {int i0,j;struct infostu student[5…

CNN——卷积、池化与误差反向传播

卷积神经网络&#xff08;CNN&#xff09; 组成&#xff1a;输入层、卷积层、激活函数、池化层、全连接层 卷积神经网络中重要概念就&#xff1a; 深度&#xff1a;深度大小就等于所用的filter的个数[卷积层]&#xff0c;也可以理解为提取的层数。 权值共享&#xff1a;给一张…

iOS H5交互 -MUI

最近公司要求以后的项目要用iOS原生框架和h5页面结合完成,发现网上这方面的资料好少(js交互的资料是挺多的&#xff0c;我的h5页面是用MUI完成的&#xff0c;这方面的资料真的好少) 把我最近的进度做个总结 去MUI官网下载SDK 点击这里查看官方文档&#xff0c;下载SDK 下图是SD…

Hibernate配置异常

Orders和OrderItem配置 错误如图&#xff1a; 找了很久&#xff0c;才发现是因为和数据库对应的字段不同。 实体类&#xff1a; orders OrderItem xxx.hbm.xml 由于数据库对应的字段不存在itemid&#xff0c;所以图片上蓝色这一段代码应不要 数据库表格&#xff1a;

ssh+filter+cookie实现自动登陆

在ssh中&#xff0c;filter的web.xml没有正确配置的话&#xff0c;就会出现空指针异常&#xff0c;因为他执行的时候没有去找bean。也就是说filter和spring没有结合起来 实现用户自动登陆就是把用户信息保存在cookie里&#xff0c;当用户第二次访问的时候无需登陆。 实现自动…

hql语句中使用占位符:xx 的时候,查询所有查询查不出来

在hql语中&#xff0c;我们可以使用&#xff1f;也可以使用占位符&#xff1a;xx&#xff0c; 其中&#xff1f;可以使用query.setParameter(0,"%%"); 但是占位符使用query.setParameter("xx","%%")&#xff1b;的时候查询不出来所有的记录&am…

计算时间,指定时间的多少个月后

/*计算时间日期 */ function DateAdd(interval,number,date) { switch(interval){ case "m" : { if(date.getMonth()number>12){ date.setMonth(date.getMonth()number-12); date.s…

如何在js中判断是否包含某个字符串

var vkind$("#vkind").val(); var flag1vkind.indexOf("次卡"); //如果flag1不为-1的话&#xff0c;说明指定字符串中包含“次卡”两个字&#xff0c; if(-1!flag1){ //次卡 $("#ubksj").val(""); $("…

SSH阶段常见的异常系列(15条)

异常一 异常一 异常描述: Sax解析异常&#xff1a;cvc-复杂的类型&#xff0c;发现了以元素maping开头的无效内容&#xff0c;应该是以 ‘{“http://www.hibernate.org/xsd/orm/cfg“:property, “http://www.hibernate.org/xsd/orm/cfg“:mapping, “http://www.hibernate.o…