机器学习 | 朴素贝叶斯法知识总结

zz/2024/5/23 2:29:06

机器学习 | 朴素贝叶斯法理论知识

贝叶斯决策论是概率框架下实施决策的基本方法。对分类任务来说,在所有相关概率都已知的理想情况下,贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。朴素贝叶斯法是基于贝叶斯原理与特征条件独立假设的分类方法。即:加上条件独立假设的贝叶斯方法就是朴素贝叶斯方法(Naive Bayes)。

首先基于特征条件独立假设学习输入/输出的联合概率分布;然后基于此模型,对给定的输入x,利用贝叶斯定理求出后验概率最大的输出y。 朴素贝叶斯法实现简单,学习与预测的效率都很高,是一种常用的方法。它的思想是:对于给出的待分类项,求解此项出现的条件下各个类别出现的概率,哪个最大,就认为此待分类项属于哪个类别。

朴素贝叶斯算法

(1) 设元组X=x1,x2,...,xn为一个待分类项,描述n个属性A1,A2,...An对元组的n个测量。

(2) 假定有m个类C1,C2,...,Cm。朴素贝叶斯分类法预测X属于类Ci,当且仅当P(Ci|X)≥P(Cj|X),1≤i,j≤m,i≠j 。

(3) 由于P(Ci|X)=P(X|Ci)P(Ci)P(X),而P(X)为常数,只需P(X|Ci)P(Ci)最大即可,同时P(Ci)可求,即P(Ci)=Si/S,其中Si为样本中属于类Ci的个数,而S为样本总数,又因为特征属性是条件独立的,所以有P(X|Ci)=∏k=1nP(Xk|Ci)。

(4) 找出使P(X|Ci)P(Ci)最大的Ci,则X属于类Ci。

根据以上的步骤我们来做一做例题:

给出如表所示的训练样本,目的是判定一个人是否会购买电脑。这个人的属性为X = (年龄 <= 30,收入 = 中等,学生 = 是,信用率 = 一般)。

例题

分类过程:

首先设置类别C1:购买电脑 = “是”,类别C2:购买电脑 = “否”,所以可以求得:

P(C1 )=P(购买电脑=“是”) =9/14=0.643

P(C2 )= P(购买电脑=“否”) =5/14=0.357

然后计算每个类别的P(X | Ci):

P(年龄=“<30”|购买电脑=“是”)=2/9=0.222

P (年龄=“<30”|购买电脑=“否” )=3/5=0.6

P (收入=“中等”|购买电脑=“是” )=4/9=0.444

P (收入=“中等”|购买电脑=“否” )=2/5=0.4

P (学生=“是”|购买电脑=“是” )=6/9=0.667

P (学生=“是”|购买电脑=“否” )=1/5=0.2

P (信用率=“一般”|购买电脑=“是” )=6/9=0.667

P (信用率=“一般”|购买电脑=“否” )=2/5=0.4

从而可以得到:

P(X|购买电脑=“是”)=0.222×0.444×0.667×0.667=0.044

P(X|购买电脑=“否”)=0.6×0.4×0.2×0.4=0.019

又已知P(Ci):

P(C1 )=P(购买电脑=“是”) =9/14=0.643

P(C2 )= P(购买电脑=“否”) =5/14=0.357

所以最终得到两个概率:

P(X|购买电脑=“是”)×P(购买电脑=“是”)=0.028

P(X|购买电脑=“否”)×P(购买电脑=“否”)=0.007

故取较大值,X处于类别C1,所以他会购买电脑。

更多的机器学习知识整理和代码时间可以访问以下公众号链接观看

机器学习 | 基本概念(一)http://bbit.vip/service/main.php?version=1&type=article&id=102

机器学习 | 基本概念(二)http://bbit.vip/service/main.php?version=1&type=article&id=103

机器学习 | 感知机理论知识(一)http://bbit.vip/service/main.php?version=1&type=article&id=106

机器学习 | 感知机理论知识(二)http://bbit.vip/service/main.php?version=1&type=article&id=107

机器学习 | 感知机实践 http://bbit.vip/service/main.php?version=1&type=article&id=105

机器学习 | k近邻法理论知识(一)http://bbit.vip/service/main.php?version=1&type=article&id=100

机器学习 | k近邻法理论知识(二)http://bbit.vip/service/main.php?version=1&type=article&id=101


http://www.ngui.cc/zz/2390173.html

相关文章

对比学习(Contrastive Learning)中的损失函数

文章目录写在前面一、Info Noise-contrastive estimation(Info NCE)1.1 描述1.2 实现二、HCL2.1 描述2.2 实现三、文字解释四、代码解释4.1 Info NCE4.2 HCL写在前面 最近在基于对比学习做实验&#xff0c;github有许多实现&#xff0c;虽然直接套用即可&#xff0c;但是细看之…

常见学习率衰减方式

学习率 学习率的作用 ​ 在机器学习中&#xff0c;监督式学习通过定义一个模型&#xff0c;并根据训练集上的数据估计最优参数。梯度下降法是一个广泛被用来最小化模型误差的参数优化算法。梯度下降法通过多次迭代&#xff0c;并在每一步中最小化成本函数&#xff08;cost 来…

i=i++深入解释

以下内容是在JAVA虚拟机中探究&#xff0c;学习C语言的小伙伴请自行绕开 一道基础的题目&#xff1a; int i0; ii; i?? 执行结果&#xff1a;0&#xff1b; why&#xff1f;&#xff1f;不应该是1吗?大脑中快速飞过计算步骤&#xff1a; i初始化位0&#xff0c;题目中是…

超简单!一部手机就能提取视频中的语音转换成文字

当我们工作中去整理一些视频资料时&#xff0c;有时候需要对视频中所讲的内容进行整理&#xff0c;这时候很多办公小白会采用传统的方法&#xff0c;就是需要一遍又一遍地看&#xff0c;并记录其中的内容。实际上我们可以提取视频中的语言&#xff0c;将相应的语音内容转换成文…

教你如何将语音转换成文字

语音识别是一种将人的语音转换为文本的的技术。语音识别可以直接把你说的话直接转换成文字&#xff0c; 使用起来也比较方便&#xff0c;不用动手&#xff0c;就可以输入你想要的文字。下面小编就来教大家如何将语音转换成文字。 工具&#xff1a;迅捷PDF阅读器 操作方法&#…

想把语音转成文字,就这样做

将语音转成文字的方法很多&#xff0c;如果你不怕麻烦你可以边听语音边敲文字&#xff0c;就是比较费时间。当我们想转化的语音时间比较长的时候往往是行不通的&#xff0c;那比较快速、省力的方法就是使用软件进行转写。给你推荐2个比较好用的转写软件。 一&#xff1a;滴答转…

语音识别技术,将语音转换成文字

现在越来越多的同学都不想打字&#xff0c;而是用语音来代替文字的输入&#xff0c;现在随着语音识别 技术的越来越成熟&#xff0c;完全可以应用到我们的日常生活里了。其实这项技术也可以应用 到工作上&#xff0c;比如利用语音来写文档&#xff0c;方便快捷。那么我们怎么实…

实用系列1 —— 视频中的语音转换成文字

实用系列1 —— 视频中的语音转换成文字python版本 背景说明 疫情原因&#xff0c;家里的老师亲戚需要对着电脑上网课&#xff0c;晋升为十八线小主播&#xff5e; 备课的内容来源都是当地教育局的公开课&#xff0c;为了学习公开课的上课方法&#xff0c;只能自己慢速播放视…

某优job

目标url : aHR0cHM6Ly93d3cuNTFqb2IuY29tLw 抓取相关数据 通过对源代码的查看&#xff0c;可以很明确的知道&#xff0c;这些数据是同步加载的。 抓包分析&#xff1a; payload不变&#xff0c;由此可以确定url和发送的params 确定headers需要的字段 凭经验和实际测试可得…

手写代码(笔试面试真题)

★★★ 手写代码&#xff1a;实现forEach map filter reduce ★★★ 手写实现一个简易的 Vue Reactive ★★★ 手写代码&#xff0c;监测数组变化&#xff0c;并返回数组长度 ★★★ 手写原生继承&#xff0c;并说出局限性&#xff1f; ★★★★ 手写一个柯里化函数 ★★★…