第4章 基于概率论的分类方法:朴素贝叶斯

zz/2024/6/13 22:59:37

朴素贝叶斯 概述

贝叶斯分类是一类分类算法的总称,这类算法均以贝叶斯定理为基础,故统称为贝叶斯分类。本章首先介绍贝叶斯分类算法的基础——贝叶斯定理。最后,我们通过实例来讨论贝叶斯分类的中最简单的一种: 朴素贝叶斯分类。

贝叶斯理论 & 条件概率

贝叶斯理论

我们现在有一个数据集,它由两类数据组成,数据分布如下图所示:

朴素贝叶斯示例数据分布

我们现在用 p1(x,y) 表示数据点 (x,y) 属于类别 1(图中用圆点表示的类别)的概率,用 p2(x,y) 表示数据点 (x,y) 属于类别 2(图中三角形表示的类别)的概率,那么对于一个新数据点 (x,y),可以用下面的规则来判断它的类别:

  • 如果 p1(x,y) > p2(x,y) ,那么类别为1
  • 如果 p2(x,y) > p1(x,y) ,那么类别为2

也就是说,我们会选择高概率对应的类别。这就是贝叶斯决策理论的核心思想,即选择具有最高概率的决策。

条件概率

如果你对 p(x,y|c1) 符号很熟悉,那么可以跳过本小节。

有一个装了 7 块石头的罐子,其中 3 块是白色的,4 块是黑色的。如果从罐子中随机取出一块石头,那么是白色石头的可能性是多少?由于取石头有 7 种可能,其中 3 种为白色,所以取出白色石头的概率为 3/7 。那么取到黑色石头的概率又是多少呢?很显然,是 4/7 。我们使用 P(white) 来表示取到白色石头的概率,其概率值可以通过白色石头数目除以总的石头数目来得到。

包含 7 块石头的集合

如果这 7 块石头如下图所示,放在两个桶中,那么上述概率应该如何计算?

7块石头放入两个桶中

计算 P(white) 或者 P(black) ,如果事先我们知道石头所在桶的信息是会改变结果的。这就是所谓的条件概率(conditional probablity)。假定计算的是从 B 桶取到白色石头的概率,这个概率可以记作 P(white|bucketB) ,我们称之为“在已知石头出自 B 桶的条件下,取出白色石头的概率”。很容易得到,P(white|bucketA) 值为 2/4 ,P(white|bucketB) 的值为 1/3 。

条件概率的计算公式如下:

P(white|bucketB) = P(white and bucketB) / P(bucketB)

首先,我们用 B 桶中白色石头的个数除以两个桶中总的石头数,得到 P(white and bucketB) = 1/7 .其次,由于 B 桶中有 3 块石头,而总石头数为 7 ,于是 P(bucketB) 就等于 3/7 。于是又 P(white|bucketB) = P(white and bucketB) / P(bucketB) = (1/7) / (3/7) = 1/3 。

另外一种有效计算条件概率的方法称为贝叶斯准则。贝叶斯准则告诉我们如何交换条件概率中的条件与结果,即如果已知 P(x|c),要求 P(c|x),那么可以使用下面的计算方法:

计算p(c|x)的方法

使用条件概率来分类

上面我们提到贝叶斯决策理论要求计算两个概率 p1(x, y) 和 p2(x, y):

  • 如果 p1(x, y) > p2(x, y), 那么属于类别 1;
  • 如果 p2(x, y) > p1(X, y), 那么属于类别 2.

这并不是贝叶斯决策理论的所有内容。使用 p1() 和 p2() 只是为了尽可能简化描述,而真正需要计算和比较的是 p(c1|x, y) 和 p(c2|x, y) .这些符号所代表的具体意义是: 给定某个由 x、y 表示的数据点,那么该数据点来自类别 c1 的概率是多少?数据点来自类别 c2 的概率又是多少?注意这些概率与概率 p(x, y|c1) 并不一样,不过可以使用贝叶斯准则来交换概率中条件与结果。具体地,应用贝叶斯准则得到:

应用贝叶斯准则

使用上面这些定义,可以定义贝叶斯分类准则为:

  • 如果 P(c1|x, y) > P(c2|x, y), 那么属于类别 c1;
  • 如果 P(c2|x, y) > P(c1|x, y), 那么属于类别 c2.

在文档分类中,整个文档(如一封电子邮件)是实例,而电子邮件中的某些元素则构成特征。我们可以观察文档中出现的词,并把每个词作为一个特征,而每个词的出现或者不出现作为该特征的值,这样得到的特征数目就会跟词汇表中的词的数目一样多。

我们假设特征之间 相互独立 。所谓 独立(independence) 指的是统计意义上的独立,即一个特征或者单词出现的可能性与它和其他单词相邻没有关系,比如说,“我们”中的“我”和“们”出现的概率与这两个字相邻没有任何关系。这个假设正是朴素贝叶斯分类器中 朴素(naive) 一词的含义。朴素贝叶斯分类器中的另一个假设是,每个特征同等重要

Note: 朴素贝叶斯分类器通常有两种实现方式: 一种基于伯努利模型实现,一种基于多项式模型实现。这里采用前一种实现方式。该实现方式中并不考虑词在文档中出现的次数,只考虑出不出现,因此在这个意义上相当于假设词是等权重的。

朴素贝叶斯 场景

机器学习的一个重要应用就是文档的自动分类。

在文档分类中,整个文档(如一封电子邮件)是实例,而电子邮件中的某些元素则构成特征。我们可以观察文档中出现的词,并把每个词作为一个特征,而每个词的出现或者不出现作为该特征的值,这样得到的特征数目就会跟词汇表中的词的数目一样多。

朴素贝叶斯是上面介绍的贝叶斯分类器的一个扩展,是用于文档分类的常用算法。下面我们会进行一些朴素贝叶斯分类的实践项目。

朴素贝叶斯 原理

朴素贝叶斯 工作原理

提取所有文档中的词条并进行去重
获取文档的所有类别
计算每个类别中的文档数目
对每篇训练文档: 对每个类别: 如果词条出现在文档中-->增加该词条的计数值(for循环或者矩阵相加)增加所有词条的计数值(此类别下词条总数)
对每个类别: 对每个词条: 将该词条的数目除以总词条数目得到的条件概率(P(词条|类别))
返回该文档属于每个类别的条件概率(P(类别|文档的所有词条))

朴素贝叶斯 开发流程

收集数据: 可以使用任何方法。
准备数据: 需要数值型或者布尔型数据。
分析数据: 有大量特征时,绘制特征作用不大,此时使用直方图效果更好。
训练算法: 计算不同的独立特征的条件概率。
测试算法: 计算错误率。
使用算法: 一个常见的朴素贝叶斯应用是文档分类。可以在任意的分类场景中使用朴素贝叶斯分类器,不一定非要是文本。

朴素贝叶斯 算法特点

优点: 在数据较少的情况下仍然有效,可以处理多类别问题。
缺点: 对于输入数据的准备方式较为敏感。
适用数据类型: 标称型数据。

朴素贝叶斯 项目案例

项目案例1: 屏蔽社区留言板的侮辱性言论

完整代码地址: https://github.com/apachecn/MachineLearning/blob/master/src/py2.x/ML/4.NaiveBayes/bayes.py

项目概述

构建一个快速过滤器来屏蔽在线社区留言板上的侮辱性言论。如果某条留言使用了负面或者侮辱性的语言,那么就将该留言标识为内容不当。对此问题建立两个类别: 侮辱类和非侮辱类,使用 1 和 0 分别表示。

开发流程

收集数据: 可以使用任何方法
准备数据: 从文本中构建词向量
分析数据: 检查词条确保解析的正确性
训练算法: 从词向量计算概率
测试算法: 根据现实情况修改分类器
使用算法: 对社区留言板言论进行分类

收集数据: 可以使用任何方法

本例是我们自己构造的词表:

def loadDataSet():"""创建数据集:return: 单词列表postingList, 所属类别classVec"""postingList = [['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'], #[0,0,1,1,1......]['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],['stop', 'posting', 'stupid', 'worthless', 'garbage'],['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]classVec = [0, 1, 0, 1, 0, 1]  # 1 is abusive, 0 notreturn postingList, classVec
 

准备数据: 从文本中构建词向量

 

def createVocabList(dataSet):"""获取所有单词的集合:param dataSet: 数据集:return: 所有单词的集合(即不含重复元素的单词列表)"""vocabSet = set([])  # create empty setfor document in dataSet:# 操作符 | 用于求两个集合的并集vocabSet = vocabSet | set(document)  # union of the two setsreturn list(vocabSet)def setOfWords2Vec(vocabList, inputSet):"""遍历查看该单词是否出现,出现该单词则将该单词置1:param vocabList: 所有单词集合列表:param inputSet: 输入数据集:return: 匹配列表[0,1,0,1...],其中 1与0 表示词汇表中的单词是否出现在输入的数据集中"""# 创建一个和词汇表等长的向量,并将其元素都设置为0returnVec = [0] * len(vocabList)# [0,0......]# 遍历文档中的所有单词,如果出现了词汇表中的单词,则将输出的文档向量中的对应值设为1for word in inputSet:if word in vocabList:returnVec[vocabList.index(word)] = 1else:print "the word: %s is not in my Vocabulary!" % wordreturn returnVec

 

分析数据: 检查词条确保解析的正确性

检查函数执行情况,检查词表,不出现重复单词,需要的话,可以对其进行排序。

>>> listOPosts, listClasses = bayes.loadDataSet()
>>> myVocabList = bayes.createVocabList(listOPosts)
>>> myVocabList
['cute', 'love', 'help', 'garbage', 'quit', 'I', 'problems', 'is', 'park', 
'stop', 'flea', 'dalmation', 'licks', 'food', 'not', 'him', 'buying', 'posting', 'has', 'worthless', 'ate', 'to', 'maybe', 'please', 'dog', 'how', 
'stupid', 'so', 'take', 'mr', 'steak', 'my']

检查函数有效性。例如:myVocabList 中索引为 2 的元素是什么单词?应该是是 help 。该单词在第一篇文档中出现了,现在检查一下看看它是否出现在第四篇文档中。

>>> bayes.setOfWords2Vec(myVocabList, listOPosts[0])
[0, 0, 1, 0, 0, 0, 1, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 1, 1, 0, 0, 0, 0, 0, 0, 1]>>> bayes.setOfWords2Vec(myVocabList, listOPosts[3])
[0, 0, 0, 1, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 1, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0]

训练算法: 从词向量计算概率

现在已经知道了一个词是否出现在一篇文档中,也知道该文档所属的类别。接下来我们重写贝叶斯准则,将之前的 x, y 替换为 w. 粗体的 w 表示这是一个向量,即它由多个值组成。在这个例子中,数值个数与词汇表中的词个数相同。

重写贝叶斯准则

我们使用上述公式,对每个类计算该值,然后比较这两个概率值的大小。

问: 上述代码实现中,为什么没有计算P(w)?

答:根据上述公式可知,我们右边的式子等同于左边的式子,由于对于每个ci,P(w)是固定的。并且我们只需要比较左边式子值的大小来决策分类,那么我们就可以简化为通过比较右边分子值得大小来做决策分类。

首先可以通过类别 i (侮辱性留言或者非侮辱性留言)中的文档数除以总的文档数来计算概率 p(ci) 。接下来计算 p(w | ci) ,这里就要用到朴素贝叶斯假设。如果将 w 展开为一个个独立特征,那么就可以将上述概率写作 p(w0, w1, w2...wn | ci) 。这里假设所有词都互相独立,该假设也称作条件独立性假设(例如 A 和 B 两个人抛骰子,概率是互不影响的,也就是相互独立的,A 抛 2点的同时 B 抛 3 点的概率就是 1/6 * 1/6),它意味着可以使用 p(w0 | ci)p(w1 | ci)p(w2 | ci)...p(wn | ci) 来计算上述概率,这样就极大地简化了计算的过程。

朴素贝叶斯分类器训练函数

def _trainNB0(trainMatrix, trainCategory):"""训练数据原版:param trainMatrix: 文件单词矩阵 [[1,0,1,1,1....],[],[]...]:param trainCategory: 文件对应的类别[0,1,1,0....],列表长度等于单词矩阵数,其中的1代表对应的文件是侮辱性文件,0代表不是侮辱性矩阵:return:"""# 文件数numTrainDocs = len(trainMatrix)# 单词数numWords = len(trainMatrix[0])# 侮辱性文件的出现概率,即trainCategory中所有的1的个数,# 代表的就是多少个侮辱性文件,与文件的总数相除就得到了侮辱性文件的出现概率pAbusive = sum(trainCategory) / float(numTrainDocs)# 构造单词出现次数列表p0Num = zeros(numWords) # [0,0,0,.....]p1Num = zeros(numWords) # [0,0,0,.....]# 整个数据集单词出现总数p0Denom = 0.0p1Denom = 0.0for i in range(numTrainDocs):# 是否是侮辱性文件if trainCategory[i] == 1:# 如果是侮辱性文件,对侮辱性文件的向量进行加和p1Num += trainMatrix[i] #[0,1,1,....] + [0,1,1,....]->[0,2,2,...]# 对向量中的所有元素进行求和,也就是计算所有侮辱性文件中出现的单词总数p1Denom += sum(trainMatrix[i])else:p0Num += trainMatrix[i]p0Denom += sum(trainMatrix[i])# 类别1,即侮辱性文档的[P(F1|C1),P(F2|C1),P(F3|C1),P(F4|C1),P(F5|C1)....]列表# 即 在1类别下,每个单词出现的概率p1Vect = p1Num / p1Denom# [1,2,3,5]/90->[1/90,...]# 类别0,即正常文档的[P(F1|C0),P(F2|C0),P(F3|C0),P(F4|C0),P(F5|C0)....]列表# 即 在0类别下,每个单词出现的概率p0Vect = p0Num / p0Denomreturn p0Vect, p1Vect, pAbusive

测试算法: 根据现实情况修改分类器

在利用贝叶斯分类器对文档进行分类时,要计算多个概率的乘积以获得文档属于某个类别的概率,即计算 p(w0|1) * p(w1|1) * p(w2|1)。如果其中一个概率值为 0,那么最后的乘积也为 0。为降低这种影响,可以将所有词的出现数初始化为 1,并将分母初始化为 2 (取1 或 2 的目的主要是为了保证分子和分母不为0,大家可以根据业务需求进行更改)。

另一个遇到的问题是下溢出,这是由于太多很小的数相乘造成的。当计算乘积 p(w0|ci) * p(w1|ci) * p(w2|ci)... p(wn|ci) 时,由于大部分因子都非常小,所以程序会下溢出或者得到不正确的答案。(用 Python 尝试相乘许多很小的数,最后四舍五入后会得到 0)。一种解决办法是对乘积取自然对数。在代数中有 ln(a * b) = ln(a) + ln(b), 于是通过求对数可以避免下溢出或者浮点数舍入导致的错误。同时,采用自然对数进行处理不会有任何损失。

下图给出了函数 f(x) 与 ln(f(x)) 的曲线。可以看出,它们在相同区域内同时增加或者减少,并且在相同点上取到极值。它们的取值虽然不同,但不影响最终结果。

函数图像

def trainNB0(trainMatrix, trainCategory):"""训练数据优化版本:param trainMatrix: 文件单词矩阵:param trainCategory: 文件对应的类别:return:"""# 总文件数numTrainDocs = len(trainMatrix)# 总单词数numWords = len(trainMatrix[0])# 侮辱性文件的出现概率pAbusive = sum(trainCategory) / float(numTrainDocs)# 构造单词出现次数列表# p0Num 正常的统计# p1Num 侮辱的统计p0Num = ones(numWords)#[0,0......]->[1,1,1,1,1.....]p1Num = ones(numWords)# 整个数据集单词出现总数,2.0根据样本/实际调查结果调整分母的值(2主要是避免分母为0,当然值可以调整)# p0Denom 正常的统计# p1Denom 侮辱的统计p0Denom = 2.0p1Denom = 2.0for i in range(numTrainDocs):if trainCategory[i] == 1:# 累加辱骂词的频次p1Num += trainMatrix[i]# 对每篇文章的辱骂的频次 进行统计汇总p1Denom += sum(trainMatrix[i])else:p0Num += trainMatrix[i]p0Denom += sum(trainMatrix[i])# 类别1,即侮辱性文档的[log(P(F1|C1)),log(P(F2|C1)),log(P(F3|C1)),log(P(F4|C1)),log(P(F5|C1))....]列表p1Vect = log(p1Num / p1Denom)# 类别0,即正常文档的[log(P(F1|C0)),log(P(F2|C0)),log(P(F3|C0)),log(P(F4|C0)),log(P(F5|C0))....]列表p0Vect = log(p0Num / p0Denom)return p0Vect, p1Vect, pAbusive

使用算法: 对社区留言板言论进行分类

朴素贝叶斯分类函数

def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):"""使用算法:# 将乘法转换为加法乘法:P(C|F1F2...Fn) = P(F1F2...Fn|C)P(C)/P(F1F2...Fn)加法:P(F1|C)*P(F2|C)....P(Fn|C)P(C) -> log(P(F1|C))+log(P(F2|C))+....+log(P(Fn|C))+log(P(C)):param vec2Classify: 待测数据[0,1,1,1,1...],即要分类的向量:param p0Vec: 类别0,即正常文档的[log(P(F1|C0)),log(P(F2|C0)),log(P(F3|C0)),log(P(F4|C0)),log(P(F5|C0))....]列表:param p1Vec: 类别1,即侮辱性文档的[log(P(F1|C1)),log(P(F2|C1)),log(P(F3|C1)),log(P(F4|C1)),log(P(F5|C1))....]列表:param pClass1: 类别1,侮辱性文件的出现概率:return: 类别1 or 0"""# 计算公式  log(P(F1|C))+log(P(F2|C))+....+log(P(Fn|C))+log(P(C))# 大家可能会发现,上面的计算公式,没有除以贝叶斯准则的公式的分母,也就是 P(w) (P(w) 指的是此文档在所有的文档中出现的概率)就进行概率大小的比较了,# 因为 P(w) 针对的是包含侮辱和非侮辱的全部文档,所以 P(w) 是相同的。# 使用 NumPy 数组来计算两个向量相乘的结果,这里的相乘是指对应元素相乘,即先将两个向量中的第一个元素相乘,然后将第2个元素相乘,以此类推。# 我的理解是:这里的 vec2Classify * p1Vec 的意思就是将每个词与其对应的概率相关联起来p1 = sum(vec2Classify * p1Vec) + log(pClass1) # P(w|c1) * P(c1) ,即贝叶斯准则的分子p0 = sum(vec2Classify * p0Vec) + log(1.0 - pClass1) # P(w|c0) * P(c0) ,即贝叶斯准则的分子·if p1 > p0:return 1else:return 0def testingNB():"""测试朴素贝叶斯算法"""# 1. 加载数据集listOPosts, listClasses = loadDataSet()# 2. 创建单词集合myVocabList = createVocabList(listOPosts)# 3. 计算单词是否出现并创建数据矩阵trainMat = []for postinDoc in listOPosts:# 返回m*len(myVocabList)的矩阵, 记录的都是0,1信息trainMat.append(setOfWords2Vec(myVocabList, postinDoc))# 4. 训练数据p0V, p1V, pAb = trainNB0(array(trainMat), array(listClasses))# 5. 测试数据testEntry = ['love', 'my', 'dalmation']thisDoc = array(setOfWords2Vec(myVocabList, testEntry))print testEntry, 'classified as: ', classifyNB(thisDoc, p0V, p1V, pAb)testEntry = ['stupid', 'garbage']thisDoc = array(setOfWords2Vec(myVocabList, testEntry))print testEntry, 'classified as: ', classifyNB(thisDoc, p0V, p1V, pAb)

 

本文转自 :ApacheCN


http://www.ngui.cc/zz/2748859.html

相关文章

java 根据字符串得到该字符串首写的拼音码列表

添加maven依赖 <dependency><groupId>com.belerweb</groupId><artifactId>pinyin4j</artifactId><version>2.5.0</version></dependency> 也可以自己自己下载jar包 import net.sourceforge.pinyin4j.PinyinHelper; import…

java json 间的互相转化,工具化转化,代码少

java json 间的互相转化, 主要通过 alibaba 的 fastjson 来转化 package test.json;import com.alibaba.fastjson.JSON; import com.alibaba.fastjson.JSONObject;import java.io.IOException; import java.text.ParseException; import java.util.List;/*** Author:zzh Email…

springboot 启动异常 javax/servlet/ServletContext Unable to start embedded container; nested exception is

场景描述 项目中用到spring boot进行带页面的开发&#xff0c;从github上的simples中下载了对应的spring-boot-sample-web-jsp项目&#xff0c;经简单修改之后死活启动不起来&#xff0c;各种异常。spring-boot以简单容易上手为核心宗旨&#xff0c;可为什么在引入jar时就会出…

Linux java基础环境搭建 ->JDK

JDK&#xff1a; 1.百度搜索jdk下载&#xff0c;进入oracle官网 比如&#xff1a;https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 2. 在linux 进行下载该链接 使用 wget&#xff1a; wget http://download.oracle.com/otn-pub/java/jd…

Linux->mysql基本操作命令及常见问题

常用命令 连接数据库&#xff1a;mysql -uroot -p 输入相应密码允许数据库远程连接 use mysql; update user set host% where user用户名; flush privileges;显示 数据库: show databases; 显示 数据库的表&#xff1a;show tables;创建数据库并指定编码 create database 数据…

零:初识Linux基础知识

通用知识 上大学使用的都是Windows系统&#xff0c;界面友好&#xff0c;上手快&#xff0c;习惯性的点点点操作大部分的课程在windows中操作&#xff0c;比如C用的Vistual Studio&#xff0c;学数据库的SQL Server大学中的操作系统更加偏向理论研究&#xff0c;至于到底是怎么…

Linux 查看磁盘 查看磁盘IO并找出占用 并找出占用IO读写很高的进程

前言 系统&#xff1a;Centos环境&#xff1a;测试环境服务器类型&#xff1a;联想&#xff08;ThinkServer&#xff09;塔式服务器 TS250测试童鞋反馈系统很卡&#xff0c;保存数据非常非常慢&#xff0c;第一反应是重启应用及数据库&#xff0c;不一会说还是非常慢&#xff…

【面试大全-Spring】Spring Bean是如何创建的

在Spring中&#xff0c;万物都是bean对象&#xff0c;每一个对象都可以封装成BeanDefinition&#xff0c;然后去生成bean对象。 所以首先第一步&#xff0c;spring要找到哪些bean需要实例化&#xff0c;第一种是xml的方式&#xff0c;如果需要实例化bean就在xml中配置bean标签&…

【面试大全-Java】必备基础

Java语言有哪些特点 简单易学、提供丰富的类库面向对象、高内聚低耦合与平台无关、JVM跨平台可靠安全、支持多线程面向对象和面向过程的区别 面向过程:是分析解决问题的步骤,然后用函数把这些步骤一步步实现,然后在使用的时候一起调用即可,性能较高,所以单片机嵌入式开发都…

【元宇宙】当前元宇宙运行规则问题与展望

一、背景&#xff1a;愈演愈烈的“元宇宙热” 当赛博朋克科幻小说《雪崩》&#xff08;Snow Crash&#xff09;在1992年发表之时&#xff0c;作者尼尔斯蒂芬森(Neal Stephenson)绝不会想到自己提出的“元宇宙”&#xff08;Metaverse&#xff09;概念竟然会在十九年后的资本市场…