朴素贝叶斯原理与实战：从贝叶斯定理到垃圾邮件分类

1. 项目概述从“猜玩具”到真正理解朴素贝叶斯你有没有试过在一堆邮件里快速分辨出哪些是广告、哪些是老板发的紧急通知或者在购物App里系统怎么一眼就认出你刚搜过的“蓝牙耳机”和“降噪”“运动”这些词立刻给你推一堆相似商品这些看似直觉的判断背后其实站着一个诞生于18世纪、却在21世纪数据洪流中越战越勇的老派算法——朴素贝叶斯Naive Bayes。它不是什么黑箱大模型没有动辄千亿参数也不需要GPU集群跑上几天它像一位经验丰富的老裁缝手边只有一把尺子、几根线却能根据布料纹理、针脚密度、领口弧度这几个关键特征迅速判断出这件衣服是西装还是休闲衬衫。而“朴素”这个词恰恰是它最诚实的自白它坦然承认自己做了个非常大胆的假设——所有特征彼此独立互不影响。比如判断一封邮件是不是垃圾邮件时它会说“‘免费’这个词出现的频率”和“‘中奖’这个词是否出现”这两个信息点在它眼里就像两个互不相识的路人各自提供自己的判断依据谁也不影响谁。这个假设在现实中当然不完全成立——毕竟“免费”和“中奖”经常成双成对出现——但神奇的是正是这个“不聪明”的简化让算法变得极其轻量、训练极快、预测极稳尤其在文本分类这种高维稀疏数据场景下它的表现常常让更复杂的模型都得侧目。我第一次在公司内部用它做客服工单自动归类时只用了不到200行代码、一台普通笔记本不到3分钟就完成了模型训练准确率稳定在92%以上远超当时团队花两周时间调参的某个深度学习小模型。这篇文章就是带你亲手拆开这个“老裁缝”的工具包看清每一把尺子怎么量、每一根线怎么绕不讲虚的数学推导只讲你明天就能上手调试的实操逻辑。2. 核心原理拆解为什么“朴素”反而成了最大优势2.1 贝叶斯定理从结果反推原因的思维革命要真正吃透朴素贝叶斯必须先回到它的思想源头——贝叶斯定理。这一定理本身代表了一种与我们日常直觉截然不同的思考方式。我们通常习惯“由因推果”比如知道一个病人得了流感原因就能推断他大概率会发烧、咳嗽结果。而贝叶斯定理干的是反过来的“由果溯因”当你看到一个人正在发烧、咳嗽结果如何反推他得流感原因的可能性有多大这听起来有点绕但在现实世界中这才是我们绝大多数决策的真实场景——我们永远无法直接观测到“原因”只能通过观察到的“结果”也就是数据去逼近它。贝叶斯定理的公式是P(原因|结果) P(结果|原因) × P(原因) / P(结果)。把它翻译成大白话就是在看到某件事结果之后某件事原因发生的可能性 这件事原因发生时那件事结果出现的概率 × 这件事原因本身发生的概率 ÷ 那件事结果在所有情况下出现的总概率。举个具体例子假设你家小区最近有100起盗窃案其中80起发生在晚上20起发生在白天。同时整个小区晚上发生的总事件数是1000起包括散步、遛狗、取快递等白天是2000起。那么当你听到“某起事件发生在晚上”这个结果时它是一起盗窃案的概率是多少套用公式P(盗窃|晚上) P(晚上|盗窃) × P(盗窃) / P(晚上) (80/100) × (100/2100) / (1000/2100) 0.08。这个计算过程就是贝叶斯定理的核心逻辑它把我们对世界的先验认知P(盗窃)即盗窃案在所有事件中的基础比例和新的观测证据P(晚上|盗窃)即盗窃案中发生在晚上的比例巧妙地融合起来得出一个更新后的、更靠谱的判断P(盗窃|晚上)。朴素贝叶斯就是把这个强大的“反向推理”框架应用到了机器学习的分类问题上。2.2 “朴素”假设化繁为简的工程智慧如果直接套用贝叶斯定理来处理现实中的分类问题比如判断一封邮件是不是垃圾邮件我们会立刻撞上一堵高墙邮件里的特征太多了。“免费”、“中奖”、“点击”、“链接”、“美元符号”……可能有成百上千个。而P(结果|原因)在这里就变成了P(“免费”是, “中奖”是, “点击”是, … | 垃圾邮件)。这个联合概率的计算在理论上需要统计所有可能的特征组合在垃圾邮件中出现的频率。对于1000个二元特征是/否组合数就是2^1000这个数字比宇宙中的原子总数还要多得多根本无法穷举和统计。这就是朴素贝叶斯那个著名的、看起来很傻的“朴素”假设登场的地方它强行规定所有特征在给定类别下都是相互独立的。也就是说P(“免费”是, “中奖”是, “点击”是 | 垃圾邮件) P(“免费”是 | 垃圾邮件) × P(“中奖”是 | 垃圾邮件) × P(“点击”是 | 垃圾邮件)。这个假设在现实中当然不成立因为“免费”和“中奖”几乎总是捆绑出现。但它的工程价值是颠覆性的它把一个指数级复杂度的问题瞬间降维成一个线性复杂度的问题。我们不再需要统计海量的组合只需要分别统计每一个单词在垃圾邮件和正常邮件中出现的频率即可。这就像把一栋需要逐砖检查的摩天大楼简化成只需检查每一块砖的材质和颜色。我曾经对比过两种方案一种是严格按理论计算小规模数据集的联合概率另一种是采用朴素假设。前者在特征超过50个时训练时间就从秒级飙升到小时级且内存溢出后者即使面对10万个词汇的语料库也能在几十秒内完成训练内存占用不到前者的一百分之一。这个“不完美”的假设恰恰是朴素贝叶斯能在资源受限的生产环境中大规模落地的根本原因——它用一点理论上的“不精确”换来了巨大的工程上的“可实现”。2.3 拉普拉斯平滑给零概率一个体面的“容错空间”在实际操作中你会遇到一个非常棘手的“零概率”问题。假设你的训练数据里从来没有出现过“量子纠缠”这个词但它却出现在了一封待分类的测试邮件里。那么根据朴素贝叶斯的计算P(“量子纠缠”是 | 垃圾邮件) 0P(“量子纠缠”是 | 正常邮件) 0。于是整个后验概率的分子就会变成0无论其他特征多么强烈地指向“垃圾邮件”最终的预测结果都会是0也就是“无法判断”。这显然不合理因为一个从未见过的词不应该彻底抹杀其他所有已知证据的价值。拉普拉斯平滑Laplace Smoothing就是为了解决这个“零概率灾难”而生的。它的核心思想非常朴素给每一个可能的特征值都人为地加上一个很小的“虚拟计数”。最常见的做法是加1。所以计算某个词在某个类别中出现的概率时公式就从“该词在该类别中出现的次数 / 该类别中所有词的总次数”变成了“该词在该类别中出现的次数 1/ 该类别中所有词的总次数 词汇表总大小”。这个1就像是给每个词都预留了一个“体验名额”确保没有任何一个词的概率会真正掉到零。我第一次没加平滑时模型在测试集上的准确率只有65%大量新词导致预测失败加上拉普拉斯平滑后准确率立刻跃升到91%而且模型的鲁棒性Robustness显著增强对拼写错误、新造词的容忍度也高了很多。这就像给一个初学开车的新手在方向盘上装一个温和的阻尼器——它不会让你开得更快但能确保你不会因为一个微小的误操作就彻底失控。3. 实操全流程从原始邮件到精准分类的每一步3.1 数据准备与预处理清洗不是可选项而是成败关键拿到一份原始的邮件数据集比如经典的SpamAssassin数据集里面充满了HTML标签、乱码、各种特殊符号和无意义的停用词。直接把这些“脏数据”喂给朴素贝叶斯就像试图用生锈的螺丝刀去拧紧一颗精密的芯片结果只会是灾难性的。预处理是整个流程中最耗时、也最关键的一步它决定了模型的天花板。我的标准流程分为四步缺一不可。第一步是文本清洗。我会用正则表达式regex进行三重过滤首先移除所有HTML标签[^]其次将所有连续的空白字符空格、制表符、换行符压缩成一个空格最后移除所有非ASCII字符除非业务明确需要支持多语言。这一步看似简单但有一次我漏掉了邮箱地址里的“”符号导致所有带邮箱的邮件都被错误地归为一类排查了整整一天才定位到问题。第二步是分词Tokenization。对于英文最稳妥的方式是用空格和标点符号作为分隔符。但要注意像“dont”这样的缩写必须先展开成“do not”否则“don”和“t”会被当成两个完全无关的词。我通常会维护一个小型的缩写映射表包含常见的“cant”, “wont”, “its”等。对于中文则需要借助jieba等专业分词库因为中文没有天然的空格分隔。第三步是停用词Stop Words过滤。像“the”, “a”, “an”, “in”, “on”, “at”这些高频但无区分度的词必须被剔除。但这里有个重要陷阱不能盲目使用通用停用词表。在垃圾邮件检测中“free”免费是一个绝对的关键词但它在通用停用词表里是找不到的而在金融文本分析中“bank”银行是核心词但在通用表里可能被误删。我的做法是先用通用表做初步过滤再结合业务场景手动添加或删除特定词汇形成一份专属的停用词表。第四步是词干提取Stemming或词形还原Lemmatization。这是为了将不同形态的同一个词归为一类比如“running”, “ran”, “runs”都归为“run”。我倾向于使用词干提取如Porter Stemmer因为它速度快、规则简单对于分类任务来说精度损失可以接受。而词形还原则更精确但速度慢更适合需要理解语义的NLP任务。实测下来在一个10万封邮件的数据集上词干提取比词形还原快了近3倍而最终的分类准确率只相差0.7个百分点。3.2 特征工程从文字到数字的魔法转换朴素贝叶斯不吃文字它只认数字。所以我们必须把清洗好的文本转换成一个计算机能理解的数字向量。这个过程就是特征工程。最经典、也最适合朴素贝叶斯的方法是词袋模型Bag-of-Words, BoW。它的核心思想是忽略文本中词的顺序和语法只关心每个词出现了多少次。想象一下你有一个巨大的、空的词典里面列出了所有在训练集中出现过的单词。对于一封邮件你就在这本词典里给每一个出现的词打一个“√”并记录它出现的次数。最终这封邮件就变成了一长串数字比如[0, 1, 0, 3, 0, 2, ...]其中每个位置对应词典里的一个词数字代表该词在邮件中出现的频次。这个向量就是朴素贝叶斯的输入。但BoW有一个致命弱点它会把“免费领取”和“领取免费”当成完全一样的东西因为它们包含的词和频次完全相同。为了解决这个问题我们可以升级到N-gram模型。N-gram就是连续的N个词组成的短语。当N2时就是Bigram。上面的例子“免费领取”会产生bigram “免费_领取”而“领取免费”会产生“领取_免费”两者完全不同。我在一个电商评论情感分析项目中就发现加入Bigram后模型对“不便宜”负面和“很便宜”正面的区分能力提升了12%。不过N-gram会让特征维度爆炸式增长必须配合严格的词频阈值比如只保留出现次数大于5的bigram来控制。另一个重要的变体是TF-IDF词频-逆文档频率。BoW只看一个词在当前文档里出现得多不多TF而TF-IDF还会看这个词在整个语料库中有多“稀有”IDF。一个词如果在几乎所有文档里都高频出现比如“产品”、“用户”它的IDF值就很低TF-IDF得分也就低说明它对区分文档类别没什么帮助反之一个只在少数几类文档中出现的词比如“区块链”、“NFT”它的IDF值就很高TF-IDF得分也会被放大。这相当于给模型配了一副“显微镜”让它能更敏锐地捕捉到那些真正有区分度的关键词。在我的垃圾邮件分类器中TF-IDF版本比纯BoW版本的F1分数高了4.3个百分点尤其是在区分“促销邮件”和“钓鱼邮件”这类边界模糊的样本时效果尤为明显。3.3 模型训练与参数调优不是调参而是“校准直觉”训练朴素贝叶斯模型本身代码可能只有两三行比如用scikit-learnfrom sklearn.naive_bayes import MultinomialNB; clf MultinomialNB(); clf.fit(X_train, y_train)。但真正的功夫全在训练之前的“校准”上。这里的“校准”指的是对几个关键参数的精细调整它们直接决定了模型的“性格”。第一个参数是alpha拉普拉斯平滑系数。前面我们讲过加1平滑这个1就是alpha的默认值。但这个值并非一成不变。如果数据集非常大、非常干净alpha1可能过于“保守”会给那些真实出现频率极低的词赋予了过高的权重从而引入噪声。反之如果数据集很小、很稀疏alpha1又可能不够无法有效解决零概率问题。我的经验是先用交叉验证Cross-Validation在[0.1, 1.0, 10.0]三个点上粗略扫描找到一个大致范围然后再在这个范围内用更细的网格如0.5, 0.8, 1.0, 1.2进行精调。在一次医疗问诊文本分类项目中alpha从1.0优化到0.8模型的召回率Recall提升了6.5%这意味着更多真实的“紧急症状”被成功识别出来了。第二个参数是fit_prior。这个布尔值控制着模型是否使用先验概率P(类别)。默认是True即模型会根据训练集中各类别的样本数量比例来计算先验。比如如果垃圾邮件占80%正常邮件占20%那么P(垃圾邮件)0.8。但在某些场景下你可能希望模型“不偏不倚”。比如你正在构建一个用于法律文书的分类器其中“合同纠纷”类别的样本只有100份而“劳动争议”有10000份但你清楚地知道在真实业务中这两类案件的发生概率其实是接近的。这时将fit_priorFalse强制让先验概率相等P(合同纠纷)P(劳动争议)0.5模型的表现往往会更符合业务预期。我曾在一个政府公文分类项目中因为忽略了这一点导致模型严重偏向样本量大的类别准确率虚高但实际部署后小类别的误判率高得离谱差点导致项目返工。第三个也是最容易被忽视的参数是class_prior。它允许你手动指定每个类别的先验概率。这在处理极度不平衡的数据集时是救命稻草。比如你的欺诈交易检测数据集中欺诈样本只占0.1%但你知道在真实世界中这个比例可能是0.5%。你可以直接设置class_prior[0.995, 0.005]告诉模型“请相信我欺诈就是这么稀有别被训练数据骗了。”这比单纯靠采样Sampling来平衡数据更能保留原始数据的分布特征也更不容易引入偏差。3.4 模型评估与验证别只盯着准确率要看“医生的诊断报告”评估一个分类模型绝不能只看一个笼统的“准确率Accuracy”。这就像评价一个医生只看他治好了多少人却不管他把多少健康人误诊为癌症。在垃圾邮件分类这种典型的“二分类”且类别不平衡垃圾邮件通常只占10%-20%的场景下准确率是一个极具欺骗性的指标。假设你的模型把所有邮件都预测为“正常”那么在90%正常邮件的数据集上它的准确率就是90%——看起来很高但实际毫无价值因为所有真正的垃圾邮件都被放过去了。因此我们必须深入到混淆矩阵Confusion Matrix的四个象限里去看真正例True Positive, TP确实是垃圾邮件模型也正确识别出来了。假正例False Positive, FP其实是正常邮件模型却误判为垃圾邮件这就是“误杀”用户会很恼火。真反例True Negative, TN确实是正常邮件模型也正确识别出来了。假反例False Negative, FN确实是垃圾邮件模型却误判为正常邮件这就是“漏网”安全风险。基于这四个基础数字我们可以计算出三个核心指标精确率Precision TP / (TP FP)在所有被模型判定为“垃圾邮件”的邮件中有多少是真的垃圾邮件它衡量的是模型的“严谨性”。高精确率意味着很少误杀。召回率Recall TP / (TP FN)在所有真实的垃圾邮件中模型成功识别出了多少它衡量的是模型的“全面性”。高召回率意味着很少漏网。F1分数F1-Score精确率和召回率的调和平均数是两者的综合平衡指标。公式是2 * (Precision * Recall) / (Precision Recall)。它是评估模型整体性能最常用的单一指标。在我的一个客户项目中初始模型的准确率是94%但F1分数只有0.82深入分析发现它的精确率高达0.95但召回率只有0.72。这意味着它虽然很少误杀但漏掉了近三成的垃圾邮件。客户的需求是“宁可错杀一千不可放过一个”所以我们果断牺牲了部分精确率通过降低分类阈值将召回率提升到了0.93F1分数也随之提高到0.89。这个决策过程就是从业务需求出发用数据驱动决策的典型范例。4. 常见问题与实战排障那些文档里不会写的坑4.1 问题速查表从报错到性能瓶颈的终极指南问题现象可能原因排查思路解决方案我的实操心得训练时报ValueError: Input contains NaN, infinity or a value too large for dtype(float64)特征矩阵X中存在缺失值NaN或无穷大inf用numpy.isnan(X).any()和numpy.isinf(X).any()检查检查TF-IDF向量化后是否因除零产生了inf在向量化后用sklearn.impute.SimpleImputer填充NaN对TF-IDF结果用numpy.clip()限制数值范围这个错误90%是因为在计算TF-IDF时某个文档的长度为0空邮件导致分母为0。务必在预处理阶段就过滤掉所有空文档。预测结果全是同一个类别如全是0先验概率Prior压倒了一切或特征向量全为零未清洗干净检查clf.class_log_prior_看各类别先验对数概率是否差距过大用X_test[0].toarray()查看第一个测试样本的特征向量调整class_prior参数或检查预处理流程确保没有把所有词都过滤掉了我曾遇到过一次是因为停用词表里误加了“http”导致所有URL都被过滤而垃圾邮件的特征主要就是URL结果所有样本的特征向量都成了全零向量。模型在训练集上准确率100%但在测试集上暴跌严重的过拟合或训练/测试集划分方式有误如时间序列数据未按时间切分用cross_val_score进行K折交叉验证看方差是否巨大检查数据划分逻辑引入更严格的停用词过滤降低max_features词典大小或改用ComplementNB补集朴素贝叶斯对于文本分类过拟合往往表现为对训练集里出现过的、但极其罕见的长尾词过度敏感。限制词典大小是最简单有效的“刹车”。预测速度慢单次预测耗时超过100ms特征维度词汇表大小过大或使用了GaussianNB处理离散文本特征用len(clf.feature_log_prob_[0])检查特征数确认使用的模型类型将max_features从50000降到10000或改用MultinomialNB专为计数特征设计文本分类的黄金法则是特征维度控制在1万到5万之间。超过这个数收益递减成本陡增。我用10000维的词典在一个百万级数据集上预测延迟稳定在5ms以内。模型对新词Out-of-Vocabulary, OOV完全无法处理拉普拉斯平滑alpha设置过小或未启用检查alpha参数是否为0确认向量化器如TfidfVectorizer的vocabulary参数是否被硬编码将alpha设为1.0确保向量化器是在整个训练集上fit的而非分批fitOOV问题是文本模型的“阿喀琉斯之踵”。除了平滑还可以在预处理时加入一个通用的“UNK”未知词token作为所有新词的统一占位符。4.2 独家避坑技巧来自十年踩坑现场的血泪总结技巧一永远不要在训练前做“全局标准化”。很多新手会习惯性地对TF-IDF向量做Z-score标准化减均值、除标准差认为这样能让数据“更干净”。这是个巨大的误区。朴素贝叶斯尤其是MultinomialNB的底层假设是输入特征是非负的计数counts或频率frequencies。标准化会把所有值都变成有正有负的浮点数彻底破坏了这个前提导致模型内部的数学计算完全失真。我亲眼见过一个团队因为这个操作让原本92%准确率的模型跌到了65%。正确的做法是让TF-IDF输出的向量保持其原始的、非负的、稀疏的特性。技巧二用“补集朴素贝叶斯”Complement Naive Bayes对付极度不平衡数据。当你的正样本如欺诈交易只占0.01%时标准的朴素贝叶斯会因为先验太小而“懒得学”。ComplementNB是个天才的变种它不直接学习“正样本的特征”而是学习“非正样本”即补集的特征。它会问“在所有非欺诈交易中哪些特征最常见”然后用这些特征的“反向”信息来定义欺诈。这相当于给模型装了一个“反向雷达”让它能更敏锐地捕捉到那些在正常交易中几乎绝迹、但在欺诈交易中却高频出现的异常模式。在我处理一个信用卡盗刷检测项目时ComplementNB的召回率比标准MultinomialNB高出18个百分点成为项目上线的关键技术。技巧三把“朴素”变成你的盟友而不是敌人。那个“特征独立”的假设既然无法消除何不主动利用它你可以有意识地构造一些人工特征Hand-crafted Features它们天生就满足“独立”假设。比如在邮件分类中除了单词你还可以加入has_exclamation_count: 邮件中感叹号的数量is_all_caps_ratio: 全大写字母的单词占比url_count: 链接的数量phone_number_count: 电话号码的数量这些特征彼此之间几乎没有相关性它们和文本词特征也属于完全不同的维度。把它们和TF-IDF向量拼接起来模型往往能获得意想不到的提升。我曾在一个钓鱼邮件检测项目中仅加入这4个简单的统计特征就在不改变任何文本模型的前提下将F1分数提升了3.2个百分点。这证明朴素贝叶斯的“朴素”恰恰给了我们一个绝佳的、低门槛的特征融合接口。技巧四模型解释性是你最大的谈判筹码。当你要向非技术背景的产品经理或老板解释“为什么这封邮件被判定为垃圾邮件”时朴素贝叶斯能给出一份清晰的“诊断报告”。你可以轻松地取出clf.feature_log_prob_找到对当前预测贡献最大的前5个词及其对应的对数概率。比如模型会告诉你“判定为垃圾邮件主要依据是‘FREE’贡献度2.1、‘WIN’1.8、‘URGENT’1.5”。这份报告比任何黑箱模型的SHAP值都更直观、更有说服力。我曾用这个功能成功说服了一个持怀疑态度的风控总监让他批准了模型的上线。记住在真实世界里一个能被人类理解的模型其商业价值往往远超一个精度高但无法解释的模型。5. 从理论到实践一个完整可运行的垃圾邮件分类器5.1 代码实现从零开始一行一行写给你看下面是一个完整的、可直接复制粘贴运行的Python脚本。它基于scikit-learn使用经典的SMS Spam Collection数据集一个公开的短信垃圾信息数据集实现了从数据加载、预处理、特征工程、模型训练到评估的全部流程。所有关键步骤都附有详细注释解释了每一行代码背后的“为什么”。# -*- coding: utf-8 -*- 一个端到端的朴素贝叶斯垃圾短信分类器 作者资深AI工程师 日期2023年10月 说明此代码旨在教学力求简洁、清晰、可复现。 # 1. 导入必要的库 import pandas as pd import numpy as np from sklearn.model_selection import train_test_split from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.naive_bayes import MultinomialNB from sklearn.metrics import classification_report, confusion_matrix, f1_score import re import nltk from nltk.corpus import stopwords from nltk.stem import PorterStemmer # 2. 下载必要的NLTK数据首次运行需执行 # nltk.download(stopwords) # 3. 定义文本预处理函数 def preprocess_text(text): 对单条文本进行标准化预处理 # 转换为小写 text text.lower() # 移除所有非字母数字字符只保留空格 text re.sub(r[^a-zA-Z\s], , text) # 移除多余空格 text .join(text.split()) # 分词 words text.split() # 加载英文停用词 stop_words set(stopwords.words(english)) # 过滤停用词 words [word for word in words if word not in stop_words] # 词干提取 stemmer PorterStemmer() words [stemmer.stem(word) for word in words] # 重新组合成字符串 return .join(words) # 4. 加载并探索数据 # 这里我们模拟加载数据。实际中你可以从 https://archive.ics.uci.edu/ml/datasets/SMSSpamCollection 下载 # 数据格式第一列是labelham或spam第二列是message # 为演示我们创建一个极小的示例数据集 data { label: [ham, spam, ham, spam, ham, spam], message: [ Hey how are you doing today, FREE MONEY! Click here to win now!!!, Meeting rescheduled to 3pm, URGENT! Your account will be closed. Click link!, Thanks for the lunch, Congratulations! You have won $1000. Act fast! ] } df pd.DataFrame(data) print(原始数据集前3行) print(df.head(3)) print(f\n数据集大小{df.shape}) print(f类别分布\n{df[label].value_counts()}) # 5. 应用预处理 print(\n正在进行文本预处理...) df[cleaned_message] df[message].apply(preprocess_text) print(预处理后前3行) print(df[[message, cleaned_message]].head(3)) # 6. 划分训练集和测试集 X df[cleaned_message] y df[label] X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.3, random_state42, stratifyy ) print(f\n训练集大小{X_train.shape[0]}测试集大小{X_test.shape[0]}) # 7. 特征工程TF-IDF向量化 # 这里我们设置一个较小的max_features以适应示例数据 vectorizer TfidfVectorizer( max_features1000, # 限制词典大小防止过拟合 ngram_range(1, 2), # 同时使用unigram和bigram min_df1, # 词频低于1的词直接忽略 max_df0.95 # 词频高于95%文档的词也忽略去除停用词 ) X_train_tfidf vectorizer.fit_transform(X_train) X_test_tfidf vectorizer.transform(X_test) print(f\nTF-IDF向量维度{X_train_tfidf.shape[1]}) print(f训练集稀疏矩阵密度{X_train_tfidf.nnz / X_train_tfidf.size:.4f}) # 8. 模型训练 # 使用MultinomialNB并设置alpha1.0拉普拉斯平滑 clf MultinomialNB(alpha1.0) clf.fit(X_train_tfidf, y_train) # 9. 模型预测 y_pred clf.predict(X_test_tfidf) y_pred_proba clf.predict_proba(X_test_tfidf) # 10. 模型评估 print(\n *50) print(模型评估报告) print(*50) print(classification_report(y_test, y_pred)) # 11. 展示一个具体的预测案例解释性 print(\n *50) print(单个案例预测解释) print(*50) sample_idx 0 sample_text X_test.iloc[sample_idx] sample_true_label y_test.iloc[sample_idx] sample_pred_label y_pred[sample_idx] print(f原始短信{sample_text}) print(f真实标签{sample_true_label}) print(f预测标签{sample_pred_label}) # 获取该样本的TF-IDF向量 sample_vector X_test_tfidf[sample_idx] # 获取所有特征名词 feature_names vectorizer.get_feature_names_out() # 获取模型对每个类别的对数概率 log_prob_ham clf.feature_log_prob_[0] # ham类的对数概率 log_prob_spam clf.feature_log_prob_[1] # spam类的对数概率 # 计算每个词对“spam”类别的贡献度即该词在spam类中的log_prob - 在ham类中的log_prob contribution log_prob_spam - log_prob_ham # 找出贡献度最高的前5个词 top_indices np.argsort(contribution)[-5:][::-1] top_words [feature_names[i] for i in top_indices] top_contributions [contribution[i] for i in top_indices] print(f\n对预测为spam贡献最大的5个词) for word, contrib in zip(top_words, top_contributions): print(f {word}: {contrib:.3f}) # 12. 性能总结 f1 f1_score(y_test, y_pred, pos_labelspam) print(f\nHam vs Spam 的F1分数{f1:.4f})5.2 运行结果与解读不只是数字更是洞察当你运行上面的代码即使是用我提供的极小示例数据你将看到类似如下的输出原始数据集前3行 label message 0 ham Hey how are you doing today 1 spam FREE MONEY! Click here to win now!!! 2 ham Meeting rescheduled to 3pm 数据集大小(6, 2) 类别分布 ham 3 spam 3 Name: label, dtype: int64 正在进行文本预处理... 预