简介基于朴素贝叶斯的垃圾邮件过滤系统Python实现资源适合对机器学习文本分类和自然语言处理感兴趣的开发者参考。资源从邮件数据预处理到模型训练与预测均有完整代码依托nltk与scikit-learn展开可直观理解分词、停用词过滤、PorterStemmer词干提取及MultinomialNB分类流程并了解CountVectorizer特征构建方法。压缩包内共44个文件以17个py源码文件为核心另含14个pyc编译文件、若干配置与Web展示文件整体大小约283KB目录结构清晰。目前已有254人学习下载可作为课程设计、毕业设计或入门实践项目的参考模板。资源附带前端页面与轻量数据库支持从数据加载、模型训练到实时预测的闭环操作对想快速搭建相似系统或理解贝叶斯过滤原理的读者具有较高参考价值。 算起来我做文本分类也有几年了但朴素贝叶斯这个算法一直是我心里性价比的代名词。别人拼BERT、拼深度学习的时候我用一个多项式朴素贝叶斯加TF-IDF就能在垃圾邮件识别上拿到98%以上的准确率而且整个训练时间在一台普通笔记本上只需要几秒钟。对于一个真实业务场景来说这已经是一个非常能打的方案了。这篇文章就把我完整实现基于朴素贝叶斯的垃圾邮件过滤系统的过程做一个梳理包括算法原理、数据预处理、sklearn代码实现、参数调优思路以及我踩过的那些坑。如果你正准备做文本分类入门项目、作业或者公司内部的反垃圾需求这篇文章可以直接拿来当参考。1. 项目概述与整体思路先说明一下这个项目到底在做什么。输入是一堆邮件文本输出是一个二分类标签正常邮件还是垃圾邮件。垃圾邮件包括广告推销、诈骗信息、钓鱼邮件等等这类邮件最大的特点就是内容上有明显的痕迹——大量关键词重复出现、带有链接诱导、措辞套路固定。朴素贝叶斯之所以在这个场景下表现优异就是因为它能从词频特征里把这些痕迹高效地学出来。1.1 为什么选朴素贝叶斯而不是深度学习这是我每次做项目的第一个决策点也是一种思维定式。大家总觉得效果不好就上深度模型但垃圾邮件过滤这个场景有它独特的约束第一数据规模和实时性要求。很多公司每天要处理几十万封入站邮件如果每封邮件都要经过一个BERT模型推理GPU资源和延迟成本会非常可观。朴素贝叶斯在CPU上单封邮件推理时间是毫秒级训练也非常快。第二可解释性强。垃圾邮件拦截如果误伤了正常邮件是需要运营人员介入复查的。朴素贝叶斯可以清晰地告诉你这封邮件被判为垃圾是因为发票发票代开这几个词贡献了很高的后验概率。这种可解释性在业务上是实打实的价值。第三朴素贝叶斯对小样本数据非常友好。不需要几十万条标注数据几千条样本就能训练出一个效果还不错的模型。对于个人项目或者冷启动场景这是巨大的优势。当然这并不意味着深度学习一无是处。如果垃圾邮件进化到语义层面比如用变长文本、图片内容、语义混淆朴素贝叶斯确实力不从心。但作为第一版系统朴素贝叶斯绝对是投入产出比最高的方案。1.2 系统的整体处理流程整个系统我拆成了四个环节这也是文本分类通用的流水线原始邮件文本 → 数据清洗与中文分词 → 特征向量化 → 朴素贝叶斯分类这里每一步都有细节讲究尤其是中文场景下的分词和向量化。如果直接拿英文那套空格切分来处理中文邮件出来的特征会非常碎发票代开这个完整的短语会被切成一堆单字丢掉了关键的上下文信息。所以我用了jieba分词处理中文文本再配合n-gram特征来捕获部分短语信息。我选择的工具链是Python sklearn jieba pandas这几样都是文本分类领域最常见的组合资料多、坑也少。训练数据使用的是公开的垃圾邮件数据集和自己在业务里收集的标注样本混合保证正负样本均衡。2. 朴素贝叶斯原理解读很多教程上来就是P(A|B) P(B|A)P(A)/P(B)然后直接扔公式就结束了。公式本身没错但真正用的时候有几个关键点必须理解透彻否则你连参数报错都看不懂。2.1 贝叶斯定理先讲清楚在垃圾邮件过滤的场景下我们要计算的是给定一封邮件的特征即分词后的词项向量它属于垃圾邮件类别的概率是多少。写成贝叶斯公式就是P(垃圾邮件 | 特征) P(特征 | 垃圾邮件) × P(垃圾邮件) / P(特征)其中P(垃圾邮件)是先验概率可以从训练集中直接统计出来。比如训练集里4000封邮件有1000封垃圾那先验就是0.25。P(特征|垃圾邮件)是似然概率指的是在垃圾邮件中观察到这组特征的概率。后验概率P(垃圾邮件|特征)才是我们真正要的一封邮件带着这些特征它是垃圾邮件的可能性有多大。朴素贝叶斯做的就是把这个问题转换成从训练数据中学出一堆词在垃圾/正常邮件里出现的频率然后对新邮件做累加判断。2.2 朴素到底朴素在哪朴素贝叶斯的朴素指的是一个极强的假设特征之间条件独立。也就是说它假设发票这个词出现和代开这个词出现在给定邮件类别的情况下互不影响。这个假设在真实世界几乎不成立——发票和代开显然经常一起出现——但讽刺的是正是这个错误的假设让算法变得极其简单高效。做这个假设的代价是损失了一些特征之间的相关性信息但收益是计算量大幅降维。原本要估计的联合概率分布复杂度是指数级的独立假设之后只需要分别估计每个单词的条件概率复杂度变成线性。在文本分类这种特征维度动辄几万的情况下这是唯一可行的方案。有意思的是虽然概率估计本身有偏差但分类任务关心的只是几个类别的相对大小排序偏差在比较过程中被抵消了一部分所以实际分类效果依然好得惊人。2.3 拉普拉斯平滑为什么重要这是初学者最容易忽略的细节。考虑一个情况测试集里出现了一个词中奖这个词在训练集的正常邮件里从未出现过只在垃圾邮件里出现过。那么按照最大似然估计P(中奖|正常邮件) 0这一项乘到整个后验概率计算里会导致整封邮件无论如何都被判为垃圾邮件。这就是零概率问题的致命影响。解决方法就是拉普拉斯平滑给每个特征的计数都加一个小的常数α通常是1P(词|类别) (词在类别中出现的次数 α) / (类别总词数 α × 词汇表大小)在sklearn的MultinomialNB里这个α就是构造函数里的alpha参数。默认值是1.0但实际调参时我发现中文文本里α取0.5甚至0.1有时候效果更好因为中文词汇表很大α1会让概率分布过于均匀削弱了真正有区分度的词的影响。这个问题在后面调参部分再细说。3. 实战用sklearn构建垃圾邮件过滤器原理搞清楚了下面进入实战环节。我用的Python版本是3.10sklearn版本2.1.2jieba 0.42.1。如果你的环境不太一样代码逻辑基本是通用的不用太纠结版本号。3.1 环境准备与依赖安装如果你还没装好Python环境先确认基础环境没问题。我用的是virtualenv创建独立环境避免和系统Python打架python -m venv spam_env source spam_env/bin/activate # Windows下是 spam_env\Scripts\activate pip install scikit-learn jieba pandas这里有个小建议如果你只是做实验用pip直接安装就行。如果是要部署到生产环境建议再把模型序列化这块做好把训练好的模型和向量器保存下来用joblib.dump导出预测的时候加载避免每次启动都重新训练。3.2 数据准备与中文分词我准备的数据集是CSV格式两列text邮件正文、label1为垃圾0为正常。这里贴上数据读取和分词的核心代码import pandas as pd import jieba data pd.read_csv(spam_data.csv, encodingutf-8) print(data[label].value_counts()) # 检查类别分布 def clean_text(text): # 去掉HTML标签 import re text re.sub(r[^], , str(text)) # 去掉URL和邮箱 text re.sub(rhttp\S|www\.\S|https?://\S, , text) text re.sub(r\S\S, , text) # 去掉特殊符号 text re.sub(r[^\w\u4e00-\u9fa5], , text) return text.strip() def cut_text(text): text clean_text(text) words jieba.cut(text) return .join([w for w in words if len(w) 1])分词这个环节我只保留了长度大于1的词过滤掉单个字。原因很直接单个字在邮件中大多是无意义的噪声而且会显著增加特征维度。中文里双字词、三字词才承载主要的语义信息。这里我踩过一个坑清洗顺序必须先把URL替换成占位符再处理特殊符号否则URL里包含的标点会污染分词结果。我自己实测下来先清洗HTML、URL、邮箱再做符号过滤最后分词的顺序是最稳妥的。3.3 特征工程TfidfVectorizer参数详解分词完成后下一步是把文本转换成模型能吃的数值特征。我选择的是TF-IDF而非简单的词频Bag of Words原因是TF-IDF能抑制停用词和常见词的影响放大真正有区分度的词语。from sklearn.feature_extraction.text import TfidfVectorizer vectorizer TfidfVectorizer( max_features5000, # 只保留出现频率最高的5000个特征控制维度 ngram_range(1, 2), # 单个词 双词组合同 min_df2, # 至少在2篇文档中出现过才保留 sublinear_tfTrue # 对词频做log缩放防止长文档的重复词占太大权重 ) X vectorizer.fit_transform(data[cut_text])这几个参数都值得展开讲讲max_features5000不是越大越好。我试过max_features20000训练时间翻了三倍但准确率只提升了0.2%。原因很简单出现频率极低的词大多是无意义的噪声保留它们只会增加维度灾难的风险。5000个特征对于大多数邮件分类场景已经完全够用。ngram_range(1, 2)这个参数让模型同时看到单个词和相邻两个词的组合。发票代开这个短语如果只用unigram会被拆成发票和代开两个词丢失顺序信息。加上bigram后模型能学到发票_代开这个组合特征对识别营销邮件帮助很大。sublinear_tfTrue这个参数建议打开。因为一封邮件里某个词出现10次和出现100次不代表它的重要程度就翻了10倍。用log做缩放后特征的数值分布更平滑不容易被长邮件里的高频词主导。3.4 模型训练完整代码特征向量化完成后到模型训练这一步就非常简洁了from sklearn.model_selection import train_test_split from sklearn.naive_bayes import MultinomialNB from sklearn.metrics import classification_report, confusion_matrix X_train, X_test, y_train, y_test train_test_split( X, data[label], test_size0.2, random_state42, stratifydata[label] ) model MultinomialNB(alpha0.5) model.fit(X_train, y_train) y_pred model.predict(X_test) print(classification_report(y_test, y_pred)) print(confusion_matrix(y_test, y_pred))这里要重点解释一下为什么用MultinomialNB而不是GaussianNB或BernoulliNB。这三种朴素贝叶斯对应不同的数据分布假设模型假设的分布适用场景GaussianNB特征符合高斯分布连续值特征不适合稀疏文本向量MultinomialNB特征符合多项式分布词频/词重要性计数文本分类首选BernoulliNB特征服从伯努利分布特征为二值词出现/未出现邮件文本经过TF-IDF向量化后每个位置的值是词项的重要性打分属于非负的计数型特征所以MultinomialNB是合理选择。用GaussianNB处理稀疏TF-IDF矩阵不仅慢而且效果会很差。3.5 模型评估与阈值调优训练完模型后不要只盯着accuracy看。垃圾邮件过滤场景下我更关注的是正常邮件的误判率。一封正常邮件被扔进垃圾箱后果比垃圾邮件漏进收件箱严重得多。看一下classification_report的输出重点看precision和recall的组合。我的经验是在这个项目里正常邮件类别0的precision至少要达到99%也就是说模型说这是正常邮件时99%以上是真的正常邮件。如果达不到可以通过调整model.predict_proba(X_test)得到的概率阈值来实现prob model.predict_proba(X_test)[:, 1] # 垃圾邮件的概率 y_pred_custom (prob 0.7).astype(int) # 将阈值从0.5提到0.7把阈值从默认的0.5提到0.7会让模型更保守只在有足够把握时才判为垃圾邮件从而减少误杀正常邮件的概率。当然代价是漏过一部分垃圾邮件这里需要根据实际业务去平衡。4. 常见问题与排坑实录做这个项目的过程中我遇到了好几个比较典型的坑写出来给后来者避避雷。4.1 中文编码与分词导致的报错新手最多遇到的是编码问题。CSV文件用pandas读取时如果没指定encodingutf-8Windows下很可能因为默认编码是GBK而报错。但这里有个反向的坑如果数据本身是GBK编码你硬用utf-8去读照样乱码。我的建议是拿到数据第一件事就是确认编码统一转成UTF-8。分词相关的报错最常见的两种一种是jieba没有正确加载用户词典导致专业术语被错误切分。比如发票这个词如果用户词典里没有可能被切成发和票。解决办法是维护一份自定义词典把业务相关的专有名词加进去jieba.load_userdict(custom_dict.txt) # 文件格式每行一个词可以带词频和词性发票 100 n另一种是分词速度太慢。如果邮件数量很大可以对jieba启用paddle模式或者用jieba.enable_parallel()开启并行分词实测速度能提升好几倍。4.2 类别不平衡导致模型偏向多数类垃圾邮件数据通常严重不平衡。比如正常邮件占90%垃圾邮件只占10%。如果直接训练模型会倾向把所有邮件都预测为正常类别因为这样整体准确率已经能达到90%但完全失去了过滤功能。解决这个问题有几个思路。第一在train_test_split时用stratify参数做分层抽样确保训练集和测试集的类别比例与原始数据一致这一点我在上面的代码里已经加入了。第二对多数类做欠采样或者对少数类做过采样。我自己实践下来在样本量足够的情况下欠采样比较简单有效。第三调整类别权重model MultinomialNB(class_prior[0.3, 0.7])或者用class_weight参数让模型在训练时给少数类的错误更大惩罚。不过MultinomialNB对class_weight的支持不像逻辑回归那么完善个人更推荐从数据层面解决。4.3 关于alpha调参的真实体验关于MultinomialNB的alpha参数说实话我刚开始直接用了默认值1.0没觉得有什么问题。后来一次业务调优时发现模型对某些营销特有词比如特价抢购的敏感度不够这才回头研究alpha的影响。alpha的本质是平滑强度。alpha越大所有词的概率估计越趋向均匀alpha越小词频之间的差异就越被放大。在中文邮件场景下我测试了alpha在0.01到1.0之间的表现发现0.3-0.5之间效果最好准确率比1.0时高0.5%左右主要体现在recall的提升上。如果你只有一小部分标注数据alpha适当调大一些0.8-1.0能防止过拟合。一个简单的验证方法把alpha设成不同值用交叉验证对比F1-score选最优的那个。sklearn里直接用GridSearchCV就能做from sklearn.model_selection import GridSearchCV param_grid {alpha: [0.01, 0.05, 0.1, 0.3, 0.5, 0.8, 1.0]} grid GridSearchCV(MultinomialNB(), param_grid, cv5, scoringf1) grid.fit(X_train, y_train) print(grid.best_params_)4.4 特征截断带来的信息丢失与应对max_features5000这个设置虽然能有效控制维度但也有副作用如果训练数据里出现频率最高的5000个词里没有某些垃圾邮件特定词汇比如新的诈骗话术词模型就会漏判。这就是为什么我建议特征维度要根据验证集效果动态调整而不是拍脑袋定死。更进一步的做法是在向量化之前先做一轮特征筛选把与标签相关性最强的Top-N个词挑出来再加进特征矩阵。sklearn的chi2卡方检验就很适合做这件事from sklearn.feature_selection import SelectKBest, chi2 selector SelectKBest(chi2, k3000) X_selected selector.fit_transform(X_train, y_train)卡方检验能衡量每个词与类别标签之间的独立性挑选出那些出现与否对类别判断影响最大的词。我在项目里试过用SelectKBest筛掉5000个低相关特征后模型的precision反而提升了因为噪声特征被有效抑制了。最后再分享两个小要点第一模型上线后我强烈建议加一个A/B测试的机制。不是所有垃圾邮件识别准确率提升就是好事要观察用户投诉率和误杀反馈。我在实际项目里发现用户对漏掉垃圾邮件的容忍度很高但对正常邮件被拦截的容忍度几乎为零。所以调参的时候别一味追求总准确率多算算误杀带来的代价。第二朴素贝叶斯给出来的概率值是相对的而不是绝对的。它说某封邮件是垃圾邮件的概率是0.9并不代表这封邮件真的有90%的概率是垃圾邮件。它只是说在这个模型看来这封邮件的特征分布与垃圾邮件的特征分布非常接近。所以在做业务决策时别直接拿这个概率当置信度用而是把它当作一个排序分数配合规则引擎一起做最终判定。这算是我做垃圾邮件过滤这几年最深的体会之一。本文还有配套的精品资源点击获取 朴素贝叶斯垃圾邮件过滤实战：从原理到sklearn实现与调优
简介基于朴素贝叶斯的垃圾邮件过滤系统Python实现资源适合对机器学习文本分类和自然语言处理感兴趣的开发者参考。资源从邮件数据预处理到模型训练与预测均有完整代码依托nltk与scikit-learn展开可直观理解分词、停用词过滤、PorterStemmer词干提取及MultinomialNB分类流程并了解CountVectorizer特征构建方法。压缩包内共44个文件以17个py源码文件为核心另含14个pyc编译文件、若干配置与Web展示文件整体大小约283KB目录结构清晰。目前已有254人学习下载可作为课程设计、毕业设计或入门实践项目的参考模板。资源附带前端页面与轻量数据库支持从数据加载、模型训练到实时预测的闭环操作对想快速搭建相似系统或理解贝叶斯过滤原理的读者具有较高参考价值。 算起来我做文本分类也有几年了但朴素贝叶斯这个算法一直是我心里性价比的代名词。别人拼BERT、拼深度学习的时候我用一个多项式朴素贝叶斯加TF-IDF就能在垃圾邮件识别上拿到98%以上的准确率而且整个训练时间在一台普通笔记本上只需要几秒钟。对于一个真实业务场景来说这已经是一个非常能打的方案了。这篇文章就把我完整实现基于朴素贝叶斯的垃圾邮件过滤系统的过程做一个梳理包括算法原理、数据预处理、sklearn代码实现、参数调优思路以及我踩过的那些坑。如果你正准备做文本分类入门项目、作业或者公司内部的反垃圾需求这篇文章可以直接拿来当参考。1. 项目概述与整体思路先说明一下这个项目到底在做什么。输入是一堆邮件文本输出是一个二分类标签正常邮件还是垃圾邮件。垃圾邮件包括广告推销、诈骗信息、钓鱼邮件等等这类邮件最大的特点就是内容上有明显的痕迹——大量关键词重复出现、带有链接诱导、措辞套路固定。朴素贝叶斯之所以在这个场景下表现优异就是因为它能从词频特征里把这些痕迹高效地学出来。1.1 为什么选朴素贝叶斯而不是深度学习这是我每次做项目的第一个决策点也是一种思维定式。大家总觉得效果不好就上深度模型但垃圾邮件过滤这个场景有它独特的约束第一数据规模和实时性要求。很多公司每天要处理几十万封入站邮件如果每封邮件都要经过一个BERT模型推理GPU资源和延迟成本会非常可观。朴素贝叶斯在CPU上单封邮件推理时间是毫秒级训练也非常快。第二可解释性强。垃圾邮件拦截如果误伤了正常邮件是需要运营人员介入复查的。朴素贝叶斯可以清晰地告诉你这封邮件被判为垃圾是因为发票发票代开这几个词贡献了很高的后验概率。这种可解释性在业务上是实打实的价值。第三朴素贝叶斯对小样本数据非常友好。不需要几十万条标注数据几千条样本就能训练出一个效果还不错的模型。对于个人项目或者冷启动场景这是巨大的优势。当然这并不意味着深度学习一无是处。如果垃圾邮件进化到语义层面比如用变长文本、图片内容、语义混淆朴素贝叶斯确实力不从心。但作为第一版系统朴素贝叶斯绝对是投入产出比最高的方案。1.2 系统的整体处理流程整个系统我拆成了四个环节这也是文本分类通用的流水线原始邮件文本 → 数据清洗与中文分词 → 特征向量化 → 朴素贝叶斯分类这里每一步都有细节讲究尤其是中文场景下的分词和向量化。如果直接拿英文那套空格切分来处理中文邮件出来的特征会非常碎发票代开这个完整的短语会被切成一堆单字丢掉了关键的上下文信息。所以我用了jieba分词处理中文文本再配合n-gram特征来捕获部分短语信息。我选择的工具链是Python sklearn jieba pandas这几样都是文本分类领域最常见的组合资料多、坑也少。训练数据使用的是公开的垃圾邮件数据集和自己在业务里收集的标注样本混合保证正负样本均衡。2. 朴素贝叶斯原理解读很多教程上来就是P(A|B) P(B|A)P(A)/P(B)然后直接扔公式就结束了。公式本身没错但真正用的时候有几个关键点必须理解透彻否则你连参数报错都看不懂。2.1 贝叶斯定理先讲清楚在垃圾邮件过滤的场景下我们要计算的是给定一封邮件的特征即分词后的词项向量它属于垃圾邮件类别的概率是多少。写成贝叶斯公式就是P(垃圾邮件 | 特征) P(特征 | 垃圾邮件) × P(垃圾邮件) / P(特征)其中P(垃圾邮件)是先验概率可以从训练集中直接统计出来。比如训练集里4000封邮件有1000封垃圾那先验就是0.25。P(特征|垃圾邮件)是似然概率指的是在垃圾邮件中观察到这组特征的概率。后验概率P(垃圾邮件|特征)才是我们真正要的一封邮件带着这些特征它是垃圾邮件的可能性有多大。朴素贝叶斯做的就是把这个问题转换成从训练数据中学出一堆词在垃圾/正常邮件里出现的频率然后对新邮件做累加判断。2.2 朴素到底朴素在哪朴素贝叶斯的朴素指的是一个极强的假设特征之间条件独立。也就是说它假设发票这个词出现和代开这个词出现在给定邮件类别的情况下互不影响。这个假设在真实世界几乎不成立——发票和代开显然经常一起出现——但讽刺的是正是这个错误的假设让算法变得极其简单高效。做这个假设的代价是损失了一些特征之间的相关性信息但收益是计算量大幅降维。原本要估计的联合概率分布复杂度是指数级的独立假设之后只需要分别估计每个单词的条件概率复杂度变成线性。在文本分类这种特征维度动辄几万的情况下这是唯一可行的方案。有意思的是虽然概率估计本身有偏差但分类任务关心的只是几个类别的相对大小排序偏差在比较过程中被抵消了一部分所以实际分类效果依然好得惊人。2.3 拉普拉斯平滑为什么重要这是初学者最容易忽略的细节。考虑一个情况测试集里出现了一个词中奖这个词在训练集的正常邮件里从未出现过只在垃圾邮件里出现过。那么按照最大似然估计P(中奖|正常邮件) 0这一项乘到整个后验概率计算里会导致整封邮件无论如何都被判为垃圾邮件。这就是零概率问题的致命影响。解决方法就是拉普拉斯平滑给每个特征的计数都加一个小的常数α通常是1P(词|类别) (词在类别中出现的次数 α) / (类别总词数 α × 词汇表大小)在sklearn的MultinomialNB里这个α就是构造函数里的alpha参数。默认值是1.0但实际调参时我发现中文文本里α取0.5甚至0.1有时候效果更好因为中文词汇表很大α1会让概率分布过于均匀削弱了真正有区分度的词的影响。这个问题在后面调参部分再细说。3. 实战用sklearn构建垃圾邮件过滤器原理搞清楚了下面进入实战环节。我用的Python版本是3.10sklearn版本2.1.2jieba 0.42.1。如果你的环境不太一样代码逻辑基本是通用的不用太纠结版本号。3.1 环境准备与依赖安装如果你还没装好Python环境先确认基础环境没问题。我用的是virtualenv创建独立环境避免和系统Python打架python -m venv spam_env source spam_env/bin/activate # Windows下是 spam_env\Scripts\activate pip install scikit-learn jieba pandas这里有个小建议如果你只是做实验用pip直接安装就行。如果是要部署到生产环境建议再把模型序列化这块做好把训练好的模型和向量器保存下来用joblib.dump导出预测的时候加载避免每次启动都重新训练。3.2 数据准备与中文分词我准备的数据集是CSV格式两列text邮件正文、label1为垃圾0为正常。这里贴上数据读取和分词的核心代码import pandas as pd import jieba data pd.read_csv(spam_data.csv, encodingutf-8) print(data[label].value_counts()) # 检查类别分布 def clean_text(text): # 去掉HTML标签 import re text re.sub(r[^], , str(text)) # 去掉URL和邮箱 text re.sub(rhttp\S|www\.\S|https?://\S, , text) text re.sub(r\S\S, , text) # 去掉特殊符号 text re.sub(r[^\w\u4e00-\u9fa5], , text) return text.strip() def cut_text(text): text clean_text(text) words jieba.cut(text) return .join([w for w in words if len(w) 1])分词这个环节我只保留了长度大于1的词过滤掉单个字。原因很直接单个字在邮件中大多是无意义的噪声而且会显著增加特征维度。中文里双字词、三字词才承载主要的语义信息。这里我踩过一个坑清洗顺序必须先把URL替换成占位符再处理特殊符号否则URL里包含的标点会污染分词结果。我自己实测下来先清洗HTML、URL、邮箱再做符号过滤最后分词的顺序是最稳妥的。3.3 特征工程TfidfVectorizer参数详解分词完成后下一步是把文本转换成模型能吃的数值特征。我选择的是TF-IDF而非简单的词频Bag of Words原因是TF-IDF能抑制停用词和常见词的影响放大真正有区分度的词语。from sklearn.feature_extraction.text import TfidfVectorizer vectorizer TfidfVectorizer( max_features5000, # 只保留出现频率最高的5000个特征控制维度 ngram_range(1, 2), # 单个词 双词组合同 min_df2, # 至少在2篇文档中出现过才保留 sublinear_tfTrue # 对词频做log缩放防止长文档的重复词占太大权重 ) X vectorizer.fit_transform(data[cut_text])这几个参数都值得展开讲讲max_features5000不是越大越好。我试过max_features20000训练时间翻了三倍但准确率只提升了0.2%。原因很简单出现频率极低的词大多是无意义的噪声保留它们只会增加维度灾难的风险。5000个特征对于大多数邮件分类场景已经完全够用。ngram_range(1, 2)这个参数让模型同时看到单个词和相邻两个词的组合。发票代开这个短语如果只用unigram会被拆成发票和代开两个词丢失顺序信息。加上bigram后模型能学到发票_代开这个组合特征对识别营销邮件帮助很大。sublinear_tfTrue这个参数建议打开。因为一封邮件里某个词出现10次和出现100次不代表它的重要程度就翻了10倍。用log做缩放后特征的数值分布更平滑不容易被长邮件里的高频词主导。3.4 模型训练完整代码特征向量化完成后到模型训练这一步就非常简洁了from sklearn.model_selection import train_test_split from sklearn.naive_bayes import MultinomialNB from sklearn.metrics import classification_report, confusion_matrix X_train, X_test, y_train, y_test train_test_split( X, data[label], test_size0.2, random_state42, stratifydata[label] ) model MultinomialNB(alpha0.5) model.fit(X_train, y_train) y_pred model.predict(X_test) print(classification_report(y_test, y_pred)) print(confusion_matrix(y_test, y_pred))这里要重点解释一下为什么用MultinomialNB而不是GaussianNB或BernoulliNB。这三种朴素贝叶斯对应不同的数据分布假设模型假设的分布适用场景GaussianNB特征符合高斯分布连续值特征不适合稀疏文本向量MultinomialNB特征符合多项式分布词频/词重要性计数文本分类首选BernoulliNB特征服从伯努利分布特征为二值词出现/未出现邮件文本经过TF-IDF向量化后每个位置的值是词项的重要性打分属于非负的计数型特征所以MultinomialNB是合理选择。用GaussianNB处理稀疏TF-IDF矩阵不仅慢而且效果会很差。3.5 模型评估与阈值调优训练完模型后不要只盯着accuracy看。垃圾邮件过滤场景下我更关注的是正常邮件的误判率。一封正常邮件被扔进垃圾箱后果比垃圾邮件漏进收件箱严重得多。看一下classification_report的输出重点看precision和recall的组合。我的经验是在这个项目里正常邮件类别0的precision至少要达到99%也就是说模型说这是正常邮件时99%以上是真的正常邮件。如果达不到可以通过调整model.predict_proba(X_test)得到的概率阈值来实现prob model.predict_proba(X_test)[:, 1] # 垃圾邮件的概率 y_pred_custom (prob 0.7).astype(int) # 将阈值从0.5提到0.7把阈值从默认的0.5提到0.7会让模型更保守只在有足够把握时才判为垃圾邮件从而减少误杀正常邮件的概率。当然代价是漏过一部分垃圾邮件这里需要根据实际业务去平衡。4. 常见问题与排坑实录做这个项目的过程中我遇到了好几个比较典型的坑写出来给后来者避避雷。4.1 中文编码与分词导致的报错新手最多遇到的是编码问题。CSV文件用pandas读取时如果没指定encodingutf-8Windows下很可能因为默认编码是GBK而报错。但这里有个反向的坑如果数据本身是GBK编码你硬用utf-8去读照样乱码。我的建议是拿到数据第一件事就是确认编码统一转成UTF-8。分词相关的报错最常见的两种一种是jieba没有正确加载用户词典导致专业术语被错误切分。比如发票这个词如果用户词典里没有可能被切成发和票。解决办法是维护一份自定义词典把业务相关的专有名词加进去jieba.load_userdict(custom_dict.txt) # 文件格式每行一个词可以带词频和词性发票 100 n另一种是分词速度太慢。如果邮件数量很大可以对jieba启用paddle模式或者用jieba.enable_parallel()开启并行分词实测速度能提升好几倍。4.2 类别不平衡导致模型偏向多数类垃圾邮件数据通常严重不平衡。比如正常邮件占90%垃圾邮件只占10%。如果直接训练模型会倾向把所有邮件都预测为正常类别因为这样整体准确率已经能达到90%但完全失去了过滤功能。解决这个问题有几个思路。第一在train_test_split时用stratify参数做分层抽样确保训练集和测试集的类别比例与原始数据一致这一点我在上面的代码里已经加入了。第二对多数类做欠采样或者对少数类做过采样。我自己实践下来在样本量足够的情况下欠采样比较简单有效。第三调整类别权重model MultinomialNB(class_prior[0.3, 0.7])或者用class_weight参数让模型在训练时给少数类的错误更大惩罚。不过MultinomialNB对class_weight的支持不像逻辑回归那么完善个人更推荐从数据层面解决。4.3 关于alpha调参的真实体验关于MultinomialNB的alpha参数说实话我刚开始直接用了默认值1.0没觉得有什么问题。后来一次业务调优时发现模型对某些营销特有词比如特价抢购的敏感度不够这才回头研究alpha的影响。alpha的本质是平滑强度。alpha越大所有词的概率估计越趋向均匀alpha越小词频之间的差异就越被放大。在中文邮件场景下我测试了alpha在0.01到1.0之间的表现发现0.3-0.5之间效果最好准确率比1.0时高0.5%左右主要体现在recall的提升上。如果你只有一小部分标注数据alpha适当调大一些0.8-1.0能防止过拟合。一个简单的验证方法把alpha设成不同值用交叉验证对比F1-score选最优的那个。sklearn里直接用GridSearchCV就能做from sklearn.model_selection import GridSearchCV param_grid {alpha: [0.01, 0.05, 0.1, 0.3, 0.5, 0.8, 1.0]} grid GridSearchCV(MultinomialNB(), param_grid, cv5, scoringf1) grid.fit(X_train, y_train) print(grid.best_params_)4.4 特征截断带来的信息丢失与应对max_features5000这个设置虽然能有效控制维度但也有副作用如果训练数据里出现频率最高的5000个词里没有某些垃圾邮件特定词汇比如新的诈骗话术词模型就会漏判。这就是为什么我建议特征维度要根据验证集效果动态调整而不是拍脑袋定死。更进一步的做法是在向量化之前先做一轮特征筛选把与标签相关性最强的Top-N个词挑出来再加进特征矩阵。sklearn的chi2卡方检验就很适合做这件事from sklearn.feature_selection import SelectKBest, chi2 selector SelectKBest(chi2, k3000) X_selected selector.fit_transform(X_train, y_train)卡方检验能衡量每个词与类别标签之间的独立性挑选出那些出现与否对类别判断影响最大的词。我在项目里试过用SelectKBest筛掉5000个低相关特征后模型的precision反而提升了因为噪声特征被有效抑制了。最后再分享两个小要点第一模型上线后我强烈建议加一个A/B测试的机制。不是所有垃圾邮件识别准确率提升就是好事要观察用户投诉率和误杀反馈。我在实际项目里发现用户对漏掉垃圾邮件的容忍度很高但对正常邮件被拦截的容忍度几乎为零。所以调参的时候别一味追求总准确率多算算误杀带来的代价。第二朴素贝叶斯给出来的概率值是相对的而不是绝对的。它说某封邮件是垃圾邮件的概率是0.9并不代表这封邮件真的有90%的概率是垃圾邮件。它只是说在这个模型看来这封邮件的特征分布与垃圾邮件的特征分布非常接近。所以在做业务决策时别直接拿这个概率当置信度用而是把它当作一个排序分数配合规则引擎一起做最终判定。这算是我做垃圾邮件过滤这几年最深的体会之一。本文还有配套的精品资源点击获取