机器学习类别不平衡问题：从SMOTE到代价敏感学习的实战解决方案

1. 项目概述当你的模型“偏爱”了多数派在机器学习的实战里尤其是分类任务我们常常会遇到一个令人头疼的“潜规则”模型会倾向于预测那些在数据集中出现次数更多的类别。比如在一个99%是正常交易、1%是欺诈交易的信用卡数据集上一个“傻瓜”模型只要永远预测“正常”就能轻松获得99%的准确率。这听起来很荒谬但却是类别不平衡问题最直观的体现。我们真正关心的往往是那些稀少的“少数派”——欺诈、疾病、故障信号等。如果模型学不会识别它们那么再高的整体准确率也毫无意义。“解决类别不平衡问题的方法综述”这个标题指向的正是机器学习从业者必须掌握的一套核心工具箱。它不是一个单一的技巧而是一套从数据层面、算法层面到评估层面进行系统性干预的组合拳。我处理过太多因为忽视这个问题而导致项目失败的案例一个癌症筛查模型因为健康样本过多对所有新样本都预测为“健康”一个工业缺陷检测系统对罕见缺陷类型视而不见。因此深入理解并灵活运用这些方法是构建一个健壮、公平且真正有用的分类器的关键。无论你是刚入门的数据科学爱好者还是正在为生产环境模型调优的工程师这篇文章将带你系统性地拆解各类方法的核心思想、适用场景以及那些只有踩过坑才知道的实操细节。2. 核心思路拆解从“数据”到“决策”的全链路视角解决类别不平衡问题绝不能只盯着数据本身。一个完整的思路应该贯穿机器学习工作流的始终。我们可以将其分为三个层次数据层、算法层和评估层。这三者并非互斥而是常常需要协同使用。数据层方法的核心思想是“动数据”。既然数据分布不平衡我们就通过人工手段调整训练集的类别分布使其趋向平衡从而让模型在学习时能“公平”地看待每个类别。这是最直观、也最常用的一类方法。算法层方法的核心思想是“改算法”。我们不改变数据本身而是通过修改机器学习算法的训练过程或目标函数让算法自身具备对少数类的“敏感性”。这类方法通常更优雅但实现复杂度可能更高。评估层方法的核心思想是“换尺子”。我们承认数据的不平衡性但不再使用准确率Accuracy这种会被多数类主导的指标转而使用更能反映模型对少数类识别能力的评估指标如精确率Precision、召回率Recall、F1-score特别是面向多类的宏平均Macro-average或针对特定少数类的评估。一个成熟的解决方案往往是先选择合适的评估指标设定目标评估层然后决定是采用重采样技术数据层还是使用代价敏感学习等算法算法层或是两者结合。例如在一个极度不平衡的场景下我可能会先采用SMOTE生成一些少数类样本数据层然后使用XGBoost并调整scale_pos_weight参数算法层最后以少数类的F1-score作为模型选择的最终标准评估层。3. 数据层方法详解重采样技术的艺术与陷阱数据层方法是实践中的第一道防线主要分为过采样和欠采样。3.1 过采样让少数派“发声”过采样通过增加少数类样本的数量来平衡数据集。最朴素的方法是随机过采样即随机复制已有的少数类样本。注意单纯的随机复制极易导致模型过拟合。因为模型会反复看到完全相同的样本从而将这些样本的特定噪声也当作规律学习在未见过的数据上表现会急剧下降。因此除非作为基线对比否则不建议在生产中使用纯随机过采样。为了解决过拟合问题SMOTE及其衍生算法成为了主流。SMOTE的基本思想不是在现有样本点上复制而是在特征空间中“创造”新的样本。对于每一个少数类样本SMOTE会找到它的k个最近邻同样是少数类然后在这条连线上随机选择一个点作为新样本。例如样本A的特征向量是[1, 2]其最近邻B是[2, 3]那么可能会在A和B的连线上生成一个新样本[1.5, 2.5]。# 使用imbalanced-learn库实现SMOTE的示例 from imblearn.over_sampling import SMOTE from sklearn.datasets import make_classification # 生成一个不平衡数据集 X, y make_classification(n_samples1000, weights[0.95, 0.05], random_state42) # 应用SMOTE smote SMOTE(random_state42) X_resampled, y_resampled smote.fit_resample(X, y) print(f原始数据分布: {np.bincount(y)}) print(fSMOTE后分布: {np.bincount(y_resampled)})SMOTE有很多变体如Borderline-SMOTE只对处于类别边界附近的困难样本进行过采样、ADASYN根据样本密度自适应地生成不同数量的新样本更关注难以学习的样本。选择哪种变体取决于数据特性如果少数类样本内部差异大分布稀疏ADASYN可能更好如果分类边界清晰但少数类样本少Borderline-SMOTE可能更合适。实操心得使用SMOTE时务必在训练集上拟合和转换然后使用同样的拟合器去转换验证集是错误的。正确的流程是先划分训练集和测试集只在训练集上应用SMOTE进行重采样测试集必须保持原始分布用于模拟真实场景下的模型性能评估。将重采样技术应用于整个数据集会导致严重的数据泄露使评估结果过于乐观。3.2 欠采样给多数派“瘦身”欠采样通过减少多数类样本的数量来平衡数据集。最简单的是随机欠采样即随机丢弃一部分多数类样本。注意随机欠采样最大的风险是信息丢失。丢弃的样本中可能包含了对定义分类边界至关重要的信息。如果多数类样本本身就不多或者数据非常珍贵欠采样可能不是好选择。为了更智能地丢弃样本衍生出了多种方法Tomek Links找到一对分属不同类别且彼此是最近邻的样本点称为Tomek Link通常认为这对点处于分类边界附近且可能是噪声或边界模糊点。常见的策略是移除其中的多数类样本从而让边界更清晰。Edited Nearest Neighbours对于每个样本检查其k个最近邻的类别。如果一个多数类样本的大部分邻居都属于少数类则移除它认为它是噪声类似地如果一个少数类样本被多数类邻居包围也可能被移除。Cluster Centroids使用聚类算法如K-Means对多数类进行聚类然后用每个簇的质心代表该簇的样本从而实现大幅度的、有代表性的欠采样。场景选择当你的多数类数据量极大且存在大量冗余或噪声时欠采样是高效的选择。例如从数千万条正常日志中筛选出与少数异常日志进行匹配分析时可以先对正常日志进行聚类欠采样极大减少计算开销。3.3 过采样与欠采样的结合SMOTEENN / SMOTETomek实践中单一方法可能有局限。结合过采样和欠采样的混合方法往往能取得更好效果。最经典的是SMOTEENN先使用SMOTE过采样少数类然后使用ENNEdited Nearest Neighbours清理过采样后可能产生的噪声样本包括少数类和多数类。SMOTETomek则是先SMOTE再移除Tomek Links。我的经验是在中等不平衡比例如1:10到1:100的数据集上混合方法通常比单一方法更稳健因为它同时缓解了过采样可能带来的噪声问题和欠采样可能带来的信息丢失问题。4. 算法层方法详解让模型“看见”少数类如果不想改动数据或者重采样效果不佳我们可以从模型本身入手。4.1 代价敏感学习这是最核心的算法层思想。其原理是为不同的分类错误赋予不同的“代价”。在类别不平衡问题中将少数类误分为多数类的代价False Negative应该远大于将多数类误分为少数类的代价False Positive。许多算法原生支持代价敏感学习逻辑回归/支持向量机可以通过class_weight参数设置。通常设置为‘balanced’算法会自动根据类别频率反比计算权重或者手动指定一个字典如{0: 1, 1: 10}意味着将类别1误判的代价是类别0的10倍。决策树及其集成算法如Scikit-learn的DecisionTreeClassifier、RandomForestClassifier、XGBoost、LightGBM都支持class_weight或类似的参数如XGBoost的scale_pos_weight。参数计算示例对于二分类scale_pos_weight的一个常用启发式设置是多数类样本数 / 少数类样本数。如果数据中正样本少数类有100个负样本多数类有900个那么scale_pos_weight可设为9。这告诉模型每犯一个漏报正样本的错误其“严重性”相当于犯9个误报负样本的错误。# 以XGBoost为例 import xgboost as xgb from sklearn.model_selection import train_test_split X_train, X_val, y_train, y_val train_test_split(X, y, test_size0.2, random_state42) # 计算权重 negative_count np.sum(y_train 0) positive_count np.sum(y_train 1) scale_pos_weight negative_count / positive_count model xgb.XGBClassifier( scale_pos_weightscale_pos_weight, eval_metriclogloss, # 在不平衡数据中AUC或F1可能比默认的logloss更好 use_label_encoderFalse ) model.fit(X_train, y_train)实操心得class_weight‘balanced’是一个很好的起点但它假设“代价与类别频率成反比”这一先验总是成立。有时业务上对少数类的重视程度可能远超其频率比例。例如在金融欺诈中即使欺诈率只有0.1%我们可能也愿意承担1000倍甚至更高的误报成本来捕捉它。这时就需要根据业务目标手动调整权重并通过验证集上的关键指标如召回率来精细调优。4.2 集成学习方法Bagging与Boosting的变体集成学习天然适合处理不平衡数据。基于Bagging的变体如BalancedRandomForest和BalancedBaggingClassifier来自imbalanced-learn库。它们在构建每棵决策树时不是从原始数据集中随机抽样而是进行欠采样或过采样确保每棵树的训练数据是平衡的。这样集成的结果既降低了方差又缓解了偏差。基于Boosting的变体如AdaBoost的改进算法AdaCost它在每次迭代更新样本权重时不仅考虑分类对错还考虑误分类的代价。XGBoost、LightGBM等现代梯度提升框架通过scale_pos_weight等参数也实现了代价敏感效果通常非常强大。选择建议对于结构化表格数据梯度提升决策树尤其是XGBoost或LightGBM配合scale_pos_weight是我解决不平衡分类问题的首选算法它们的表现通常优于单纯的采样简单模型。对于需要模型可解释性或数据量较小的场景BalancedRandomForest是一个优秀的选择。4.3 单类学习与异常检测在极端不平衡的情况下如1:10000有时可以换一个思路不将其视为分类问题而视为异常检测问题。我们只使用多数类样本视为“正常”数据来训练一个模型学习“正常”数据的分布模式。任何偏离该模式的样本都被视为“异常”即少数类。常用算法包括One-Class SVM在特征空间中寻找一个能将所有正常样本包含在内的最小超球体。孤立森林随机选择特征和分割点来“孤立”每一个样本。异常点由于特征值与正常点差异大通常能被更快地孤立出来路径更短。自编码器训练一个神经网络学习将正常数据压缩再重构。模型在正常数据上重构误差小在异常数据上重构误差大通过设定误差阈值来检测异常。注意异常检测方法通常用于无监督或半监督场景且假设“正常”样本占绝对主导且模式一致。如果多数类内部也存在显著差异这种方法效果会大打折扣。5. 评估层方法抛弃虚假的“准确率”在不平衡数据上准确率是最大的“谎言”。我们必须使用更合适的评估指标。5.1 混淆矩阵及其衍生指标一切始于混淆矩阵。对于一个二分类问题实际 \ 预测预测为正预测为负实际为正TP (真正例)FN (假负例)实际为负FP (假正例)TN (真负例)精确率Precision TP / (TP FP)。在所有预测为正的样本中有多少是真的正。它衡量的是预测的“准度”。在欺诈检测中高精确率意味着你发出的警报大部分都是真实的欺诈减少了误报带来的处理成本。召回率Recall TP / (TP FN)。在所有实际为正的样本中有多少被成功预测出来。它衡量的是模型的“查全率”。在疾病筛查中高召回率意味着尽可能少地漏掉病人。F1-ScoreF1 2 * (Precision * Recall) / (Precision Recall)。精确率和召回率的调和平均数。当两者都重要且需要找一个平衡点时使用。Fβ-ScoreF1的泛化形式允许你通过β参数来调整对召回率的偏好程度β1更看重召回率β1更看重精确率。5.2 ROC-AUC 与 PR-AUCROC曲线与AUC绘制真正例率TPR (Recall)vs. 假正例率FPR (FP / (FP TN))在不同分类阈值下的曲线。AUC表示模型将随机一个正样本排在随机一个负样本之前的概率。ROC-AUC对类别不平衡相对不敏感因为它的横纵坐标都是比例。PR曲线与AUC绘制精确率 vs. 召回率在不同分类阈值下的曲线。在不平衡数据中PR-AUC通常比ROC-AUC更具信息量。因为PR曲线聚焦于正样本少数类的性能而ROC曲线同时受多数类影响。当正样本非常稀少时一个微小的FP增长会导致精确率大幅下降这在PR曲线上会非常明显而在ROC曲线上FPR的变化可能看起来微不足道。实操建议在高度不平衡的数据集上优先使用PR-AUC作为模型选择和调优的核心指标。同时不要只看曲线下面积也要观察曲线形状特别是高召回率区域的精确率这决定了你在“尽可能多抓”的策略下需要付出多少误报的代价。5.3 多类别不平衡的评估当类别超过两个且不平衡时情况更复杂。Scikit-learn等库提供的precision_score,recall_score,f1_score函数有一个重要的average参数macro计算每个类别的指标然后取算术平均。它平等看待每个类别无论其样本多少。因此少数类的性能会显著影响宏平均指标。这是评估模型是否公平对待所有类别的关键指标。weighted计算每个类别的指标然后按每个类别的样本数加权平均。这相当于总体性能但会被大类别主导。micro先汇总所有类别的TP, FP, FN, TN再计算一个全局指标。在多分类中micro F1实际上等于总体准确率。报告策略对于多类不平衡问题我的标准报告模板是提供每个类别的精确率、召回率、F1同时提供宏平均F1和加权平均F1。宏平均F1告诉我模型在最差类别上的表现如何而加权平均F1更接近整体的业务影响。6. 实战流程与方案选型指南理论说了这么多实战中到底该怎么选、怎么做下面是一个我常用的决策流程和组合方案。6.1 诊断与评估基准建立首先量化不平衡程度。计算每个类别的样本数、占比。然后永远从一个简单的、不做任何处理的基准模型开始。例如使用逻辑回归或随机森林在原始数据上训练并使用宏平均F1和少数类的召回率作为评估基准。这个基准有两个作用1让你了解问题的难度2作为衡量后续所有改进方法的“锚点”。6.2 分层抽样与交叉验证的陷阱在划分训练集、验证集和测试集时必须使用分层抽样以确保每个集合中各类别的比例与原始数据集大致相同。这保证了评估的公平性。 更重要的是如果你在交叉验证内部使用重采样技术必须极其小心。正确的做法是在交叉验证的每一折重采样应只应用于该折的训练部分而不是整个数据。使用Pipeline与imblearn库可以优雅地避免这个陷阱。from imblearn.pipeline import make_pipeline from sklearn.model_selection import cross_val_score, StratifiedKFold # 创建一个包含SMOTE和分类器的流水线 pipeline make_pipeline( SMOTE(random_state42), RandomForestClassifier(n_estimators100, random_state42, class_weightbalanced) ) # 使用分层K折交叉验证 cv StratifiedKFold(n_splits5, shuffleTrue, random_state42) scores cross_val_score(pipeline, X, y, cvcv, scoringf1_macro) print(f交叉验证宏平均F1: {scores.mean():.3f} (/- {scores.std():.3f}))6.3 方法选型决策树面对一个具体问题你可以参考以下决策路径数据量评估多数类海量少数类稀缺考虑欠采样如Cluster Centroids或转为异常检测思路如孤立森林。优先使用代价敏感学习的集成模型如XGBoost。数据总量适中尝试过采样特别是SMOTE变体或混合采样。结合代价敏感学习。问题类型与业务目标需要高召回率如癌症筛查、漏洞检测优先保证召回率。可适当降低分类阈值使用F2-Scoreβ2作为优化指标。算法上可以加大少数类的权重或使用Borderline-SMOTE关注边界样本。需要高精确率如垃圾邮件过滤、推荐系统去重优先保证精确率。可适当提高分类阈值。算法上可以清理噪声如使用ENN欠采样并使用PR-AUC作为核心指标。需要平衡以F1-Score或宏平均F1为目标使用SMOTEENN等混合方法并调整算法中的类别权重。计算资源与时效性资源紧张需要快速迭代从代价敏感学习如设置class_weightbalanced开始这是最轻量级的改动。避免复杂的重采样。资源充足追求极致性能构建一个多方法实验框架系统性地比较不同重采样技术RandomOverSampler, SMOTE, ADASYN, Tomek Links等与不同算法逻辑回归、随机森林、XGBoost、LightGBM的组合使用嵌套交叉验证选择最佳组合。6.4 一个综合实战案例信用卡欺诈检测假设我们有一个经典的信用卡交易数据集欺诈率约为0.2%。基准模型用逻辑回归在原始数据上训练准确率99.8%但欺诈类的召回率仅为5%。这说明模型几乎没学到欺诈模式。第一轮改进 - 数据层在训练集上应用SMOTE将欺诈类过采样到与正常类相当。重新训练逻辑回归整体准确率下降到98%但欺诈类召回率提升到70%同时精确率也有15%。这是一个巨大进步但误报仍很多。第二轮改进 - 算法层换用XGBoost并设置scale_pos_weight为正常交易数/欺诈交易数约500。在不使用SMOTE的原始数据上训练欺诈类召回率达到75%精确率提升到20%。第三轮改进 - 组合与调优尝试SMOTE XGBoost的组合。通过网格搜索调整XGBoost的max_depth,learning_rate以及SMOTE的k_neighbors参数。最终模型在独立测试集上欺诈类召回率达到85%精确率为25%。决策与部署业务方评估后认为当前误报率精确率25%带来的审核成本可以接受但希望召回率能再提高。我们通过调整分类阈值将模型预测概率的阈值从默认的0.5降低到0.3使得召回率提升至92%精确率牺牲到18%。最终根据这个阈值部署模型并建立监控看板持续跟踪精确率、召回率以及线上业务指标。7. 常见陷阱、问题排查与高级技巧即使掌握了上述方法实践中依然会踩坑。下面是一些常见问题及我的排查经验。7.1 过采样后模型性能反而下降可能原因1过拟合。检查是否在整个数据集上做了重采样后才划分训练测试集这会导致严重的数据泄露。务必确保重采样只在训练集上进行。可能原因2生成了低质量或噪声样本。特别是当少数类样本数量极少或特征空间重叠严重时SMOTE生成的样本可能毫无意义。尝试使用SMOTE的变体如SMOTENC处理混合类型特征或SVMSMOTE使用SVM支持向量来指导样本生成。或者先使用欠采样清理多数类噪声再使用过采样。可能原因3评估指标不当。过采样后整体准确率下降是正常的因为平衡了数据。此时应重点关注少数类的召回率/精确率或宏平均F1。7.2 代价敏感学习中的权重应该设多少class_weightbalanced是一个安全的起点。但最佳权重是业务相关的。一个实用的调优方法是将少数类的权重设为1。将多数类的权重作为一个超参数进行搜索例如在[0.01, 0.1, 0.5, 1, 2, 5, 10]等范围内。使用交叉验证的宏平均F1或少数类召回率作为优化目标来寻找最佳权重。 记住权重之比反映的是误分类代价之比而非简单的样本数量反比。7.3 如何处理多类别且每个少数类都不平衡这是更复杂的场景。imbalanced-learn库中的RandomOverSampler和SMOTE等支持sampling_strategy参数可以指定一个字典为每个类别指定期望的样本数或比例。例如你可以设定让所有类别的样本数等于最大类的样本数或者指定一个特定的目标分布。 另一种策略是使用**“一对多”**方法为每个少数类训练一个二分类器将该类作为正类其余所有类作为负类然后综合这些分类器的结果。这种方法下每个二分类器都面临一个不平衡问题可以单独应用上述技术。7.4 模型校准问题重采样或代价敏感学习会改变训练数据的分布导致模型输出的概率不再校准即预测概率为0.8并不代表真实概率是80%。如果你需要精确的概率估计如风险评分在模型训练后需要在原始的、未重采样的验证集上使用CalibratedClassifierCV或Platt Scaling等方法对模型进行校准。7.5 高级技巧阈值移动这是最简单却常被忽视的技巧。在不平衡学习中默认的0.5分类阈值通常不是最优的。你可以根据业务需求直接在验证集上通过PR曲线或ROC曲线寻找最佳阈值。如果你想平衡精确率和召回率就找PR曲线上F1最大的点对应的阈值。如果你对误报有严格的成本约束就设定一个可接受的最低精确率然后找该精确率下召回率最高的阈值。 训练完成后在预测时使用model.predict_proba()获取概率然后与你找到的最佳阈值进行比较而非使用model.predict()。处理类别不平衡没有银弹它需要你深入理解数据、业务目标和算法原理。从建立一个可靠的评估基准开始系统地尝试数据重采样、算法调优和评估指标调整并将这些方法有机结合。记住最终的目标不是得到一个在平衡测试集上分数最高的模型而是得到一个在现实世界的不平衡数据流中能为你的业务创造最大价值的可靠系统。每一次调整都要问自己这个改动是让模型更贴近数据还是更贴近我们真正要解决的业务问题