人工智能基础知识笔记四十四：不平衡数据下的大模型训练----偏差机制、干预方案与校准陷阱

引言不平衡数据在大模型中真正的危害不是少数类准确率低这个表层现象而是梯度分布的系统性扭曲导致模型后验概率偏离真实频率——且这种偏离会在预训练、清洗、微调各环节被逐级放大。本文从机制出发穷举干预方案并重点拆解最容易被忽视的校准陷阱。一、后果分析偏差如何产生1.1 梯度主导与多数类偏置标准交叉熵损失下每个样本对梯度的贡献与其损失值成正比。当多数类占比为 1−π多数类在每轮迭代中贡献约 1−π的梯度信号。模型为最小化总体损失最优策略是优先拟合多数类的决策边界少数类的梯度被淹没。在大模型预训练中这一效应更隐蔽语言分布的不平衡高资源与低资源语言语料量可差数个数量级使模型对低资源语言的表征学习不足。多语言模型研究明确指出语料比例失衡是偏差的来源之一。1.2 少数类召回率下降这是梯度主导的直接后果。模型在少数类上的决策边界被多数类梯度推挤至过度保守的位置少数类样本被系统性判为多数类。漏洞检测任务中正负样本比可达 1:34不干预时模型将所有样本判为负类即可获得极低损失。大模型场景的差异传统中小模型可通过阈值调优部分补偿召回损失但大模型下游任务常以零样本或少样本部署阈值不可见或不可调召回下降更难被用户察觉。1.3 置信度校准失效最危险的后果校准指模型输出的置信度应等于实际正确率若模型以 0.9 置信度预测 100 个样本应有约 90 个正确。不平衡数据通过两条路径破坏校准路径一后验概率偏移。训练分布中类别先验 P(y) 偏离部署分布时模型学到的后验 P(y∣x)被先验拉偏。SMOTE 过采样的实证研究显示仅用 SMOTE 作为唯一干预时逻辑回归的误报数从 35 激增至 5,775165 倍而 ROC-AUC 几乎不变0.9806——这正是排序能力不变但概率偏移的操作性指纹。路径二ECE 本身在不平衡下失真。标准 ECE 按置信度分箱后以各箱样本占比加权。不平衡数据下绝大多数样本落入高置信区间且为多数类ECE 主要反映多数类的校准质量少数类的校准误差被掩盖。为此有研究提出 ECEImb在箱权重中混入均匀分布成分以强制覆盖少数类区间。大模型的加重因素神经网络预测趋于极端置信度趋近 0 或 1使分箱更加集中ECE 失真更严重。IEEE 2025 年的综述系统梳理了 60 种不平衡下的校准方法确认了该问题的普遍性。1.4 偏差在预训练、清洗、微调中的放大与固化预训练阶段语料不平衡不仅是类别层面更是语义簇层面。高频主题文档被过度代表表征空间向高频簇倾斜。传统 SMOTE 在此阶段不适用因为预训练没有显式类别标签。数据清洗阶段过滤低质量数据时少数群体的语言变体可能被系统性误判而剔除。例如非裔美国人英语在语言识别中可能被误标为非英语导致清洗后的干净数据中该群体代表性进一步下降。下游微调阶段若微调数据继承上游不平衡且仅用交叉熵微调预训练阶段已存在的表征偏差会被进一步强化。漏洞检测研究指出分类目标与生成目标纠缠时下一词预测目标会干扰分类输出需显式解耦。1.5 对公平性与高风险场景的具体影响在高风险场景中校准失效的危害远超分类错误。医疗诊断模型若对罕见病给出高置信错误预测临床医生无法通过置信度判断何时应转交人工。ECG 心律失常预测研究发现随机欠采样虽意在平衡数据但主要效果是恶化校准CNN 的校准指数从 0.014 升至 0.17作者明确建议临床预测模型应避免不平衡校正方法。金融风控中未校准的风险分数会导致对少数群体的系统性过度拒贷或过度放贷。二、解决方案四层干预与工作原理2.1 数据层面1随机过采样核心思想复制少数类样本以提升其在每批中的出现频率。工作原理采样概率从均匀分布改为按类别逆频率加权少数类被抽中概率从 π 提升至约 1/2梯度贡献比例相应上升。但复制样本产生完全相同的梯度方向等价于隐式加权未引入新信息。局限与大模型适用性过拟合风险高大模型参数量大重复样本的梯度记忆效应更强。推荐度低。2SMOTE 及其变体核心思想在少数类样本的 k 近邻之间线性插值生成合成样本。工作原理对少数类样本 Xi随机选取近邻 Xnn​合成 XnewXiλ(Xn−Xi)λ∼U(0,1)。这相当于在少数类局部流形上做凸组合扩展其决策区域。变体包括 Borderline-SMOTE仅边界合成、ADASYN按难度自适应。局限与大模型适用性高维空间中近邻距离趋同插值可能偏离真实流形。实证显示 SMOTE 对校准的影响模型依赖对逻辑回归导致误报暴增 165 倍对 HistGradientBoosting 反而改善 F1。对 token 序列直接插值无意义。推荐度中低应视为小规模基线而非生产默认。3随机欠采样核心思想丢弃部分多数类样本以降低不平衡比。工作原理从多数类无放回抽样等价于对多数类施加 0/1 硬权重。局限与大模型适用性关键风险是损害校准——ECG 研究显示校准指数从 0.014 恶化至 0.17。大模型训练数据规模极大丢弃多数类意味着浪费海量预训练信号。推荐度低。4集成欠采样EasyEnsemble、Balanced Bagging核心思想多数类分块每块与全部少数类组合训练一个基学习器集成输出。工作原理设多数类 N 个、少数类 M 个划分多数类为 k 块每块约 M个训练 k 个面对近似平衡数据的基学习器最终预测取平均或投票。每个基学习器保留不同的多数类信息集成后信息损失被部分补偿。局限与大模型适用性表格数据上优于简单欠采样但需训练多个模型成本高。大模型微调成本高训练 k个完整模型不现实。推荐度极低。5生成模型合成少数类扩散模型 / LLM / GAN / VAE核心思想学习少数类分布从中采样生成新样本。工作原理扩散模型学习去噪过程 Pθ(Xt−1∣Xt)从噪声逐步还原为样本条件生成可指定类别。相比 SMOTE 的局部线性插值生成模型能建模非线性流形生成更多样且更接近真实分布的样本。综述列出 DeepSMOTE自编码器SMOTE、cGAN、WGAN-GP、扩散-SMOTE 混合等方法。局限与大模型适用性纯合成数据训练会导致模型崩溃与知识退化需混合相当比例真实数据少数类本身稀缺时生成模型也难以学好。LLM 可用于生成低资源语言合成语料但必须与真实数据混合并过滤低质量样本。推荐度中高有条件。6基于聚类的采样重平衡ClusterClip核心思想在语义簇层面而非类别标签层面平衡采样概率。工作原理用预训练嵌入模型对全部样本编码K-Means 聚类得到语义簇。采样时赋予小簇稀有语义更高抽中概率并对每个样本设置最大重复次数clip防止过拟合。ClusterClip 在语言模型预训练与微调中验证了有效性。局限与大模型适用性无需标签即可发现长尾语义分布适合预训练阶段聚类数与嵌入模型选择影响效果。这是少数直接针对大模型预训练不平衡设计的方案。推荐度高。2.2 算法/损失层面1代价敏感学习 / 类权重核心思想在损失函数中为少数类赋予更高权重。工作原理将交叉熵改为其中。少数类梯度贡献按权重放大等价于改变类先验。局限与大模型适用性实现极简无需改变数据与 GPU 训练管线完全兼容。但静态权重效果有限长尾分类消融显示平方根加权与有效样本量加权相对基线的提升边际权重过大会牺牲多数类性能并可能损害校准。推荐度高作为首选低成本基线。2Focal Loss核心思想动态降低容易分类样本的权重使优化聚焦难分类样本。工作原理。当样本已被正确分类且 pt 接近 1 时趋近 0梯度被抑制少数类通常 pt 较低相对权重被保留。控制抑制强度实验显示2.5 时 Macro-F1 最优过低则多数类仍主导过高则损害多数类特征学习。局限与大模型适用性需调参在某些任务上 Focal Loss 反而最不稳定、种子间方差最大对校准的影响不明确可能使已正确样本置信度进一步推向极端。预训练中因易分样本定义不清晰不直接适用。推荐度中高下游微调。3解耦分类目标与生成目标针对 LLM 微调核心思想LLM 做分类微调时移除下一词预测目标仅保留分类损失。工作原理标准 LLM 微调同时优化生成与分类目标生成目标在分类任务中引入无关梯度不平衡时可能干扰决策边界。漏洞检测研究将分类损失视为生成目标交叉熵的最后一项显式剥离生成目标使权重更新完全由分类目标驱动。局限与大模型适用性适用于 LLM 分类下游任务对生成式任务本身不适用。是 LLM 分类微调中值得优先尝试的轻量改动。推荐度高特定场景。2.3 训练策略层面1Self-Paced EnsembleSPE核心思想迭代欠采样多数类每轮保留当前模型最难分类的多数类样本逐步构建集成。工作原理从随机欠采样的多数类子集开始训练基学习器再根据当前集成的预测难度重新选择多数类样本使后续基学习器聚焦于靠近边界的难分多数类而非随机丢弃。局限与大模型适用性在多个不平衡表格数据集上表现稳健、对不平衡比不敏感但需要训练多个基学习器成本与大模型不匹配。推荐度低。2元学习与提示调优核心思想少样本条件下通过元学习优化初始化或提示参数使模型快速适应少数类。工作原理元学习如 MAML学习对任务变化敏感的初始化参数少量梯度步即可适应新类别提示调优在输入前添加可学习连续提示向量仅优化这些参数。在极端不平衡少样本场景中配合阈值移动可提升少数类召回。局限与大模型适用性适合 LLM 下游少样本任务但元学习训练复杂、提示调优可解释性有限。推荐度中高少样本直接证据有限需在实际管线验证。2.4 评估与后处理层面1阈值移动核心思想训练后根据类别先验调整决策阈值纠正先验偏移。工作原理模型输出的 P(y1∣x)隐含训练集先验 πtrain​。若部署先验为 πtest调整后概率等价于在 logit 上加减常数。不改变模型参数仅改变决策规则。局限与大模型适用性零成本对恢复概率校准有直接效果但需知道或估计部署先验且对排序能力无影响AUC 不变。部署时必要。推荐度高。2后校准等渗回归、温度缩放核心思想在验证集上学习映射将模型原始输出校准为可靠概率。工作原理温度缩放在 softmax 前除以温度 Tpsoftmax(z/T)T1软化置信度T1 锐化在验证集上优化 T以最小化 NLL。等渗回归拟合单调非减函数 f 使 f(p) 与真实频率对齐非参数、更灵活但需足够验证数据。局限与大模型适用性后处理不改变排序能力校准集本身的不平衡可能导致映射偏向多数类。医疗场景推荐参数模型用 Plattsigmoid缩放树集成用等渗回归。温度缩放是 LLM 校准的标准做法。推荐度高。3分层评估与指标选择核心思想用对少数类敏感的指标替代准确率并单独报告校准指标与子组性能。工作原理AUPRC关注正类精度-召回权衡不受大量真负类稀释Macro-F1对各类 F1 等权平均少数类表现差会直接拉低ECE/ECEImb衡量校准后者通过混入均匀箱权重强制覆盖少数类区间分层评估按关键子组分别计算指标防止聚合指标掩盖少数子组的失败。大模型适用性这是评估策略而非训练干预但决定优化方向。推荐度必要。三、方案对比与选型建议3.1 对比表方案干预层面工作原理一句话计算成本过拟合风险是否损害校准大模型推荐度随机过采样数据复制少数类样本提升其梯度占比低高中低SMOTE 及变体数据少数类近邻间线性插值扩展决策区域中O(N2)中模型依赖中低随机欠采样数据丢弃多数类样本以平衡分布低低信息损失高损害低集成欠采样数据多数类分块与少数类组合训练多基学习器集成高kk 倍模型低中极低生成模型合成数据扩散/GAN/LLM 学习分布并采样新样本高中需混合真实数据中中高有条件聚类采样ClusterClip数据语义簇层面均衡采样 重复上限防过拟合中低clip 约束低高类权重/代价敏感算法损失中少数类乘更高权重极低低中高基线Focal Loss算法动态抑制易分样本梯度低中γγ 需调参不确定中高解耦分类/生成目标算法剥离 LLM 微调中的下一词预测损失低低低高LLM 分类SPE训练策略迭代难例多数类欠采样 集成高低中低元学习/提示调优训练策略优化初始化或提示参数以快速适应少数类中高中不确定中高少样本阈值移动后处理按先验比调整 logit 偏移极低无改善高温度缩放/等渗回归后处理验证集学习置信度映射低低改善高分层评估AUPRC/ECE评估用少数类敏感指标替代准确率无额外成本无不适用度量必要3.2 三种情形下的首选组合情形一少数类极度稀缺如罕见病诊断少数类 1%首选生成模型合成条件性 类权重 温度缩放 子组 ECE 监控。理由稀缺场景下 SMOTE 插值空间过小近邻本身不可靠生成模型可借助预训练知识生成更多样样本但必须混合真实数据防崩溃。类权重作为低成本基线防止梯度淹没。温度缩放在验证集纠正概率偏移。必须监控子组 ECE因为聚合 ECE 会被多数类主导而掩盖少数类的灾难性校准失败。ECG 研究的教训明确欠采样在此场景不应使用。情形二数据规模极大如 LLM 预训练数十亿样本首选聚类采样重平衡ClusterClip 类 解耦分类目标若为分类微调 阈值移动。理由任何需要复制/丢弃样本或训练多个模型的方案在规模上不可行。聚类采样在语义簇层面操作计算开销可控一次性聚类 采样概率调整且不改变数据总量。预训练阶段无标签SMOTE/生成模型不适用。若为分类微调解耦生成目标是轻量有效的改动。情形三高风险场景且需可解释性如医疗、金融授信首选类权重温和 后校准Platt/等渗 分层评估 SHAP 解释审计。理由可解释性要求排除生成模型合成样本来源不可解释和复杂集成多模型平均难以归因。类权重是透明的损失修改。后校准确保风险分数可直接用于决策阈值。分层评估与 SHAP 审计可揭示少数子组的系统性失败。实证支持在 Lending Club 等高风险数据上LightGBM 配合校准与 SHAP 审计的流程被验证为可操作框架。避免使用 SMOTE-ENN 等可能恶化校准的方法。四、关键陷阱陷阱一只看准确率。不平衡数据下将全部样本判为多数类即可获得 1−π 的准确率。若 π0.0199% 准确率的模型可能完全无预测价值。正确做法主指标用 AUPRC 或 Macro-F1并同时报告校准指标与子组指标。陷阱二盲目使用 SMOTE。SMOTE 效果高度依赖模型与数据。信用卡欺诈数据上SMOTE 使逻辑回归误报增加 165 倍而 AUC 不变SMOTE-ENN 在某些数据集上增加了 Brier 与 ECE。正确做法先跑类权重基线若不足再考虑 SMOTE且必须在验证集上检查校准变化而不仅看 F1。陷阱三纯合成数据训练。仅用生成模型产出的数据训练会导致模型崩溃与知识退化。语言模型的合成数据研究表明需混合至少 50%–75% 真实数据才能维持语言保真与校准。正确做法合成数据仅作补充保留真实数据主体对合成样本做质量过滤。陷阱四简单欠采样后直接部署。ECG 研究结论明确随机欠采样未改善任何模型的判别力主要效果是恶化校准降低临床效用。正确做法若必须降采样使用集成式欠采样而非随机丢弃或在欠采样后强制做后校准。陷阱五用标准 ECE 评估不平衡模型的校准。标准 ECE 的箱权重被多数类主导可能显示校准良好而少数类完全失准。正确做法使用 ECEImb​ 或按子组分别计算 ECE。陷阱六忽略训练与部署的先验偏移。在平衡后数据上训练、在不平衡真实分布上部署模型输出概率会系统性偏高。正确做法部署前用阈值移动按先验比校正或在真实分布验证集上重新校准。结语不平衡数据下的大模型训练核心不是把少数类样本变多而是让梯度分布与后验概率在训练、评估、部署三个环节保持一致。一个务实的起点是优先采用类权重配合 AUPRC 与校准指标进行模型选择谨慎使用简单重采样若少数类极度稀缺且可获取高质量生成模型以混合真实数据的方式引入合成样本无论何种路径校准监控与分层评估都应贯穿始终——因为最危险的失败从来不是模型说我不知道而是它以极高的置信度说错了答案。