CAIL2018法律智能挑战赛：从TextCNN到Attention的罪名预测实战

简介这是一份中国法研杯法律智能挑战赛CAIL2018的参赛源码与学习说明适合计算机、数学、电子信息等专业学生用于竞赛入门、算法对比、项目复现也可作为课程设计与毕业设计的参考素材。压缩包共30个文件包含18个Python源码文件、10张训练成绩与模型结构示意图、1份README学习说明及Git忽略配置整体仅2.36MB便于下载后直接调试。目前已有112人学习下载可供参考。内容围绕罪名预测、法条推荐等典型任务展开模型实现包括TextCNN、注意力机制、BiGRU等并覆盖数据切分、序列化、标签处理、数据增强到模型训练与预测评估的完整流程其中数据增强部分还提供事实打乱、罪名替换、相关法条增强等技巧配合预测演示脚本和成绩截图能够帮助读者快速理解CAIL2018的解题思路与代码组织方式便于在此基础上进一步扩展改动。1. CAIL2018一堆法律文书怎么变成模型能学的“罪名预测”训练场如果你是第一次听说“中国法研杯法律智能挑战赛”CAIL这个名字先放下“法律”两个字带来的距离感。CAIL2018是2018年第一届比赛赛题落得很实在给你一段刑事案件的案情描述事实认定部分让模型预测三个东西——这个案子判什么罪、引用了哪几条法条、刑期大概多少个月。它没有让你做复杂的证据推理也不需要懂法学本质上就是一个中文短文本的多分类问题外加一个回归问题。最妙的是官方提供的训练数据就是脱敏后的真实裁判文书规模在268万条左右字段天然就是“事实描述 罪名 法条 刑期”这种干净的监督学习格式。这个标题里“参赛源码学习说明”的价值恰恰在于它把一次真实的参赛工程实践打包成了一个可复现的项目既有数据预处理代码也有模型训练脚本还有成绩评估逻辑。对刚入坑NLP的人来说这是一份少见的、不用自己从裁判文书网站爬数据的实操材料对有经验的人来说这是研究法律文本特征和长文本分类技巧的现成benchmark。这篇文章我按自己实际做过的路径来拆从数据格式、任务定义、模型选择到训练细节、评估指标和那些让人翻车的坑最后落到如果你想把这个方向做深应该往哪走。2. 赛题与数据先弄懂三个子任务怎么求值再谈模型能拿多少分2.1 三个任务一个数据集罪名预测、法条推荐、刑期预测的输入输出长什么样CAIL2018的核心场景来自“中国裁判文书网”的刑事判决书官方做了脱敏和结构化处理。每一条样本大致包含以下几个字段fact案情事实描述一段几百字到上千字的自然语言比如“被告人张三因琐事与被害人李四发生争执持刀将李四砍伤……”这是模型的唯一输入。accusation罪名列表一个样本可能对应多个罪名比如“故意伤害罪、寻衅滋事罪”是一个多标签问题。articles适用的法条编号列表对应刑法条文比如“第234条、第293条”同样是多标签。term刑期信息被拆成了三个子字段year年、month月、death是否死刑、life是否无期。比如判了三年六个月就是year3, month6。所以三个子任务的定义就非常清晰了任务输入输出问题类型罪名预测factaccusation可多个多标签文本分类法条推荐factarticles可多个多标签文本分类刑期预测fact刑期区间多分类按区间离散化或回归值得注意的是刑期预测。官方把刑期处理成了一个“区间预测”问题将刑期分成若干个区间比如“一年以下”“一年到三年”“三年到五年”……“十年以上”“无期”等然后把无期、死刑也各算一个区间。这样做的好处是避开回归任务里对极度不均衡长尾的敏感坏处是区间切分本身有信息损失。官方给定的评测指标就是这样离散化后的分类准确率来算的。我一般拿到数据之后第一件事不是直接跑模型而是先做一轮标签统计。罪名有202个不同版本略有差异但分布极不均匀排名前十几的罪名占了绝大多数样本“危险驾驶罪”“盗窃罪”“故意伤害罪”这些是绝对的头部而大量低频罪名只有寥寥几百条。法条的情况几乎一样。这直接决定了后面要不要做类别权重、要不要用层次分类。建议把罪名频次做成Top 50的柱状图看一眼那种“长尾拖到几乎看不见”的图就是后续所有策略的出发点。2.2 评测指标的坑micro-F1还是macro-F1直接决定了模型优化的方向CAIL2018的官方评测把每个子任务拆开看罪名预测用F1值评估法条推荐也用F1值刑期预测则用准确率Accuracy。这个选择看起来常规但里面的坑在于F1有两种计算方式micro-F1把所有类别的预测结果汇总到一张混淆矩阵里算精确率和召回率它偏向高频类别macro-F1先算每个类别的F1再取平均它对低频类别更敏感。官方文档当时的表述偏向 macro-F1作为参赛者大家几乎都直接瞄着 macro 调模型因为你最终对比的排行榜是它而不是自己验证集上好看的 micro-F1。这带来的直接后果是单纯用TextCNN压准确率是会被带偏的。TextCNN对高频类别的拟合能力很强但它的池化策略对低频类别并不友好如果你把优化目标盯在micro上模型会把所有容易混淆的低频罪名统一预测成几个高频罪名macro-F1会掉得非常难看。我在做消融实验时发现同样的模型结构如果只调分类阈值让micro-F1上涨2个点macro-F1反而能掉1.5个点是常态。所以拿到代码之后第一件事不是改模型而是先确认评估脚本里的F1计算方式。如果你是复现别人的参赛代码一定先看它的valid评估函数是怎么写的如果f1_score(y_true, y_pred, averagemicro)那它考试成绩可能不错但它和你说的“模型好”不是一回事。我会在项目里同时打印micro和macro两组指标并且在验证集上以macro-F1为准去做early stopping。另一个数据层面的坑是罪名和法条天然具有共现关系——某种罪几乎一定对应某几条法条。这既是先验知识也是陷阱。如果你做多任务学习同时预测罪名和法条模型很容易学成“看到法条特征就猜罪名”导致在那些本来有争议的样本上反而更差。我的习惯是不共享底层特征至少在分类头之前做一次特征分离把隐藏层切片分开而不是简单地把两个任务拼在同一个全连接层上做多输出。3. 从零跑通一个基线数据预处理、词表构建与TextCNN训练的最小实现3.1 把JSON变成训练集jieba分词、去停用词和文本截断的三个参数CAIL2018的原始数据格式是一行一个JSON字段结构类似{fact: ……, meta: {accusation: [故意伤害罪], articles: [234], term: {year: 3}}}。训练、验证、测试三个文件分开给出测试集标签是隐藏的需要提交到官方平台。第一步就是写脚本把事实描述抽出来把标签转成分类索引。常见做法是用jieba做中文分词。法律文本里人名、地名、机构名非常多jieba默认词表对“被告人”“本院认为”“公诉机关指控”这类法律套话处理得不错但对“寻衅滋事”“非法拘禁”这类罪名相关的动词短语切得比较碎。我一般会做两件事一是往jieba自定义词典里加入刑法罪名表和常见法律术语大概一两百个词就够了二是对高频法律套话做停用词过滤但不要把“无”“未”“不”之类的否定词加进停用词表在“未遂”“不作为”“不知情”这些表达里否定前缀直接影响罪名判断。然后是文本长度的问题。刑事判决书的事实描述短则几十字长则上千字而Facebook的fastText、TextCNN的输入一般建议控制在128256个token以内。我通常的做法是先统计一下训练集长度的分布把95分位长度作为截断阈值超过的从尾部截断。注意这里有一个信息损失罪名相关的关键动作往往发生在事实描述的后半段“本院认为”之后的定性描述之前所以如果阈值设得太短等于强行删掉了模型判断罪名的关键依据。我自己用256作为初值把长度超过256的样本打印几条出来看了一眼确认“故意伤害罪”和“聚众斗殴罪”的关键区分词没有被截掉才定下来。构建词表是紧接着的一步。用jieba.lcut把所有训练文本切词统计词频按词频排序保留出现次数不少于2的词作为词表。序列化后保存成vocab.txt。这里有两个小细节一是低频词的截断阈值出现1次的词大概率是人名、地名和数字直接丢弃可以大幅压缩输入维度二是要把PAD、UNK未登录词两个特殊token放在词表最开始索引0给PAD索引1给UNK。代码大致是import json import jieba from collections import Counter # 加载训练数据每行一条JSON def load_data(path): texts, labels [], [] with open(path, r, encodingutf-8) as f: for line in f: obj json.loads(line.strip()) texts.append(obj[fact]) # 标签统一转为字符串列表方便后续编码 labels.append(obj[meta][accusation]) return texts, labels # 分词 构建词表 def build_vocab(texts, min_freq2, max_len256): counter Counter() for text in texts: words jieba.lcut(text)[:max_len] # 截断防止极端长文本拖慢速度 counter.update(words) # 只保留出现次数 min_freq 的词 vocab [PAD, UNK] [w for w, c in counter.items() if c min_freq] return vocab train_texts, train_labels load_data(data/CAIL2018/train.json) vocab build_vocab(train_texts, min_freq2) print(词表大小:, len(vocab))逻辑说明load_data把每行JSON解析出来只取fact和meta.accusation两个字段build_vocab用jieba分词后统计词频过滤低频词把PAD和UNK排在词表最前面。min_freq2是过滤阈值过大会丢失法律术语过小会增加无效输入实践中23比较稳。max_len256是截断阈值直接影响后续embedding层和卷积层的输入尺寸不建议小于128。3.2 标签编码与数据集划分多标签的二进制向量怎么生成罪名的多标签编码不用OneHot那种多类单标签的方式而是用多热Multi-Hot向量每个样本对应一个长度等于罪名总数的二进制向量对应罪名位置为1其余为0。这要求先统计训练集里所有出现过的罪名建立罪名-索引的映射。注意这个映射要在训练集上建立而不是在全部数据上建立——测试集里可能出现的生僻罪名在线上评测时本来就是按未知处理的你能做的只是训练集里见过的那些。标签编码代码def encode_labels(labels, label2id): n len(label2id) encoded np.zeros(n, dtypenp.float32) for lab in labels: if lab in label2id: encoded[label2id[lab]] 1.0 return encoded # 建立罪名到索引的映射 all_labels sorted(set([lab for sublist in train_labels for lab in sublist])) label2id {lab: i for i, lab in enumerate(all_labels)} print(罪名种类:, len(label2id))参数说明label2id的索引顺序一旦确定就不能再变训练和预测必须用同一份映射否则标签错位会导致分数直接崩掉。多热向量之所以用float32而不是int是为了方便后续直接和模型输出的sigmoid概率向量做binary_cross_entropy损失计算。数据集划分上官方本来就给了train/valid/test三个文件但很多参赛者会因为官方验证集和测试集分布不同而在本地重切一次。我的习惯是直接用官方train做训练从train里切出5%做本地验证官方valid留作最终模型选择的参考。切分要保证多标签样本的标签分布大致一致可以用sklearn.model_selection.train_test_split的stratify参数按主罪名做分层但多标签无法直接stratify就退而求其次按第一个罪名最常见罪名分层。这样划分后本地验证集的macro-F1和官方valid的macro-F1之间会有一个稳定的偏移大约12个点记住这个偏移量后面调参时用本地验证集做快速迭代用官方valid做最终确认能省大量时间。3.3 TextCNN跑通完整训练embedding维度、卷积核大小与早停策略TextCNN是解决CAIL2018这类短文本多标签分类的“及格线模型”结构简单、训练快而且对中文法律文本的局部n-gram特征比如“持刀”“殴打”“非法占有”捕捉能力相当够用。核心结构是词嵌入层 - 多组不同尺寸的卷积核如2/3/4做一维卷积 - 全局最大池化 - 拼接 - 全连接层 - sigmoid输出。先写一个数据迭代器把文本变成索引序列def text_to_ids(text, vocab, max_len256): w2id {w: i for i, w in enumerate(vocab)} ids [w2id.get(w, 1) for w in jieba.lcut(text)[:max_len]] # 1 是 UNK if len(ids) max_len: ids [0] * (max_len - len(ids)) # 0 是 PAD return ids[:max_len]这段逻辑很简单分词后查词表映射成索引未登录词用UNK索引1不够长的用PAD索引0补到固定长度。这样每个batch送入模型时形状都是(batch_size, max_len)不需要动态padding方便和nn.Embedding配合使用。模型定义用PyTorch写一个最精简的版本import torch import torch.nn as nn import torch.nn.functional as F class TextCNN(nn.Module): def __init__(self, vocab_size, num_labels, embed_dim200, num_filters128, max_len256): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim, padding_idx0) # 三种卷积核尺寸分别捕捉 bigram/trigram/4-gram 局部特征 self.convs nn.ModuleList([ nn.Conv1d(embed_dim, num_filters, kernel_sizek, paddingk // 2) for k in (2, 3, 4) ]) self.fc nn.Linear(num_filters * 3, num_labels) self.dropout nn.Dropout(0.3) def forward(self, x): # x: (batch, max_len) emb self.embedding(x) # (batch, max_len, embed_dim) emb emb.transpose(1, 2) # Conv1d 需要 (batch, channels, length) pooled [] for conv in self.convs: c F.relu(conv(emb)) # (batch, num_filters, max_len) p F.max_pool1d(c, c.size(2)).squeeze(2) pooled.append(p) out torch.cat(pooled, dim1) # (batch, num_filters * 3) out self.dropout(out) return self.fc(out) # 最后接 sigmoid BCE 损失逻辑说明embedding层把词索引转成稠密向量padding_idx0表示PAD位置的向量不参与梯度更新三个卷积核尺寸分别对应2-gram、3-gram、4-gram的局部窗口paddingk//2保证卷积后长度不变让最大池化能覆盖整个序列最后把三路池化结果拼接后过一个全连接层输出维度等于罪名数量。这里的sigmoid激活不写在模型forward里而是在损失计算时用BCEWithLogitsLoss合并数值上更稳定。训练循环的关键参数如下batch_size64太小梯度噪声大太大显存吃紧且收敛变慢。learning_rate1e-3用Adam优化器。TextCNN参数少1e-3是常用起点如果你换BERT要降到2e-5这个量级。epochs最多15轮但大概率在第57轮就开始过拟合所以必须做早停。early_stopping_patience连续3轮验证集macro-F1不升就停并回滚到最佳checkpoint。类别不平衡如果不做任何处理模型会对高频罪名过拟合。一个低成本做法是给BCE损失加pos_weight数值设置成类别总数 / 该类别样本数对低频罪名加大错分惩罚。我最开始在官方验证集上跑出0.76的macro-F1之后把num_filters从64调到128embed_dim从100调到200macro-F1涨到0.79。更大的卷积核尺寸5/6没有带来提升反而让低频类别的特征被稀释。这说明模型容量不是越大越好而是在特定数据规模下有一个甜点区。4. 提升分数从TextCNN到BiLSTMAttention哪些改动真正有效4.1 为什么换BiLSTMAttention长距离依赖对罪名判断的左右手TextCNN擅长捕捉局部n-gram特征但刑事案情中常有关键信息跨越多句话相互呼应的情况——比如“被害人经抢救无效死亡”在文本前部“被告人主动投案”在文本后部中间隔了几百个字。这种长距离依赖是TextCNN的短板而BiLSTM天然能建模序列依赖。加上Attention机制后模型可以学会在预测“故意杀人罪”的时候把注意力更多放在“死亡”“故意”“剥夺生命”这些词上。结构上BiLSTM把每个token的正向和反向隐藏状态拼接得到每个位置的上下文表示然后过一个注意力层计算每个位置对最终预测的贡献权重加权求和得到句子表示再进全连接层。代码里BiLSTM的隐藏层维度我通常会设为256双向拼接后是512Attention维度用128。这里有一个很实用的调参经验不要一开始就上BERT。CAIL2018这种任务BERT比TextCNN在macro-F1上能高出46个点但训练时间和显存消耗也翻了不止10倍。做实验的时候先用BiLSTMAttention把数据预处理、评估流程、阈值调优都跑顺再做BERT的迁移学习性价比高很多。4.2 Attention层怎么加拼接还是加权dropout放在哪里不翻车Attention层在BiLSTM之上的实现可以是这样的class Attention(nn.Module): def __init__(self, hidden_size): super().__init__() self.query nn.Linear(hidden_size, 1) def forward(self, lstm_output): # lstm_output: (batch, seq_len, hidden_size) weights self.query(lstm_output).squeeze(-1) # (batch, seq_len) weights F.softmax(weights, dim1) attended torch.bmm(weights.unsqueeze(1), lstm_output).squeeze(1) return attended逻辑说明query线性层把每个位置的隐藏状态压缩成一个标量分数softmax归一化成权重再用矩阵乘法把序列加权求和成一个向量。这个Attention属于“加性注意力”的简化版参数只有一个线性层训练起来非常快。但要注意BiLSTM的输出维度是正反向拼接后的维度这里也就是hidden_size如果你把正反向维度搞混query的输入维度会报错。完整的BiLSTMAttention模型里边dropout放在三个位置embedding之后、BiLSTM输出之后、全连接层之前。embedding后的dropout设0.2BiLSTM后的dropout设0.3过拟合猛的时候把第二个提到0.5。不要把dropout加在Attention的softmax权重上——那会把注意力分布打碎模型学不到聚焦能力。换模型之后我用同样的训练配置跑BiLSTMAttention验证集macro-F1从0.79涨到0.82左右。一个额外有效的技巧是把罪名预测和法条推荐做成共享BiLSTM底层、分开分类头的多任务模型——共享特征提取层但每个任务有自己的Attention和全连接层能让两个任务互相正则化。实测在CAIL2018上多任务版本比两个单任务模型分别训练的F1都高0.51个点而且训练时间几乎没增。4.3 阈值搜索预测出概率之后别急着用0.5一刀切多标签分类的输出层一般用sigmoid每个标签独立输出一个01之间的概率。但阈值设在0.5几乎一定不是最优解。低频罪名的概率普遍偏低用0.5会把大量低频罪名的正确预测过滤掉高频罪名又容易在多个标签上给出偏高概率产生互相竞争。我通常的做法是在验证集上做一个阈值搜索。把每个标签的阈值在0.10.9范围内以0.05为步长遍历对每个候选阈值组合计算验证集上的macro-F1取最优阈值。严格来说每个标签最优阈值不同但参数空间太大容易过拟合可以只设置两个阈值一个给高频罪名样本数大于某个阈值一个给低频罪名样本数小于等于某个阈值。from sklearn.metrics import f1_score import numpy as np def threshold_search(probs, truths, high_freq_ids): best_score 0.0 best_th (0.5, 0.5) for th_high in np.arange(0.3, 0.8, 0.05): for th_low in np.arange(0.1, 0.6, 0.05): preds np.zeros_like(probs) preds[:, high_freq_ids] (probs[:, high_freq_ids] th_high).astype(int) preds[:, ~high_freq_ids] (probs[:, ~high_freq_ids] th_low).astype(int) score f1_score(truths, preds, averagemacro) if score best_score: best_score, best_th score, (th_high, th_low) return best_score, best_th逻辑说明high_freq_ids是一个布尔向量标记哪些标签属于高频类别。高频阈值和低频阈值分开搜索避免低频标签被0.5一刀切。~high_freq_ids对布尔向量取反得到低频标签索引。这个搜索在验证集上做得到的最优阈值再拿到测试集上使用。注意搜索步长不能太细否则阈值组合空间爆炸。我实测0.05的步长在202个标签、5000条验证样本上跑完这个双重循环只需几秒钟。5. 避坑与排查复现CAIL2018代码时最常踩的五个坑5.1 标签与法条编号错位JSON里的meta字段解析错了分数直接对不上现象训练时loss正常下降但验证集F1死活不超过0.3。原因这是最隐蔽的坑。CAIL原始数据里meta.articles字段是法条编号的列表如[234, 232]但有些样本的罪名或法条可能是空列表或者在JSON解析时你取了错误的层级。更常见的是把罪名列表和法条列表的索引搞混了你在encode_labels时遍历的是obj[meta][accusation]但解析articles时写成了obj[accusation]导致标签向量错位。解决写一个数据完整性校验脚本检查len(encoded_vector)是否等于标签总数并且随机抽取10条样本把预测结果里的标签名打印出来人工看一眼。我自己的习惯是在预处理后把train.json的前20条样本的标签向量和原始罪名名对一遍再开始训练。这一步花5分钟能省掉后面一整天排查方向。5.2 长度截断导致关键信息丢失把“故意杀人未遂”截成了“故意杀人”现象模型在验证集上把大量“故意伤害罪”预测成“故意杀人罪”而且集中在长文本样本上。原因文本长度截断阈值设得太短比如128而判决书中“未遂”“中止”“防卫过当”这些决定罪名定性的词往往出现在事实描述的后半段。截断等于把“非既遂”的关键证据删掉了模型只能看到前半段的暴力行为描述自然会偏向更重的罪名。解决把截断阈值改到256或512先跑一个实验对比两种阈值的macro-F1。如果512涨了就继续往上涨到1024试。务必看一下被判错的样本的平均长度如果错样本平均长度明显大于对样本基本可以确定是截断问题。另一个补救方案是“头尾拼接”把长文本的前128和后128拼接成256中间部分丢弃保留关键的开头事实和结尾定性。5.3 验证集和测试集分布差异本地0.85线上一看只有0.78现象本地验证集macro-F1达到0.85提交到比赛平台测试集只有0.78差距远大于正常浮动。原因官方train/valid/test三个文件不是从同一分布里随机切分的而是按时间或其他规则划分的。训练集里的低频罪名在测试集里的分布可能完全不同甚至会出现训练集没见过的罪名当作未知处理。这种情况下本地验证集上过拟合的类别权重在测试集上完全失效。解决训练时不要把本地验证集的分数当成最终目标而是留出一部分训练数据做“模拟测试集”它的分布要尽量和官方测试集对齐。另一个实用技巧是只保留top N个高频罪名参与预测把低频罪名全部归为“其他”类。这个处理会让你的macro-F1在训练集分布上有微小下降但在测试集上更稳因为低频罪名的噪声远大于信号。5.4 类别权重设置过猛低频罪名F1涨了高频罪名跌穿地板现象加了pos_weight之后低频罪名确实涨了2个点但“危险驾驶罪”这种头部罪名的F1从0.95跌到0.85总分反而下降。原因pos_weight的值如果设成样本总数/类别样本数低频类别的惩罚倍数会大到几百甚至几千模型为了降低损失把所有样本都往低频类别上偏高频类别反而被牺牲。解决对pos_weight做裁剪clip把最大值限制在1050之间或者对频次取对数后再计算权重。更稳妥的方案是用focal loss替代BCE——它通过调节“难易样本权重”让模型更关注被错分的样本不像pos_weight那样生硬地改变标签比例。我在CAIL上实测focal loss的gamma2比任何手工设置的pos_weight效果都要好而且不需要额外调参。5.5 模型复现时随机种子不固定同一个代码跑两次分数差0.02以上现象什么参数都没改只是重新跑了一次训练验证集F1从0.82变成了0.80。原因PyTorch的nn.Conv1d和nn.LSTM在GPU上使用cuDNN的随机初始化如果没设随机种子权重初始化和Dropout的随机性都会影响结果。在数据规模不大、类别不均衡的情况下这种波动会被放大到不能被忽略的程度。解决在训练脚本开头固定随机种子import random import numpy as np import torch def set_seed(seed42): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) torch.backends.cudnn.deterministic True torch.backends.cudnn.benchmark False逻辑说明torch.backends.cudnn.deterministic True让cuDNN使用确定性算法benchmark False禁止cuDNN在多个卷积算法之间自动寻找最快的一个因为那个最优选择在不同batch下可能不同。代价是训练速度大约降1015%但换来的是结果可复现。在消融实验时这个代价完全值得。6. 进一步榨干数据一个真正管用的“法条-罪名联合分类”技巧如果上面的步骤你都跑通了并且拿到了一个像样的baseline那接下来值得花费一天时间去做的事情是用罪名和法条的共现关系做一次后处理规则修正。这个技巧不需要改模型结构只需要在预测完成后加一个小脚本但实测能让macro-F1再提升1.52个点。思路是这样的训练集里统计每个罪名对应的高频法条做成一个映射表。预测时如果模型以高置信度预测出了罪名A但对应影射表中法条B的概率偏低就做一次“投票增强”轻微上调法条B的概率。反过来也成立——如果某条法条的概率极高而对应的高频罪名没有被预测出来就把这个罪名的概率调高。这种共现信息的价值在于它其实是模型已经学过但用得不够彻底的知识后处理规则把它显式地补上。# 从训练集统计罪名 - 法条共现频次 cooccur {} # {accusation: {article: count}} for obj in train_data: accs obj[meta][accusation] arts obj[meta][articles] for a in accs: cooccur.setdefault(a, Counter()) for r in arts: cooccur[a][r] 1 # 预测时如果罪名A的置信度 0.7把共现法条的概率提升 def rule_adjust(pred_acc, pred_art, acc_id, art_id, alpha0.1): acc_name id2acc[acc_id] for art, cnt in cooccur[acc_name].most_common(3): if cnt 100: # 共现次数太少不处理免得引入噪声 art_idx art2id[art] pred_art[art_idx] min(1.0, pred_art[art_idx] alpha) return pred_art参数说明alpha是提升幅度一般取0.050.1之间。太小没效果太大容易把本来不相关的标签顶过阈值。cnt 100这个过滤条件很关键低频共现关系本身就是过拟合的产物必须裁掉。我实测alpha0.1时验证集法条推荐macro-F1从0.84涨到0.86继续调大到0.2就开始有标签被“误伤”反而跌回0.845。这个技巧真正再展开一点还能往“层次分类”方向走把202个罪名按刑法分则的章节危害公共安全罪、侵犯财产罪等等先聚类成十几个大类先预测大类再在大类内部预测细罪名。这个思路能显著缓解大类之间的混淆因为很多罪名在小样本下唯一的区分线索就是它所属的章节。实现上只需要给每类罪名加一个“父类标签”模型输出改成“父类分类头 子类分类头”。CAIL2018这个项目作为法律NLP的入门数据集最大的价值在于它同时包含了长文本分类、多标签分类和标签共现三个经典问题而且数据量足够你跑到模型“真正过拟合”而不是“还没收敛”。如果你把它吃透了再去看后来的CAIL其他年份或者其他领域的法律文本任务会发现核心的预处理、评估、阈值搜索这些经验全部可以平移。我自己做这个方向的最终习惯是任何模型改动都在一个固定的验证切片上做对比任何“我觉得应该有效”的trick都先用消融实验打一遍脸再决定去留。法律文本里的噪声多到超出想象不较真分数就会教做人。希望这篇笔记能帮你在下载完这份源码之后少走一圈我已经走过的弯路直接把手上的模型跑出配得上这份数据的分数。本文还有配套的精品资源点击获取