Python中文NLP实战：从分词、特征工程到文本分类与情感分析全链路

简介这份资源面向希望系统掌握中文自然语言处理的Python开发者与人工智能学习者从环境搭建、分词、词性标注、命名实体识别到情感分析、主题建模与深度学习模型均有覆盖兼顾基础概念与实战项目适合初学者入门也能为有经验的开发者提供中文语料处理与模型落地的参考。压缩包共42个文件约53.58MB以txt语料与词典、json模型与分类数据、csv评论与留言数据为主另含jpg示意图、pkl模型文件、utf8词典及ipynb实战笔记覆盖金庸小说语料、新闻语料、停用词与情感词典等素材便于直接开展分词、情感分析与主题建模实验。目前已有10699人学习下载内容包含可运行的Notebook、预训练模型与多类中文语料能帮助读者快速复现文本预处理、意图识别与聊天机器人等案例在动手实践中理解NLP流程与调参思路。1. 中文 NLP 到底难在哪从一次分词翻车说起很多开发者第一次用 Python 做中文自然语言处理都会经历同一个场景拿一段中文文本丢进英文那套流程按空格切词结果整段话变成一个 token模型直接懵掉。这不是代码写错了而是中文 NLP 和英文 NLP 从第一步就不一样——中文没有天然的词边界分词本身就是一道需要单独处理的工序。这个标题讲的就是用 Python 把中文文本从原始字符串一路处理到可建模特征再落到分类、关键词提取、情感判断这些真实任务上。它适合两类人一类是刚转中文 NLP、被分词和编码坑过的工程师另一类是想把中文处理能力接进自己业务系统、但不确定技术选型和参数怎么定的从业者。下面按「先跑通最小链路再逐个环节调参最后避坑」的顺序展开每一步都给可复现的命令和代码。2. 中文文本预处理从原始字符串到干净语料中文 NLP 的预处理比英文多好几道工序编码、分词、停用词、归一化任何一步偷懒都会在后面模型效果上还债。这一章先把数据清洗这条链路走通后面所有任务都建立在这份干净语料上。2.1 编码与全半角归一化别让不可见字符毁掉分词中文文本最常见的脏数据是全角标点、零宽字符、混合编码。全角逗号「」和半角逗号「,」在分词器眼里是两个东西零宽空格更是会让同一个词被切成两段。我一般先做一轮归一化再进分词。import re import unicodedata def normalize_text(text: str) - str: # 1. Unicode NFKC 归一化把全角字母数字、兼容字符统一成标准形式 text unicodedata.normalize(NFKC, text) # 2. 去掉零宽字符零宽空格、零宽连接符等这类字符肉眼不可见但会切断词 text re.sub(r[\u200b-\u200f\u2028-\u202f\ufeff], , text) # 3. 连续空白压成一个空格避免后续按空白切分时产生空串 text re.sub(r\s, , text).strip() return text raw 自然语言处理\u200b 是 人工智能的重要方向。 print(normalize_text(raw)) # 输出自然语言处理 是 人工智能,的重要方向。逻辑说明NFKC 会把全角「」转成半角「,」把全角数字「」转成「123」这一步对后续正则和分词都友好。零宽字符用 Unicode 区间批量清除比逐个 replace 可靠。参数上\u200b-\u200f覆盖零宽空格到零宽右标记\ufeff是 BOM中文语料从 Excel 或网页复制时经常带。注意 NFKC 会改变某些特殊符号的语义如果你的任务依赖原始符号形态比如数学公式要跳过这一步或只对正文做。2.2 分词选型jieba、pkuseg、HanLP 怎么选分词是中文 NLP 的分水岭。常见做法有三种jieba 轻量、上手快、词典可自定义pkuseg 在特定领域新闻、医疗精度更高但依赖模型文件HanLP 功能全、带预训练模型但体积大。选型看三点部署环境、领域匹配度、是否需要自定义词典。import jieba # 加载自定义词典每行「词 词频 词性」词频可省略 jieba.load_userdict(user_dict.txt) text 某实验室在模拟项目X中验证了跨平台系统的图像处理Demo # 精确模式适合大多数分析任务 seg_default jieba.lcut(text) # 全模式把成词可能都切出来适合召回场景 seg_full jieba.lcut(text, cut_allTrue) # 搜索引擎模式在精确模式基础上对长词再切适合索引 seg_search jieba.lcut_for_search(text) print(seg_default) print(seg_full) print(seg_search)逻辑说明lcut返回列表cut返回生成器大数据量时用生成器省内存。load_userdict必须在分词前调用词典文件用 UTF-8 编码词频给高一点能让自定义词优先成词。参数上cut_allTrue会切出大量冗余词只适合做召回候选不要直接喂给分类模型。搜索引擎模式对「跨平台系统」这类长词会再切成「跨平台」「系统」做关键词提取时反而有用。如果领域是医疗或法律jieba 的通用词典不够换 pkuseg 并指定领域模型代价是首次加载慢、内存占用高。2.3 停用词与词性过滤把噪声挡在特征之外分词之后是一堆「的、了、在、是」这些词在词频统计和 TF-IDF 里权重虚高必须过滤。停用词表可以自己攒也可以用公开的通用表但要注意领域差异——「上涨」在金融情感分析里是关键词不能当停用词删掉。import jieba.posseg as pseg # 只保留名词、动词、形容词过滤虚词 KEEP_POS {n, nr, ns, nt, nz, v, vn, a, ad, an} def filter_tokens(text: str, stopwords: set) - list: result [] for word, flag in pseg.cut(text): if word in stopwords: continue if len(word) 2: # 单字多数是虚词或噪声 continue if flag not in KEEP_POS: continue result.append(word) return result stopwords {的, 了, 在, 是, 和, 与, 对} print(filter_tokens(某实验室在模拟项目X中验证了跨平台系统的图像处理Demo, stopwords)) # 输出[实验室, 模拟, 项目, 验证, 跨平台, 系统, 图像处理, Demo]逻辑说明pseg.cut同时返回词和词性比先分词再查词性表省一次遍历。KEEP_POS里的n系列覆盖普通名词、人名、地名、机构名、其他专名v系列覆盖动词a系列覆盖形容词。参数上len(word) 2这个阈值对中文有效但英文缩写如「AI」会被误杀如果语料中英混合改成len(word) 2 and not word.isascii()。停用词表建议按任务维护多份通用分析一份、情感分析一份别用同一份打天下。3. 特征工程把中文词变成模型能吃的数字预处理完还是字符串模型要的是向量。这一章讲三种主流特征方案词袋、TF-IDF、词向量以及它们各自适合什么任务、参数怎么调。3.1 词袋与 TF-IDF小数据量下的稳妥选择词袋模型把每篇文档表示成词频向量简单但有效。TF-IDF 在此基础上压制高频通用词、提升稀有词权重是文本分类的经典基线。scikit-learn 的TfidfVectorizer支持自定义分词器正好接上上一章的 jieba。from sklearn.feature_extraction.text import TfidfVectorizer import jieba def jieba_tokenizer(text: str) - list: return [w for w in jieba.lcut(text) if len(w) 1] corpus [ 跨平台系统的图像处理模块性能稳定, 图像处理Demo在模拟项目中运行正常, 跨平台系统需要兼容多种图像格式, ] vectorizer TfidfVectorizer( tokenizerjieba_tokenizer, max_features5000, # 只保留权重最高的 5000 个词 min_df1, # 至少在 1 篇文档出现小语料设为 1 max_df0.9, # 出现在 90% 以上文档的词视为无区分度丢弃 ngram_range(1, 2), # 同时考虑单字词和双字词组合 sublinear_tfTrue, # 用 1log(tf) 替代原始 tf抑制高频词 ) X vectorizer.fit_transform(corpus) print(X.shape) # (3, N) 三篇文档N 个特征 print(vectorizer.get_feature_names_out()[:10])逻辑说明tokenizer传入自定义函数后TfidfVectorizer不再做默认的英文切分。max_features控制特征维度中文语料词量大不限制会导致矩阵稀疏且训练慢。min_df和max_df是过滤噪声词的关键小语料min_df1大语料可以设 2 或 3 去掉只出现一次的词。ngram_range(1,2)能捕捉「图像处理」这类双词组合但会让特征数翻倍内存紧张时设(1,1)。sublinear_tfTrue对长文档友好短文本可不开。3.2 词向量从 Word2Vec 到预训练模型TF-IDF 的短板是不懂语义「图像处理」和「图像识别」在它眼里毫无关系。词向量把词映射到稠密空间语义相近的词距离近。常见做法是用 gensim 在自有语料上训 Word2Vec或者直接加载预训练中文词向量。from gensim.models import Word2Vec import jieba # 假设 sentences 是分好词的列表每个元素是一篇文档的词列表 sentences [ [跨平台, 系统, 图像处理, 模块, 性能, 稳定], [图像处理, Demo, 模拟, 项目, 运行, 正常], [跨平台, 系统, 兼容, 图像, 格式], ] model Word2Vec( sentencessentences, vector_size100, # 词向量维度常用 100~300 window5, # 上下文窗口中文短句 3~5 够用 min_count1, # 小语料设为 1大语料设 5 过滤低频词 workers4, # 并行线程数按 CPU 核数调 sg1, # 1 用 Skip-gram0 用 CBOW小语料 Skip-gram 更好 epochs20, # 训练轮数语料小要多跑几轮 ) # 取「图像处理」的向量 vec model.wv[图像处理] print(vec.shape) # (100,) # 找相似词 print(model.wv.most_similar(图像处理, topn3))逻辑说明vector_size决定表达能力太小欠拟合太大在小语料上过拟合100 是稳妥起点。window控制上下文范围中文句子短5 能覆盖大部分搭配。sg1用 Skip-gram对低频词更友好代价是训练慢。min_count1只在语料极小时用正常语料设 5 能去掉拼写错误和噪声词。训练完的词向量可以按词取平均得到句向量但平均会丢语序信息短文本分类够用长文本建议上预训练模型。3.3 预训练模型接入BERT 中文版的正确打开方式数据量够、任务复杂时直接上预训练中文模型。HuggingFace 的 transformers 库加载中文 BERT配合 tokenizer 处理中文注意中文 BERT 用的是字级别 tokenizer不需要先分词。from transformers import BertTokenizer, BertModel import torch tokenizer BertTokenizer.from_pretrained(bert-base-chinese) model BertModel.from_pretrained(bert-base-chinese) text 跨平台系统的图像处理模块性能稳定 inputs tokenizer( text, return_tensorspt, paddingTrue, truncationTrue, max_length128, # 中文任务 128 覆盖大多数句子 ) with torch.no_grad(): outputs model(**inputs) # 取 [CLS] 位置的向量作为句向量 cls_vector outputs.last_hidden_state[:, 0, :] print(cls_vector.shape) # (1, 768)逻辑说明bert-base-chinese的 tokenizer 按字切分max_length128对多数中文句子够用长文档要分段或换 Longformer。paddingTrue在批量推理时对齐长度单条可关。truncationTrue防止超长报错。[CLS]向量常接一个线性层做分类也可以对所有 token 向量做平均。注意预训练模型首次下载需要网络模型文件几百 MB部署时要考虑缓存路径和加载时间。如果显存紧张用torch.no_grad()关梯度或者换 distil 版本。4. 三个落地任务分类、关键词、情感特征有了接下来把链路接到具体任务上。这一章给三个最常见任务的完整代码每个都能直接跑。4.1 文本分类从 TF-IDF 加逻辑回归到 BERT 微调文本分类是中文 NLP 最基础的任务。小数据量用 TF-IDF 加线性模型快且可解释数据上千条以上再考虑 BERT 微调。from sklearn.linear_model import LogisticRegression from sklearn.model_selection import train_test_split from sklearn.metrics import classification_report from sklearn.feature_extraction.text import TfidfVectorizer import jieba # 假设 texts 是原始文本列表labels 是对应标签 texts [跨平台系统运行稳定, 图像处理模块报错, 模拟项目验证通过, 系统兼容性有问题] labels [1, 0, 1, 0] def tokenize(text): return .join([w for w in jieba.lcut(text) if len(w) 1]) X TfidfVectorizer(tokenizertokenize, max_features3000).fit_transform(texts) X_train, X_test, y_train, y_test train_test_split(X, labels, test_size0.25, random_state42) clf LogisticRegression(C1.0, max_iter1000) clf.fit(X_train, y_train) pred clf.predict(X_test) print(classification_report(y_test, pred))逻辑说明C是正则化强度的倒数越小正则越强小数据量设 0.5 到 1.0 防过拟合。max_iter1000防止不收敛警告。tokenize里用空格连接是为了适配TfidfVectorizer的默认切分逻辑也可以直接传tokenizer参数。数据量到几千条以上换 BERT 微调在BertModel上加一个nn.Linear(768, num_classes)用AdamW优化器学习率设 2e-5 到 5e-5训练 3 到 5 轮。4.2 关键词提取TF-IDF、TextRank 与 YAKE 的取舍关键词提取用于摘要、标签、检索。TF-IDF 靠词频和逆文档频率TextRank 靠词共现图YAKE 靠统计特征无需语料。中文场景下 TextRank 对单篇文档友好TF-IDF 需要多篇文档做背景。import jieba.analyse text 跨平台系统的图像处理模块在模拟项目中性能稳定图像处理是核心功能。 # TF-IDF 提取需要 idf 语料不传则用内置 keywords_tfidf jieba.analyse.extract_tags(text, topK5, withWeightTrue) # TextRank 提取不需要外部语料 keywords_textrank jieba.analyse.textrank(text, topK5, withWeightTrue) print(TF-IDF:, keywords_tfidf) print(TextRank:, keywords_textrank)逻辑说明extract_tags的topK控制返回数量withWeightTrue返回权重便于排序。TF-IDF 不传idf_freq时用 jieba 内置的通用 IDF领域差异大时要自己训一份。textrank的allowPOS参数默认只保留名词和动词可以按需调整。单篇文档、没有背景语料时优先 TextRank有多篇文档、要做跨文档关键词对比时用 TF-IDF。YAKE 适合无监督快速提取但中文支持不如前两者成熟。4.3 情感分析规则、词典与模型的三层方案情感分析在评论、反馈场景用得多。中文情感分析有三条路规则匹配、情感词典、预训练模型。规则最快但覆盖窄词典需要维护模型效果最好但要有标注数据。# 基于情感词典的简单方案 positive_words {稳定, 正常, 通过, 优秀, 流畅} negative_words {报错, 问题, 崩溃, 卡顿, 失败} def sentiment_score(text: str) - int: words jieba.lcut(text) pos sum(1 for w in words if w in positive_words) neg sum(1 for w in words if w in negative_words) if pos neg: return 1 elif neg pos: return -1 return 0 print(sentiment_score(跨平台系统运行稳定图像处理正常)) # 1 print(sentiment_score(图像处理模块报错系统崩溃)) # -1逻辑说明词典方案的关键是词典质量和否定词处理上面这版没处理「不流畅」这类否定实际用要加否定词前缀判断。sentiment_score返回三分类也可以改成连续分数。数据量够时换 BERT 微调在[CLS]向量上接分类层标注几百到几千条就能出效果。词典和模型可以叠加模型输出概率词典做兜底和可解释性补充。5. 避坑与排查中文 NLP 最常见的五个翻车点这一章是血泪经验合集每条按「现象、原因、解决」写都是实际调试中反复遇到的。5.1 分词结果和预期不一致现象自定义词「跨平台系统」被切成「跨平台」「系统」或者「图像处理」被切成「图像」「处理」。原因jieba 默认词典没有这个词或者词频不够高。解决用load_userdict加载自定义词典词频给到 1000 以上或者用jieba.add_word(跨平台系统, freq1000, tagn)动态添加。注意词典要在所有分词操作前加载加载后再jieba.initialize()一次。5.2 TF-IDF 矩阵维度爆炸或全零现象fit_transform后矩阵列数上万或者某篇文档向量全是零。原因max_features没设或设太大或者分词后所有词都被min_df过滤。解决max_features按语料规模设 3000 到 10000min_df小语料设 1、大语料设 2 到 5。全零说明该文档的词都在停用词表或长度小于阈值检查分词和过滤逻辑。5.3 词向量训练后相似词全是噪声现象most_similar返回的词和查询词毫无关系。原因语料太小、min_count太低、epochs不够。解决语料至少几万句起步min_count设 5 过滤低频噪声epochs加到 30 到 50。小语料别硬训 Word2Vec直接用预训练词向量或 BERT。5.4 BERT 推理显存溢出现象加载模型后推理报 CUDA out of memory。原因max_length太大、批量太大、模型没释放。解决max_length按任务设 64 到 128批量设 8 到 16推理时用torch.no_grad()多条循环处理而不是一次全塞。显存实在紧张换bert-base-chinese的蒸馏版或者用 CPU 推理慢但能跑。5.5 训练集和测试集分布不一致导致指标虚高现象训练准确率 0.95测试掉到 0.6。原因train_test_split没设random_state导致每次划分不同或者数据本身有时间顺序、随机划分造成泄漏。解决固定random_state有时间属性的数据按时间切分分类任务用分层抽样stratifylabels。指标要看classification_report的每一类别只看准确率。6. 把中文 NLP 链路压进生产一个可复用的处理管道前面都是单点这一章把预处理、特征、模型串成一条可复用的管道并给一个验证方法。管道设计的原则是每一步可单独替换、可单独测试、中间结果可缓存。import joblib from sklearn.pipeline import Pipeline from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.linear_model import LogisticRegression import jieba def tokenize(text): return .join([w for w in jieba.lcut(text) if len(w) 1]) pipe Pipeline([ (tfidf, TfidfVectorizer(tokenizertokenize, max_features5000, min_df1)), (clf, LogisticRegression(C1.0, max_iter1000)), ]) # 训练 pipe.fit(train_texts, train_labels) # 保存整条管道推理时直接加载 joblib.dump(pipe, zh_nlp_pipeline.pkl) # 推理 loaded joblib.load(zh_nlp_pipeline.pkl) print(loaded.predict([跨平台系统运行稳定]))逻辑说明Pipeline把特征和模型绑在一起保存时用joblib序列化整条管道避免推理时重新 fit 向量化器导致特征维度不一致。tokenizer是自定义函数joblib能序列化顶层函数但 lambda 不行所以tokenize要定义在模块顶层。参数上max_features和C是主要调优对象用网格搜索在验证集上选。验证管道是否可靠我一般做三件事一是用同一批数据分别走管道和手工流程对比输出是否一致二是构造边界输入空字符串、纯标点、超长文本看是否报错三是把管道加载到干净环境跑一遍确认没有隐藏的全局依赖。这三步能挡掉大部分上线后才发现的问题。最后说个习惯中文 NLP 的坑大多不在模型而在数据和预处理。我每次接新任务先花半天把语料抽样看一遍统计词频、标点分布、异常字符再动手写模型。这个习惯帮我省下的调试时间比任何调参技巧都多。希望帮到你。本文还有配套的精品资源点击获取