transformers流程

下面分两大完整流程流程 1最简单场景 —— 只用现成 Transformer 模型做推理预测只调用接口最少代码流程 2完整工程流程 ——数据集 微调训练 验证 推理落地工业完整全链路绝大多数研发用这套全程统一所有进出模型的数据都是 PyTorch 张量把每一步 Python 做什么、对应代码模块、张量流向拆解得清清楚楚。前置统一依赖所有代码最开头必导入固定包这是基础python运行import torchfrom torch.utils.data import Dataset, DataLoaderfrom transformers import AutoTokenizer, AutoModelForSequenceClassification流程一极简推理全步骤无训练拿来即用适合用现成大模型做翻译、分类、特征提取不训练、不改模型。一共 6 步。环境准备安装 torch、transformers导入依赖包。加载工具自动下载预训练权重 配套分词器AutoModel/AutoTokenizer。分词器作用自然语言字符串 → 纯数字数组。原始文本输入调用 tokenizer 编码return_tensors“pt” 直接输出 PyTorch 张量input_ids、attention_mask 都是张量。张量搬运按需把张量挪到 GPU.to (device)加速。模型前向计算把张量字典喂进 model模型内部完成多头注意力、Encoder 全量计算输出新张量。加 with torch.no_grad () 关闭梯度节省显存、提速。后处理分类对输出张量做 argmax 拿到类别生成类GPT张量转回文字特征提取直接拿 hidden_state 张量使用。极简链路总结文字 → 分词器 → 张量 → 模型计算 → 输出张量 → 转回可读结果全程不需要写网络结构、不需要写反向传播。流程二完整全链路训练微调 验证 保存 推理最常用全流程一共 11 个标准大步骤每个步骤写明 Python 做什么、张量如何流转、哪部分是 transformers、哪部分是手写 PyTorch。步骤 1环境初始化、硬件配置手写 Python 代码判断设备cuda 有 GPU 就用 GPU否则 CPU定义 device。导入所有依赖torch、数据集工具、transformers 工具。无张量只是环境配置。步骤 2加载预训练模型与分词器调用 transformers 接口python运行tokenizer AutoTokenizer.from_pretrained(“bert-base”)model AutoModelForSequenceClassification.from_pretrained(“bert-base”, num_labels2)model model.to(device) # 模型整体搬到GPU网络主干Transformer Encoder、多头注意力、LN、FFN全部封装不用手写只需要你指定分类类别数其余结构黑盒调用。步骤 3自定义数据集必须手写 Pythontransformers 不提供读数据自建 Python 类继承 torch Dataset手写代码读取本地文件 csv/txt/json加载原始文本 标签__getitem__内部调用分词器把单条文本转为数字数组返回编码数组 标签后续会整体拼成张量。核心数据读取、业务清洗全部手写分词依旧调用 transformers 工具。步骤 4构建 DataLoader 批次加载器原生 PyTorch 手写手写代码划分训练集、验证集用 DataLoader 打包设置 batch 批次大小、shuffle 打乱DataLoader 自动把一批多条数据堆叠成批量张量。关键点进入模型的都是批量四维 / 三维张量分批送入 GPU避免一次性显存爆炸。步骤 5定义优化器、训练超参PyTorch 手写和 transformers 无关手写 Python设定学习率、训练轮数 epoch选择优化器 AdamW绑定模型所有可训练参数python运行optimizer torch.optim.AdamW(model.parameters(), lr2e-5)可训练参数本质都是模型内部多维张量requires_gradTrue训练靠优化器更新张量数值。步骤 6循环训练总框架双层循环手写整个训练逻辑核心外层循环遍历每一轮 epoch内层循环遍历 DataLoader 每一个 batch 批次逐批训练。单批次内部固定 7 小步完整梯度闭环取出批次字典input_ids、mask、labels全部是张量张量搬运到 GPUbatch {k:v.to (device) for k,v in batch.items ()}梯度清零optimizer.zero_grad ()清空上一轮梯度前向传播将张量送入 model模型自动计算预测值 loss 损失值loss 是 0 维张量反向传播loss.backward ()整条 Transformer 链路自动求梯度所有参数张量带上梯度梯度优化optimizer.step ()自动修改模型权重张量完成参数优化记录 loss打印日志。这一步是 PyTorch 自动微分的完整闭环transformers 只提供网络训练循环全手写。步骤 7每轮结束跑验证集手写 Python 评估model.eval () 开启评估模式with torch.no_grad () 禁止计算梯度只做前向遍历验证集所有 batch张量进模型得到预测张量手写代码统计正确率、精确率等指标对比训练 loss 和验证 loss判断过拟合。步骤 8模型保存二选一调用 transformers 自带 save_pretrained保存模型权重 分词器整套文件后续可以直接重载原生 torch.save只存权重张量参数。步骤 9训练结束模型重载推理准备需要再次调用 from_pretrained 读取本地保存的权重把训练好的权重张量重新加载进网络。步骤 10线上推理复用流程一逻辑单条文本 → tokenizer 编码成张量 → GPU 前向推理 → 输出张量解析成业务结果。训练的全部目的就是让模型权重张量被优化到最优推理时直接用这批最优张量。步骤 11可选工程补充全部手写 Python按需额外写代码张量精度转换FP16 半精度、INT8 量化降低硬件开销模型导出 ONNX把 Transformer 网络 张量流转固化适配 RU / 嵌入式部署多卡分布式训练、批量并发推理自定义注意力、修改 Transformer 层手写新的 Attention 层替换原生代码。按「张量流转」重新极简串一遍全链路原始文字文件 → 清洗 (Python 手写) → 分词转张量 (transformers) → 分批批量张量 (PyTorch) → 送入 Transformer 网络 (transformers 封装)训练阶段张量前向算 loss → loss 反向求梯度 → 更新权重张量 (PyTorch 手写循环)验证张量前向算指标不更新权重最终固化最优权重张量推理时输入新张量输出结果区分清楚哪块是调用接口哪块必须手写代码表格模块 实现方 是否手写代码 张量角色Transformer 主干注意力、Encoder transformers 内部 不用写调用 权重是张量输入输出是张量分词文字转数字 transformers 调用少量代码 输出网络输入张量读文件、数据清洗、数据集 自己 Python 必须手写 组装成张量训练循环、优化器、反向传播 PyTorch 原生 必须手写 依靠张量梯度完成优化推理、张量后处理解析结果 混合 少量手写 张量转业务结果量化、导出、部署适配 自己手写 按需手写 张量格式改造适配硬件