PyTorch Seq2Seq教学框架：从注意力机制到工程化演进

1. 为什么一个“过时”的seq2seq框架至今仍是教学与工程边界的试金石你打开PyTorch官方教程首页翻到“Sequence-to-Sequence Modeling with Attention”那一节——代码行数不到300行模型结构用nn.Module手写Encoder和Decoder各自只有两层LSTM连torch.nn.Transformer的影子都见不到。可就在2024年春季学期MIT 6.86的NLP实践课、CMU 11-711的建模作业、甚至国内某Top3高校AI导论实验报告里它依然稳坐“第一个完整可运行模型”的位置。这不是技术怀旧而是一次精准的教学设计pytorch-seq2seq这个静态工程本质上不是为生产服务的模型库而是为人类认知建模服务的“思维脚手架”。我带过七届本科生做NLP项目从2017年用TensorFlow 1.x手写tf.nn.dynamic_rnn到2022年用HuggingFaceTrainer跑T5ForConditionalGeneration再到今年指导学生复现IBM Research早年开源的pytorch-seq2seq轻量级实现GitHub star 2.1k最后更新于2020年发现一个反直觉现象越“落后”的代码越能暴露工程化的真实成本。它不封装DataLoader的自动批处理不抽象Loss计算的梯度裁剪逻辑不提供ModelCheckpoint的云同步接口——所有这些“缺失”恰恰是教学型代码刻意保留的“认知留白”。当你手动写for batch in train_iter:、手动调torch.nn.utils.clip_grad_norm_、手动保存torch.save({state_dict: model.state_dict(), epoch: epoch}, path)你不是在重复造轮子而是在触摸深度学习工程化的毛细血管。关键词“教学型代码”和“工程化”在这里形成张力前者追求概念透明、路径可控、错误可溯后者追求鲁棒性、可维护性、可扩展性。而pytorch-seq2seq就像一把游标卡尺精确测量这两者之间的毫米级间隙。比如它的GenericAttention模块对应热搜词“a generic attention module for a decoder in seq2seq pytorch”——仅62行Python却强制要求你理解query/key/value的维度对齐、softmax前的缩放因子、context vector如何与decoder hidden state拼接。没有nn.MultiheadAttention的黑箱没有transformer的层级抽象只有矩阵乘法、广播机制和torch.bmm的原始调用。这种“低级感”正是它成为IBM教学优先框架的核心原因它把注意力机制从“API调用”还原为“线性代数操作”把序列建模从“配置yaml”还原为“循环展开逻辑”。更值得玩味的是这个项目标题里藏着一个被忽略的定语“静态工程”。它不指代码不可变而是指整个系统边界被严格锁定在单机、单GPU、固定batch size、预分词文本的四维空间内。没有分布式训练钩子没有混合精度开关没有ONNX导出接口——这些不是缺陷而是教学契约当学生第一次看到loss.backward()后参数真的在变化当他们亲手把EOStoken塞进decoder输入序列并观察teacher_forcing_ratio如何影响收敛曲线那种“代码即世界”的掌控感远比跑通一个SOTA模型更珍贵。这解释了为何IBM V7000存储、Power 720告警面板、System x3850安装Server2016等硬件运维热词会与之共现——它们共享同一种工程哲学在确定性边界内用最小自由度达成最大教学效力。2. 拆解pytorch-seq2seq静态工程的四大支柱与教学意图2.1 支柱一数据流的“手工流水线”设计pytorch-seq2seq的数据处理完全绕开torchtext的高阶抽象采用三步手工流水线build_vocab→numericalize→pad_batch。这不是技术倒退而是教学策略的精密编排。首先看build_vocab。它不调用torchtext.vocab.build_vocab_from_iterator而是用collections.Counter统计词频再按min_freq2阈值过滤最后将UNK、PAD、SOS、EOS硬编码插入索引0-3位。这个过程强制学生面对三个核心问题为什么PAD必须是索引0因为nn.Embedding默认padding_idx0且DataLoader的collate_fn需对齐tensor形状为什么SOS在EOS之前因为decoder输入序列以SOS开头输出序列以EOS结尾二者在teacher forcing中承担不同角色min_freq2如何影响OOV率我让学生用WMT14 En-De数据集实测当min_freq从1升至5词表从50k缩至32k但验证集BLEU下降0.8——这个数字让他们第一次理解“词汇覆盖”与“泛化能力”的权衡。接着是numericalize。它用字典映射而非torchtext.data.Example返回纯Python list。这里埋着关键教学点list转tensor的时机决定内存效率。pytorch-seq2seq选择在pad_batch后统一转换而非逐样本转换。我让学生对比两种方式若在numericalize阶段就torch.tensor(seq)每个样本生成独立tensor内存碎片化严重而延迟到batch级pad后再torch.stack([torch.tensor(padded_seq) for padded_seq in batch])能利用连续内存块提升GPU吞吐。这个细节在HuggingFace Trainer里被彻底隐藏但在教学框架中必须暴露。最后pad_batch。它不依赖torch.nn.utils.rnn.pad_sequence而是手动计算max_len再用torch.full((len(batch), max_len), pad_idx)初始化逐行填充。这个笨办法带来两个教学红利学生亲眼看到padding如何破坏attention masksrc_mask (src ! pad_idx).unsqueeze(1)理解为什么Transformer需要显式mask当他们尝试修改pad_idx为-1时Embedding层报错index -1 is invalid从而记住“padding index must be non-negative”。提示教学中我常让学生删掉pad_batch函数改用pad_sequence重写。90%的人会在batch_firstTrue参数上栽跟头——因为pytorch-seq2seq的LSTM默认batch_firstFalse而pad_sequence默认batch_firstTrue。这个bug暴露了框架设计的一致性约束比任何PPT讲解都深刻。2.2 支柱二模型结构的“可拆解原子化”Encoder和Decoder被设计成完全解耦的nn.Module子类且每个组件都可独立替换。这种原子化不是为插件化而是为概念解耦。Encoder仅包含nn.Embeddingnn.LSTMnn.Dropout三层。关键在于LSTM的bidirectionalTrue参数被显式暴露且hidden_size必须是embedding_dim的整数倍——这是为了后续torch.cat([forward_h, backward_h], dim2)的维度对齐。我让学生画出双向LSTM的hidden state流动图前向h_t与后向h_{T-t1}如何拼接为什么最终hidden state维度是2*hidden_size。当他们手动实现encoder_outputs torch.cat([outputs[:, :, :hidden_size], outputs[:, :, hidden_size:]], dim2)时才真正理解“双向编码”的物理意义。Decoder更精妙。它把attention、rnn、output_projection拆成三个独立方法attention_step()计算context vector返回(attn_weights, context_vector)rnn_step()接收input_token和prev_hidden输出next_hiddenproject_output()将next_hidden与context_vector拼接后经nn.Linear映射到vocab_size。这种拆分强制学生思考attention是decoder的“外部感知器”rnn是“内部状态机”projection是“输出翻译器”。当他们尝试把project_output换成nn.Sequential(nn.Linear(...), nn.ReLU(), nn.Linear(...))时会发现ReLU导致梯度消失——这个失败案例比十页公式更能说明“为什么decoder输出层通常不用非线性激活”。最体现教学意图的是GenericAttention模块。它不实现Bahdanau或Luong而是提供score_fn参数接受任意函数。我让学生传入三种scorelambda q,k: torch.sum(q*k, dim2)点积lambda q,k: torch.bmm(q, k.transpose(1,2))矩阵乘lambda q,k: torch.tanh(torch.mm(q.squeeze(0), W_a) torch.mm(k.squeeze(0), U_a))Bahdanau仿写。通过对比三种score的attention weights热力图他们直观看到点积关注高频词矩阵乘放大长距离依赖Bahdanau引入非线性增强语义匹配。这种“函数即接口”的设计把注意力机制从“算法”降维到“函数组合”完美契合教学型代码的原子化哲学。2.3 支柱三训练循环的“全栈可见性”train_epoch函数是整个框架的神经中枢217行代码覆盖了训练全流程且每行都可调试。它拒绝Trainer.train()式的黑箱坚持“代码即文档”。先看损失计算。它不调用nn.CrossEntropyLoss(ignore_indexpad_idx)而是手动实现# 原始代码片段 log_probs F.log_softmax(output, dim2) # [batch, seq_len, vocab] target_probs log_probs.gather(2, target.unsqueeze(2)) # [batch, seq_len, 1] loss -target_probs.squeeze(2).masked_fill_(target pad_idx, 0).sum() / n_tokens这个实现暴露了三个关键教学点F.log_softmax为何比nn.CrossEntropyLoss更透明因为学生能看到log概率如何被gather提取以及masked_fill_如何屏蔽padding位置n_tokens为何要除因为teacher forcing下有效token数不等于batch_size*seq_len必须动态统计squeeze(2)后的维度变化如何影响后续.sum()这迫使学生画出tensor shape演进图。梯度裁剪更是教科书级示范。它不调用torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm)而是手动遍历total_norm 0 for p in model.parameters(): if p.grad is not None: param_norm p.grad.data.norm(2) total_norm param_norm.item() ** 2 total_norm total_norm ** 0.5 if total_norm max_norm: clip_coef max_norm / (total_norm 1e-6) for p in model.parameters(): if p.grad is not None: p.grad.data.mul_(clip_coef)这段代码的价值在于它让学生亲手计算total_norm理解L2范数如何度量梯度爆炸明白clip_coef为何是缩放因子而非截断阈值。当他们把clip_coef改成min(1.0, max_norm/total_norm)时会发现梯度消失加剧——这个bug揭示了“裁剪”与“缩放”的本质区别。最精妙的是teacher forcing的实现。它用random.random() teacher_forcing_ratio控制是否使用ground truth但关键在decoder_input的构造if use_teacher_forcing: decoder_input target[:, t-1] # 上一时刻真实token else: decoder_input output.argmax(2)[:, t-1] # 上一时刻预测token这里t-1的索引逻辑暴露了RNN的时序依赖本质。我让学生把t-1改成t模型立即崩溃——因为target[:,t]在t0时越界。这个错误让他们牢牢记住decoder输入永远比输出滞后一个时间步。2.4 支柱四评估与可视化的“可验证闭环”evaluate函数不仅计算BLEU还提供show_attention可视化接口。这个设计把抽象指标转化为具象认知。BLEU计算采用nltk.translate.bleu_score但关键在corpus_bleu的参数设置smooth_methodsmoothing_function1Lin Och, 2004避免短句惩罚weights(0.25,0.25,0.25,0.25)强制四元组平衡auto_reweighTrue适配不同长度参考译文。我让学生对比corpus_bleu与sentence_bleu前者对整个测试集打分后者对单句打分。当他们发现某句sentence_bleu0.0但corpus_bleu28.5时才理解BLEU的统计本质——它不是句子质量判据而是语料库级n-gram匹配度。show_attention则更具教学魔力。它用matplotlib绘制热力图横轴为source token纵轴为target token颜色深浅表示attention weight。我布置过一个经典实验让模型翻译“the cat sat on the mat”观察cat与mat的attention权重如何随训练轮次增强。学生发现第1轮时权重均匀分布第10轮时cat→cat、mat→mat出现明显峰值第50轮时sat→sat也形成次高峰——这个动态过程比任何公式都直观地展示了attention如何学习对齐。更关键的是show_attention强制学生理解attention_weights的shape[batch, target_len, source_len]。当他们尝试plt.imshow(attn_weights[0].cpu().numpy())时会发现热力图是倒置的——因为target_len在纵轴source_len在横轴。这个“坐标系陷阱”让他们记住attention matrix的行对应decoder step列对应encoder position。3. 教学型代码的工程化边界从静态框架到生产系统的五道裂痕3.1 裂痕一数据加载的“确定性幻觉” vs 生产环境的“流式混沌”pytorch-seq2seq假设数据已预处理为.pt文件torch.load()一次性载入内存。这在教学场景中成立——WMT14 En-De训练集约4.5M句对torch.load耗时12秒学生可接受。但生产系统面临三重冲击数据规模电商客服日志达TB级无法全量载入数据时效用户实时提问需毫秒级响应不能等torch.load完成数据异构文本、图片、语音混合输入Dataset.__getitem__需多模态解析。解决方案是引入torchdata的DataPipe流水线。我让学生用pytorch-seq2seq的build_vocab重构DataPipedp dp.list_files(data/*.txt) dp dp.map(lambda x: open(x).readlines()) dp dp.flatmap(lambda lines: [(line.split(\t)[0], line.split(\t)[1]) for line in lines]) dp dp.map(lambda pair: (tokenize(pair[0]), tokenize(pair[1]))) dp dp.filter(lambda pair: len(pair[0])50 and len(pair[1])50) # 动态截断 dp dp.batch(32, drop_lastFalse) dp dp.collate(collate_fncustom_collate) # 替代原版pad_batch这个重构暴露了核心差异教学框架的pad_batch是batch级操作而DataPipe的collate需处理变长batch——当某batch含28个样本时collate_fn必须动态计算max_len。学生在此处首次遭遇“padding策略与batch size的耦合关系”理解为何生产系统需bucket_by_length分桶。注意torchdata在PyTorch 2.0才稳定旧版需用torchtext的Iterator。我让学生对比两者Iterator的sort_key参数虽能按长度排序但无法像DataPipe那样支持sharding_filter做分布式分片——这直接指向工程化第一道裂痕教学代码的单机确定性与生产环境的分布式不确定性之间隔着一个shard-aware data loading。3.2 裂痕二模型架构的“手工拼装” vs 工程系统的“声明式定义”pytorch-seq2seq的Encoder/Decoder是硬编码的LSTM堆叠。生产系统则需nn.Sequentialnn.ModuleDict构建可配置架构。我让学生用pytorch-seq2seq的GenericAttention为基础扩展为ConfigurableSeq2Seqclass ConfigurableSeq2Seq(nn.Module): def __init__(self, config): super().__init__() self.encoder self._build_encoder(config.encoder) self.decoder self._build_decoder(config.decoder) self.attention self._build_attention(config.attention) def _build_encoder(self, enc_cfg): layers [] for i in range(enc_cfg.num_layers): layers.append(nn.LSTM( input_sizeenc_cfg.input_size if i0 else enc_cfg.hidden_size, hidden_sizeenc_cfg.hidden_size, num_layers1, bidirectionalenc_cfg.bidirectional, batch_firstTrue )) return nn.ModuleList(layers)这个改造引发三个工程化认知跃迁配置驱动config.yaml取代硬编码num_layers从2变成可调参数模块复用_build_attention可注入MultiheadAttention或FlashAttention无需重写decoder逻辑版本兼容当PyTorch升级到2.2nn.LSTM新增proj_size参数只需修改enc_cfg字段不触碰业务逻辑。但裂痕随之而来教学框架的forward是线性流程而工程系统需forward_hook监控各层输出。我让学生在ConfigurableSeq2Seq的encoder末尾注册hookdef hook_fn(module, input, output): print(fEncoder output shape: {output[0].shape}) # [batch, seq, hidden*2] print(fHidden state norm: {output[1][0].norm().item():.3f}) encoder.layers[-1].register_forward_hook(hook_fn)这个hook暴露了教学代码的盲区pytorch-seq2seq从不关心hidden state的L2范数而生产系统需监控其衰减趋势——当norm从5.2降至0.3意味着梯度消失需调整learning rate或初始化。3.3 裂痕三训练管理的“裸机循环” vs 工程平台的“生命周期治理”pytorch-seq2seq的train_epoch是裸机循环而生产系统需Trainer的生命周期管理。我让学生用HuggingFaceTrainer封装pytorch-seq2seq模型trainer Trainer( modelseq2seq_model, argsTrainingArguments( output_dir./results, per_device_train_batch_size16, gradient_accumulation_steps4, # 弥合GPU显存限制 fp16True, # 自动混合精度 logging_steps100, save_steps500, load_best_model_at_endTrue, metric_for_best_modeleval_bleu, greater_is_betterTrue, ), train_datasettrain_dataset, eval_dataseteval_dataset, compute_metricslambda pred: {bleu: compute_bleu(pred)}, )这个迁移揭示了五层工程化裂痕梯度累积教学框架的batch_size32在A100上可行但生产环境需gradient_accumulation_steps4模拟更大batch混合精度fp16True自动插入autocast和GradScaler而教学代码需手动实现检查点管理save_steps500生成checkpoint-500目录含pytorch_model.bin和trainer_state.json后者记录global_step、best_metric等元数据早停机制load_best_model_at_endTrue依赖metric_for_best_model而教学代码的best_bleu是简单变量日志治理logging_steps100将loss写入runs/目录供TensorBoard教学代码仅print到stdout。最关键的裂痕在compute_metrics。教学框架的evaluate直接返回BLEU值而Trainer要求返回dict{bleu: value}。当学生把return bleu_value改成return {bleu: bleu_value}时Trainer才能触发metric_for_best_model比较——这个微小改动标志着从“脚本”到“平台”的范式转移。3.4 裂痕四部署推理的“本地调用” vs 服务化架构的“协议抽象”pytorch-seq2seq的translate函数是本地方法调用model.translate(src_sentence)。生产系统则需HTTP/gRPC服务化。我让学生用FastAPI封装app.post(/translate) async def translate(request: TranslationRequest): src_tokens tokenizer.encode(request.text) src_tensor torch.tensor([src_tokens]).to(device) with torch.no_grad(): output model.translate(src_tensor, max_len50) return {translation: tokenizer.decode(output)}这个封装暴露了三大协议裂痕序列化教学代码的translate返回list of int而API需JSON序列化——当output含UNKtokenid1时JSON不识别int需tokenizer.decode转str并发控制app.post默认无并发限制而生产环境需semaphore asyncio.Semaphore(10)限流健康检查教学框架无/health端点而K8s需livenessProbe定期调用GET /health验证服务存活。更深层的裂痕在模型加载。教学代码model Seq2SeqModel(...)在main.py执行而FastAPI需on_event(startup)异步加载app.on_event(startup) async def load_model(): global model model torch.load(model.pt, map_locationdevice) model.eval()这个global model模式在多进程部署时失效——当Uvicorn启动4个worker每个worker加载独立model副本显存占用翻4倍。解决方案是torch.distributed共享模型但这已超出教学框架范畴。3.5 裂痕五监控运维的“人工观测” vs SRE体系的“指标驱动”pytorch-seq2seq的print(fEpoch {epoch}: loss{loss:.3f})是人工观测而生产系统需Prometheus指标。我让学生集成prometheus-clientfrom prometheus_client import Counter, Histogram loss_counter Counter(seq2seq_train_loss, Training loss) inference_latency Histogram(seq2seq_inference_latency_seconds, Inference latency) app.post(/translate) async def translate(request: TranslationRequest): start_time time.time() try: result await do_translation(request.text) inference_latency.observe(time.time() - start_time) return result except Exception as e: loss_counter.inc() # 错误计数 raise e这个集成揭示了运维裂痕的本质教学代码的print是调试工具而Counter/Histogram是决策依据。当inference_latency.quantile(0.95) 2.0sSRE会触发告警当loss_counter.total() 100/hour表明数据污染需人工介入。最讽刺的裂痕在IBM V7000存储热词——它与pytorch-seq2seq看似无关实则共享同一运维哲学。V7000的液晶面板告警如Battery Status: Failed是硬件级确定性信号而pytorch-seq2seq的print是软件级确定性信号。但生产AI系统需将二者打通当V7000存储IO延迟升高inference_latency必然飙升此时Battery Status告警就是根因线索。教学框架的孤立性在此刻暴露无遗。4. 实操指南如何用pytorch-seq2seq搭建你的第一个可工程化演进的NLP项目4.1 环境准备从Anaconda到CUDA的精准匹配教学框架对环境极其敏感。我实测过27种PyTorch/CUDA组合仅以下配置能100%复现原始结果组件推荐版本选择理由Python3.8.18PyTorch 1.12对3.9的typing模块有兼容问题PyTorch1.12.1cu113原始代码基于此版本nn.LSTM的bidirectional行为最稳定CUDA11.3cu113与GeForce RTX 3090驱动465.19.01完美匹配torchtext0.12.0避免0.13的build_vocab_from_iterator破坏教学流水线安装命令必须严格# 创建纯净环境 conda create -n seq2seq python3.8.18 conda activate seq2seq # 安装PyTorch注意cu113 pip install torch1.12.1cu113 torchvision0.13.1cu113 torchaudio0.12.1 --extra-index-url https://download.pytorch.org/whl/cu113 # 安装指定torchtext pip install torchtext0.12.0 # 验证CUDA python -c import torch; print(torch.cuda.is_available(), torch.version.cuda) # 输出应为 True 11.3注意VSCode Anaconda CPU PyTorch组合热搜词在此项目中无效——pytorch-seq2seq的LSTM在CPU上训练速度比GPU慢17倍学生等待epoch结束会失去耐心。必须用GPU环境哪怕只是GTX 1060。4.2 数据准备WMT14 En-De的极简预处理原始WMT14数据需三步瘦身下载与解压wget http://www.statmt.org/wmt14/training-monolingual-europarl-v7.tgz tar -xzf training-monolingual-europarl-v7.tgz # 取en-de子集 head -n 100000 europarl-v7.de-en.en train.en head -n 100000 europarl-v7.de-en.de train.de分词与标准化# 使用spaCy而非MosesTokenizer教学简化 import spacy nlp_en spacy.load(en_core_web_sm) nlp_de spacy.load(de_core_news_sm) def tokenize(text, nlp): return [token.text.lower() for token in nlp(text.strip()) if not token.is_punct and not token.is_space] # 处理10万句对约12分钟 with open(train.en) as f, open(train.de) as g: en_lines f.readlines() de_lines g.readlines() tokenized_en [tokenize(line, nlp_en) for line in en_lines[:5000]] # 教学取5k tokenized_de [tokenize(line, nlp_de) for line in de_lines[:5000]]构建词表与序列化from collections import Counter import torch def build_vocab(tokenized_corpus, min_freq2): counter Counter() for tokens in tokenized_corpus: counter.update(tokens) vocab [UNK, PAD, SOS, EOS] [ word for word, freq in counter.items() if freq min_freq ] return {word: idx for idx, word in enumerate(vocab)} en_vocab build_vocab(tokenized_en) de_vocab build_vocab(tokenized_de) # 序列化为.pt教学友好格式 torch.save({ en_vocab: en_vocab, de_vocab: de_vocab, en_data: [[en_vocab.get(t, 0) for t in tokens] for tokens in tokenized_en], de_data: [[de_vocab.get(t, 0) for t in tokens] for tokens in tokenized_de], }, wmt14_mini.pt)这个wmt14_mini.pt文件仅12MB学生可秒级加载完美匹配教学场景。4.3 模型训练从零开始的10个关键步骤我将pytorch-seq2seq训练拆解为10个原子步骤每个步骤都附带避坑指南Step 1初始化模型model Seq2Seq( src_vocab_sizelen(en_vocab), tgt_vocab_sizelen(de_vocab), src_embedding_dim256, tgt_embedding_dim256, encoder_hidden_size512, decoder_hidden_size512, num_layers2, dropout0.5, bidirectionalTrue ).to(device)避坑encoder_hidden_size必须等于decoder_hidden_size否则context_vector拼接失败。学生常设为512/256导致RuntimeError: size mismatch。Step 2定义优化器optimizer torch.optim.Adam(model.parameters(), lr0.001) scheduler torch.optim.lr_scheduler.ReduceLROnPlateau( optimizer, modemax, factor0.5, patience3, verboseTrue )避坑ReduceLROnPlateau的modemax对应BLEU若误设modemin学习率会持续下降。Step 3构建DataLoaderdataset Seq2SeqDataset(wmt14_mini.pt) dataloader DataLoader( dataset, batch_size32, collate_fncustom_collate, # 自定义pad函数 shuffleTrue )避坑custom_collate必须处理SOS/EOS添加——decoder_input需在source token前加SOSdecoder_target需在target token后加EOS。Step 4Teacher Forcing Ratio调度teacher_forcing_ratio 0.7 for epoch in range(10): # 线性衰减 teacher_forcing_ratio max(0.1, 0.7 - epoch * 0.05)避坑teacher_forcing_ratio不能低于0.1否则模型陷入自回归死循环。Step 5梯度裁剪torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0)避坑max_norm1.0是经验值若设为5.0梯度爆炸风险剧增。Step 6Loss计算criterion nn.NLLLoss(ignore_index1) # PAD索引为1 loss criterion(log_probs.view(-1, log_probs.size(-1)), target.view(-1))避坑ignore_index1必须与PAD索引一致否则padding位置参与loss计算。Step 7验证集BLEU计算from nltk.translate.bleu_score import corpus_bleu references [[ref.split()] for ref in val_references] candidates [hyp.split() for hyp in hypotheses] bleu corpus_bleu(references, candidates, weights(0.25,0.25,0.25,0.25))避坑references需是list of list of listcandidates是list of list格式错误导致BLEU0。Step 8模型保存torch.save({ epoch: epoch, model_state_dict: model.state_dict(), optimizer_state_dict: optimizer.state_dict(), best_bleu: best_bleu, }, fcheckpoint_epoch_{epoch}.pt)避坑必须保存optimizer_state_dict否则resume训练时学习率重置。Step 9Attention可视化attn_weights model.decoder.attention_weights[0].cpu().numpy() plt.imshow(attn_weights, cmapviridis) plt.xlabel(Source Position) plt.ylabel(Target Position) plt.title(fAttention at Epoch {epoch}) plt.savefig(fattn_epoch_{epoch}.png)避坑attention_weights是[batch, target_len, source_len]取[0]获取首个样本。Step 10推理测试src Hello world src_tokens [en_vocab.get(t, 0) for t in tokenize(src, nlp_en)] src_tensor torch.tensor([src_tokens]).to(device) translation model.translate(src_tensor, max_len20) print( .join([list(de_vocab.keys())[i] for i in translation]))