Sutskever精选论文清单：从Transformer到扩散模型的深度学习演进

Sutskever 的精选论文清单是业内少有的、值得整套逐篇精读的阅读路线。我最初拿到这份清单时以为是又一份参考文献列表结果越读越发现它的价值不在于告诉你哪篇论文结果好而在于告诉你一个顶尖研究者如何挑选他心中值得反复回看的工作。这篇是系列第三篇我把清单三里涉及的论文沿着自己的理解拆成几条线索希望能帮你读得更顺。如果你也见过那种随手推荐几十篇论文、没有任何筛选逻辑的清单应该能体会这份清单的可贵之处。它更像一份思想史提纲而不是一份普通的论文合集。下面这张路线图是我反复读完之后理出来的。1. 为何这份清单值得逐篇精读1.1 选文口味不看热度看复利Sutskever 的选文口味第一次读的时候会让你有点意外里面几乎没有一篇是单纯因为当年刷榜成绩漂亮被选进来的。AlexNet 确实在 2012 年把 ImageNet 的错误率压了一大截但真正让它进入这份清单的是它证明了深度网络可以靠简单组件在大规模并行计算条件下被训练起来Transformer 同样是那种不靠刷分但彻底改变了整个领域语境的论文。这种选法本质是一种复利思维——他挑的是那些即使放到今天、放到未来的模型架构里依然是你理解新结果必须经历的底层认知的论文。我对比过很多推荐列表大多数人喜欢按经典热门必读论文这种维度来推荐最后往往融入一堆应用型工作。而 Sutskever 选出来的论文几乎每一篇都具备同一个特点它们改变了问题的表述方式而不是仅仅提高了一组指标。GAN 把生成任务变成两个网络的对抗博弈扩散模型把生成任务重新定义为去噪过程这些都不仅仅是 new method而是换了一套提问题的角度。1.2 一条贯穿清单的暗线如果按时间顺序去读清单三里收的论文会发现一条非常清晰的暗线从监督学习走向自监督从手工构造表征走向自动学习表征。AlexNet 依赖的是人工标注的大规模数据集word2vec 靠上下文预测来学词向量Transformer 用自注意力做预训练扩散模型则直接从噪声中学习数据分布。每一步并不是简单堆叠而是把上一个阶段里最吃力的环节变成下一个阶段里能够自动完成的部分。这条暗线对非本专业的人也很友好你不一定需要立刻读懂所有公式只要抓住什么被自动化了这个问题就能理解每一篇论文的历史坐标。我希望这篇文章也能顺着这条线展开所以后面每一章都围绕具体论文讲清楚它的核心问题和被低估的细节。2. 从 AlexNet 到 Seq2Seq奠基论文里被低估的细节2.1 AlexNet 的真正贡献是训练方法的重新编排很多人回头读 AlexNet觉得它技术含量不高卷积、ReLU、Dropout、数据增强每个单拎出来都是别人的成果。这种判断某种程度上是对的但它忽略了一个重要事实——2012 年摆在研究者面前的两个核心障碍一是深层的反向传播信号很容易在中途消失二是当时没有成熟的 GPU 编程经验来支撑大规模并行训练。AlexNet 的贡献恰恰是把一堆已有组件做了一次正确编排。我当时读完论文最大的感慨是它把大量篇幅花在训练细节上而不是模型结构上。第 3.1 到 3.3 节分别说明了 ReLU 如何因为非饱和梯度特性而加速收敛、Dropout 如何以 50% 概率随机屏蔽隐层神经元从而近似集成学习、数据增强如何缓解过拟合。这些组件在今天的框架里都是默认选项但在 2012 年把它们组合起来并跑通本身就是一次系统工程式的探索。读这篇的时候建议你不要只盯着那张 ImageNet 排行榜。可以试着把注意力放到两个容易被忽略的地方学习率调整和 batch size 的配合论文里学习率在训练过程中逐步手动衰减这个做法在今天看起来原始但它是控制收敛速度的关键。两块 GPU 做数据并行时模型结构如何被切成两条流水线。这种切分方式决定了 AlexNet 的卷积层参数分布理解它才会明白 GPU 并行和模型结构之间的关系而不是简单以为用 GPU 训练就自动变快了。我当时复现经验是如果不加 ReLU 只换 Tanh训练时间要翻好几倍而且深层卷积层的梯度会明显偏小。这就是一个组件解决一个具体问题的最好例证。2.2 Seq2Seq 的倒序输入与端到端思想Sutskever 自己参与的 Sequence to Sequence Learning with Neural Networks 放在清单里算是本组成员必读。很多初学者把它当成一篇普通的机器翻译文章但它真正想回答的问题更本质一个固定维度的向量能否把任意长度的序列压缩进去再从向量里恢复出另一个任意长度的序列。这看起来像是天方夜谭但端到端训练之后居然真的可以。论文里有两个工程细节被后来的教程严重低估。第一是用了四层 LSTM而不是当时更常见的单层 LSTM第二是提出把输入句子倒序输入。倒序输入这个操作第一次看特别像玄学但作者在文中给出了解释它缩短了源句子与目标句子对应位置之间的平均距离让 LSTM 更容易捕捉长期依赖。你可以把 LSTM 想象成一条在时间轴上不断展开的链子链子越长早期信息到达后期时损耗越多倒序输入相当于把两条链子对应节点的距离缩短损耗自然变小。读 Seq2Seq 时我建议把这几个问题想清楚而不是只跑一个翻译 demo固定维度的最后一个隐状态能否包含整个句子的语义这本质上是在问 RNN 的信息瓶颈在哪里。端到端训练指的是从原始字符对到最终翻译结果的整个计算路径都可以微分更新而传统统计机器翻译往往需要分词、对齐、调序等多个独立模块。测试时使用 beam search 的直觉是单一 argmax 可能选出局部最优而多条候选句子往往能得到更好的整体组合。这个思路后来启发了 attention 机制的引入既然信息瓶颈出现在固定维度上那么让 decoder 每一步都能直接回头看输入序列比把一切都塞进最后一个向量更合理。2.3 LSTM 门控机制为什么能撑起十年LSTM 本身是 Hochreiter 和 Schmidhuber 1997 年的工作但它出现在这份清单语境里非常重要因为 Sutskever 的很多工作都建立在让梯度更顺畅地流过时间步这个基础上。LSTM 的设计直觉很朴素梯度在时间维度上连乘会导致消失或爆炸那就专门设计一条误差信号能够保持恒定流动的通道也就是 cell state。输入门、遗忘门、输出门决定哪些信息可以写入、保留或读出。今天看 LSTM公式已经有点过时了但它的方法论很有价值。它不是直接靠暴力堆叠层数解决问题而是先分析梯度更新的问题来源再设计一个计算图结构。后来的 GRU 精简了门控数量Transformer 直接绕开时间展开改用注意力本质上都是针对同样的梯度流动问题给出了不同答案。我个人读这部分时的一个经验是不要死记门的公式而是尝试自己推导一个简化版 LSTM去看误差信号从 t100 传回 t1 时经过遗忘门乘法路径和 cell state 加法路径分别会变成什么样。和加法路径相比乘法路径正是梯度消失的凶手。明白这一点之后你对所有循环结构的设计动机就通透了。3. 注意力机制与表征学习两场范式转向3.1 Transformer 为什么最终取代了循环连接Attention Is All You Need 刚发表时并不是所有人立刻扔掉了 LSTM。真正让 Transformer 成为主流的是后续大规模预训练模型在算力可扩展性上的表现。但论文本身解决的核心问题非常集中序列信息在层与层之间的传递不再通过时间步展开而是通过自注意力矩阵一次性建立全局依赖。这里有三点值得反复琢磨。第一多头注意力的本质是把单个注意力计算切分成多个子空间让不同头学到不同类型的依赖关系比如有的头关注局部词法有的头关注长距离指代。第二论文明确使用了位置编码说明作者非常清楚 Transformer 本身没有任何时间概念你不显式告诉它哪个词在前面它就只能得到一堆无序向量。第三残差连接加 LayerNorm 的组合解决了深层网络的训练稳定性问题这一点在后来的 GPT 系列里被反复验证但很多人读论文时容易跳过。如果你想真正读懂 Transformer我强烈建议自己把注意力矩阵的维度从输入到输出推一遍输入 X 的形状是 [seq_len, d_model]。分别乘以 W_Q、W_K、W_V 得到 Q、K、V维度变为 [seq_len, d_k]。计算 QK^T 除以 sqrt(d_k)得到注意力分数矩阵。对每一行做 softmax再与 V 相乘得到加权求和结果。每次我遇到有人觉得 Transformer 难理解基本都是因为跳过了这一步直接去看多头拼接。把这一步手推出来后面再去看因果掩码、旋转位置编码会觉得每个设计都不是孤立的。3.2 word2vec语义第一次变成向量距离word2vec 放在这份清单里今天的读者可能会觉得有点老。但它确实是这条范式转换里绕不开的一篇。在它之前NLP 里的词表示多半是 one-hot 向量词与词之间除了 index 不一样没有任何语义关系。word2vec 第一次让语义相似变成了向量距离相近。论文提出了两种架构CBOW 用上下文词预测中心词Skip-gram 用中心词预测上下文词。训练得到的向量有一个非常惊人的性质king 的向量减去 man 再加上 woman结果非常接近 queen 的向量。这说明模型学到的不只是搭配频率还可能捕捉到了某种意义上的语义成分。读 word2vec 时要注意它的局限。它的窗口非常局部多义词只用一个向量表达词序信息基本被丢弃。这些缺陷恰恰是后来 ELMo、BERT 等上下文相关模型试图解决的。从清单的串联角度看word2vec 是用神经网络做表征学习的起点而 Transformer 预训练模型则是这条路线的自然延伸。如果你跳过 word2vec 直接读 BERT就看不到一个词在不同语境下应该有不同表示这个需求的来源。3.3 VAE把隐变量变成可训练的参数体系Auto-Encoding Variational Bayes 是生成模型里不能绕过的一篇。它处理的问题很数学假设数据 x 由一个隐变量 z 生成后验分布 p(z|x) 往往无法解析计算。Kingma 和 Welling 的核心思路是配一个推断网络 q(z|x) 去近似后验再用重参数化技巧把采样过程变成可微的。我以前写代码的时候一直想不通为什么采样 z 可以被写成 μ σ 乘以标准正态噪声。想想看如果你直接从一个分布里采样你得到的数值对参数是不可导的梯度根本传不过去。重参数化技巧相当于把采样这个不可导动作抽离掉让网络只负责预测 μ 和 σ随机性完全由外部的 ε 提供。这样整个计算图就能反向传播了。实际工程里KL 项的权重非常影响生成质量。权重太大隐空间过于规整生成样本模糊权重太小隐空间混乱生成样本缺乏多样性。我第一次复现 VAE 时没有调这个权重生成出来全是灰蒙蒙的图片后来把 KL 项乘了一个小系数才恢复正常。这就是理论论文到实践之间的距离。4. 生成模型的分岔路口GAN、VAE 与扩散模型4.1 GAN 的博弈视角与训练脆弱的根源Goodfellow 2014 年的 GAN 把生成问题定义成两个网络之间的极小极大博弈生成器尽量骗过判别器判别器尽量分辨真假。这个视角非常干净模型也不需要显式的概率密度估计直接通过判别器反馈逼近真实分布。但训练 GAN 的过程凡是亲手做过的都懂什么叫训练的艺术。判别器收敛得太快生成器的梯度就会消失判别器太弱生成器又会朝着欺骗性的方向漂移。后来几乎所有改进工作包括 DCGAN 的卷积化、WGAN 的 Wasserstein 距离、WGAN-GP 的梯度惩罚本质上都是在调节这个平衡点。我读原始 GAN 时的最大感受是它理论上的简洁和实际训练时的脆弱形成了强烈反差。如果你在复现时发现生成器 loss 一直不下降先不要急着换模型去检查判别器更新的步数、学习率、是否使用了合适的初始化。这些工程细节对 GAN 的影响比对普通分类网络大得多。所以清单收录它并不代表它完美恰恰因为它是理解后面对抗式训练、扩散模型对比时的关键参照系。4.2 扩散模型生成即去噪Ho 等人的 Denoising Diffusion Probabilistic Models 是近年来我最常引用的一篇论文。它的出发点和 GAN、VAE 都不同不再直接学习分布而是给数据逐步加高斯噪声直到变成纯噪声再训练一个网络把这个加噪过程反过来。前向过程是人为定义的不需要训练只需要设定每个时间步的噪声系数 β_t。反向过程则完全依赖神经网络。论文最漂亮的地方在于训练目标最后可以被化简成非常简单的形式让网络去预测某个时刻被加入的噪声 ε用 L2 损失衡量预测噪声和真实噪声之间的误差。这等于把复杂的概率建模问题化简成一个最小二乘回归问题。我当时第一次跑通 DDPM 时很惊讶它的训练代码甚至比很多分类网络还要短。训练过程几乎没有模式崩溃也不需要判别器这种对抗式的对手。代价是采样需要上千步迭代才能得到一张图非常慢。后来 DDIM、DPM-Solver 这些加速方案全都是在保持生成质量的前提下减少采样步数。读 DDPM 时建议你把前向加噪和反向去噪的公式自己推导一遍特别是 q(x_t | x_{t-1}) 和 q(x_{t-1} | x_t, x_0) 之间的贝叶斯关系。这个推导不复杂但做一遍之后你会真正理解为什么网络是预测噪声而不是直接预测原始图像。4.3 为什么扩散模型在图像生成上赢过了 GANDhariwal 和 Nichol 的 Diffusion Models Beat GANs on Image Synthesis 是清单里另一篇标志性的论文。在这之前大家默认 GAN 在图像锐利度和 FID 指标上领先扩散模型虽然训练稳定但生成质量够不上 GAN。这篇论文做了三件事改进了 U-Net 架构引入分类器引导以及系统性地调整了训练细节。最值得关注的是分类器引导。它的直观理解是采样过程需要往更像目标类别的方向走一步于是用一个图像分类器去判断当前生成样本把分类梯度注入采样过程。虽然之后 classifier-free guidance 变得更常用但分类器引导是理解如何控制生成过程这整条思路的起点。论文更像是一个系统工程的胜利架构、采样、引导三层问题同时调对了才打破了 GAN 持续多年的优势。读这篇时不要只记住结论也要注意它的消融实验每一项改动带来的 FID 变化都对应着一个工程问题。5. 规模法则与阅读策略清单读完以后5.1 Scaling Laws 揭示的三大变量Scaling Laws for Neural Language Models 是清单里可以压轴的一篇。它的核心结论是在模型参数量 N、数据规模 D、训练计算量 C 可自由扩展的前提下语言模型的 loss 随这三个量呈幂律下降。换句话说更大的模型配上更多的数据比任何精巧的技巧带来更可预期的收益。但这不意味着单纯变大就完事了论文里的幂律关系包含了递减规律每一轮扩大模型带来的收益会越来越小。所以我更看重的是它对有效计算边界的分析——在固定算力下到底应该把预算花在模型大小上还是花在数据数量上。后来的 Chinchilla 论文进一步调整了数据与参数的比例结论是很多团队当时数据给得太少了。这两篇放在一起看才是一套完整的规模策略。5.2 按什么顺序读、怎么搭配代码看如果你照着这份清单收集论文我建议按照时间线读而不是按照类型读。先读 AlexNet 和 Seq2Seq掌握监督学习开局接着读 word2vec 和 VAE理解表征学习如何从监督转向自监督再读 Transformer看全局建模如何到来最后读扩散模型和 Scaling Laws补齐当前主流范式。读的时候尽量搭配代码实践。AlexNet 的结构在任何深度学习框架里都可以搭重点是把 ReLU、Dropout、数据增强逐一提出来看它们对收敛速度和最终效果的影响。Transformer 建议从最小实现开始把注意力矩阵打印出来观察不同层在关注什么位置。DDPM 也有很多开源实现不要直接跑预训练权重自己从一个小数据集上训练一次体验加噪到去噪的全过程。5.3 我踩过的几个理解误区最后说几个我自己读这份清单时踩过的坑可能对你有帮助。第一读 AlexNet 时太关注网络结构忽略了训练方法。当年训练它最困难的部分是在可接受时间内完成大量实验学习率调整和 batch size 的配合比换一两个组件更影响复现。第二VAE 很容易被当成普通的自动编码器。它确实是 AE 的概率版本但如果只看到这一点你就不会理解重参数化技巧为什么是必要设计以及 KL 项为什么必须加在目标函数里。先把梯度流推导一遍后面再看任何变体都轻松得多。第三Transformer 不推导 QKV 的维度关系就跳过去结果看多头注意力、因果掩码、旋转位置编码时每一个模块都像孤立的技巧。其实它们都是在同一个矩阵计算框架上的约束条件。第四扩散模型的训练代码很短但采样调度策略对生成质量影响极大。训练时的 β 设置和推理时的采样器选择不能照抄默认值每一组数据分布都要单独调整。我个人实际读这几篇的感受是把不同时期的论文放在同一条时间轴上比对价值远大于单独精读某几篇。它们之间构成一个连续的演化过程每次都觉得问题已经够难结果下一个阶段又把它自动化了一部分。可能这也是 Sutskever 这份清单真正想让你看到的东西。