大模型架构面试必问：GPT/LLaMA/DeepSeek/Qwen核心差异与设计取舍

如果你正打算在2026年冲刺大模型方向的岗位不管是算法岗、推理优化岗还是Agent应用岗架构题几乎都是绕不开的必考题。我过去一年带过不少模拟面试发现一个特别普遍的现象简历上的项目都写得挺漂亮一旦被追问到“GPT、LLaMA、DeepSeek、Qwen这四类主流大模型的架构到底差在哪各自做了什么取舍”大多数人就只会背参数表说不清任何设计背后的理由。这篇文章把我自己在准备和复盘面试时反复用的那套架构拆解框架完整整理出来从Transformer这个共同祖先出发把四类模型各自的代表性设计掰开揉碎讲清楚再给出一套可以直接套用的答题模板和避坑清单。适合正在冲刺2026年大模型岗位的同学也适合想系统梳理架构知识、又不想硬啃原始论文的工程师。1. 面试官考架构到底在考什么1.1 架构问题是“伪装成知识题的能力题”很多人以为架构题就是背知识点实际上面试官根本不关心你能不能背出GPT-3有96层、12288维这种数字。他们真正想验证的是三件事第一你有没有形成完整的系统认知而不是只停留在调API第二你能不能把一个模型的某个设计调整讲清楚它带来的收益和代价第三面对一个从来没见过的模型你有没有能力快速拆解它的架构。这三件事对应的恰好多是面试中追问环节的深挖方向。比如你提到LLaMA用了GQA面试官马上会问为什么不用MQA为什么不直接上MHA——如果答不上来前面背得再熟也白搭。所以我建议你把架构题当成一道开放性的系统设计题来准备而不是死记硬背。1.2 所有主流大模型都源自同一个祖先Decoder-only Transformer在聊GPT、LLaMA、DeepSeek、Qwen之前有一点必须先说清楚这四类模型没有本质上的代差它们都是Decoder-only 自回归路线的产物共同祖先是2017年提出的Transformer。Transformer最初的形态是Encoder-Decoder结构编码器负责理解输入解码器负责生成输出。翻译任务很适合这种结构但到了大语言模型时代大家逐渐发现只用解码器也能做得很好。原因其实很朴素LLM的核心目标是根据前文预测下一个Token这个目标本身就是自回归式的天然对应解码器的因果注意力机制。编码器那套双向注意力主要用于理解任务但理解最终也得转化为生成绕一圈反而增加了训练和推理的复杂度。于是从GPT系列开始业界逐步收敛到了一个通用配方一个只有Decoder的Transformer内部结构由Token嵌入层、若干Decoder层每层包含注意力子层和前馈子层、输出层组成。所有后续模型的优化本质上都是在这些子层上做文章注意力怎么算、归一化怎么做、激活函数用哪个、位置信息怎么编码、参数要不要稀疏化。掌握了这个通用配方任何新模型出来你都能快速拆解。1.3 我一直在用的架构拆解分析框架每次看到一个新的开源大模型我都会按固定的七个模块去拆面试时回答问题也按这个顺序组织输入表示词表大小、Embedding维度、是否绑定输出层权重。位置编码绝对位置、相对位置、RoPE还是AliBi。注意力机制MHA、MQA还是GQA有没有特殊的KV压缩策略。归一化层LayerNorm还是RMSNormPre-Norm还是Post-Norm。前馈网络普通MLP还是带门控的SwiGLU中间维度扩张几倍。稀疏化策略是Dense模型还是MoE专家数量、激活参数占比。训练与推理细节上下文长度、是否多Token预测、混合精度、KV Cache策略。这套框架在面试中特别实用因为它能帮你在信息不全的情况下也能有条理地分析。哪怕你不了解某个新模型按这个顺序推断大概率能蒙中一半以上的设计选择。后面四类模型的对比我也严格按这个框架展开。2. GPT系列Decoder-only的开创者至今仍是标准基线2.1 GPT核心设计自回归、因果掩码、单方向信息流GPT系列是Decoder-only路线的提出者和坚持者它的核心思想简单到只有一句话预测下一个Token。为了实现这个目标模型在注意力计算时使用因果掩码Causal Mask也就是在计算第i个位置的表示时只能看到第1到第i个位置的Token未来信息全部屏蔽。很多人在面试时会把因果掩码和Padding Mask搞混这是一个特别容易失分的细节。Padding Mask处理的是Batch内不同长度样本的对齐问题把填充位置置为一个极小值让注意力不会分配到无意义的位置上而因果掩码是每个样本内部的操作保证当前位置不能偷看未来信息。前者是工程问题后者是模型定义问题两者可以同时存在比如一个Batch里每个样本既要做Padding Mask又要在注意力矩阵上叠加因果掩码的下三角遮蔽。GPT系列另一个容易被忽略的设计是无编码器。它没有单独的编码器分支也没有交叉注意力所有信息都靠Decoder内部的因果自注意力自己攫取。这个设计让模型训练和推理高度一致训练你是预测下一个词部署你也是预测下一个词没有Transformer翻译时代那种训练和推理行为不一致的别扭感。这也是为什么Decoder-only逐渐在生成任务上压制了Encoder-Decoder方案。2.2 GPT系列演进路线中的关键变化GPT系列的演进几乎是这几年大模型发展史的一个缩影。初代GPT参数量只有约1.1亿基本验证了预训练微调这条路走得通。GPT-2把参数量拉到15亿展示了零样本也能干活的能力。真正引爆行业的是GPT-3参数量到达1750亿96层Transformer层隐层维度12288上下文窗口2048词表大小约5万——这是大力出奇迹的巅峰之作。到GPT-4时公开信息不再完整但从各种披露和侧面信息看它大概率引入了稀疏注意力机制内部是一个或多个MoE混合专家结构总参数量远大于暴露出来的数字。这条路线说明一个趋势在Dense模型上继续暴力堆参数边际收益在下降厂商开始转向稀疏激活来提升单位参数的效果。GPT系列对面试的启发主要有两点一是要理解Scale Law参数规模、数据规模、训练计算量之间存在幂律关系模型性能大致随三者同比例提升二是要理解对齐Alignment的价值GPT-3的基座能力已经很强但真正让它变成合格对话助手的是后续的监督微调和基于人类反馈的强化学习阶段。面试官如果问为什么GPT效果好你光说模型大是不够的架构、数据、对齐三者缺一不可。2.3 聊GPT时哪些细节能明显加分面试中讲到GPT最容易出彩的细节是训练目标和生成目标的一致性。Transformer最初用于翻译时训练阶段把金标准输出一次性喂进去生成阶段却只能一步一步输出行为差异会积累错误。而GPT只做自回归预测训练和推理都是基于已生成的内容预测下一步这个一致性就是Decoder-only路线能胜出的底层原因。另外一个加分点是追问为什么GPT不做双向注意力。答案不只是为了生成任务还在于双向信息流会让每个位置的表示都包含全局信息做生成时必须强行因果化导致训练推理不一致。单向注意力看似损失了能看到整句话的能力但换来了严格的自回归语义这正是语言模型作为概率分布估计器最自然的形式。3. LLaMA系列开源模型的“架构样板间”3.1 LLaMA的四个关键设计RMSNorm、SwiGLU、RoPE、GQA如果说GPT系列是闭源模型里的参考标杆那LLaMA系列就是开源社区名副其实的架构样板间。现在市面上能见到的开源模型绝大多数都能在LLaMA身上找到源头原因就是LLaMA把一整套被验证有效的设计组合在了一起而且参数完全开放复现成本低。第一个关键设计是RMSNorm取代LayerNorm。传统的LayerNorm要对输入做均值和方差归一化RMSNorm把均值中心化这步直接去掉只按均方根做缩放再乘一个可学习的缩放系数。这么做把归一化的计算量明显降了下来而实验证明去掉均值中心化对最终效果影响很小。对动辄几十亿参数的大模型来说每一层少做一次均值计算都是可观的训练收益。第二个是SwiGLU激活函数替代ReLU或GeLU。SwiGLU本质是门控线性单元它把输入分成两路一路经过SiLU激活另一路作为门控信号两者逐元素相乘。相比于简单的ReLUSwiGLU给前馈网络带来了更强的非线性表达能力在相同参数预算下效果更好。代价是前馈层需要三个权重矩阵而不是两个参数总量会上升但业界普遍认为这个交换划算。第三个是RoPE旋转位置编码。位置编码是大模型的空间坐标系统Transformer原始方案用正余弦绝对位置编码但绝对位置信息不便于模型感知两个Token之间的距离这种相对关系。RoPE的核心思路是在做Attention之前通过旋转矩阵把位置信息编码进查询和键向量让两个向量的内积天然包含相对位置信息。它不仅效果好而且对外推长文本很友好后来的NTK、YaRN等长度外推方案都建立在RoPE基础之上。第四个是GQA分组查询注意力。标准的MHA让每个注意力头都维护独立的键值对推理时要为每个Token保存所有头的KV Cache内存开销巨大。MQA多查询注意力把键值头压缩成一组大幅节省内存但信息表达能力下降。GQA是两者折中把注意力头分成若干组组内共享键值头。LLaMA-2的70B版本采用GQA后KV Cache约为同参数MHA模型的十分之一长序列推理时优势极其明显。3.2 Pre-Norm还是Post-Norm一个影响训练的底层抉择LLaMA不是第一个用Pre-Norm预归一化的模型但它把这个设计推向了主流。Transformer最初用的是Post-Norm也就是注意力/前馈计算之后再归一化训练深层的Transformer时梯度很容易爆炸或消失需要非常精细的初始化策略和学习率控制。Pre-Norm则把归一化放到子层之前让每层输入保持稳定的尺度梯度路径更平滑深层网络更容易训练。用生活化的类比来理解Post-Norm像先做饭再清理灶台每做完一道菜灶台上可能已经堆满油渍下一道菜越做越危险Pre-Norm则是开工前就把灶台清理干净每道菜在干净的台面上操作。LLaMA选择Pre-Norm换来了稳定的训练代价是理论上限略低于完美调参的Post-Norm但实操中这个差距几乎可以忽略因为稳定性的收益远大于理论精度上那一点差异。3.3 为什么开源社区几乎都选择在LLaMA上做二次创新面试中经常被问到一个工程类问题给你一个基座模型做微调你会选哪个这个问题背后想考察的其实是你的架构理解和生态判断力。LLaMA系列之所以成为默认选项首先是因为它把上述几个设计组合成了一个效果与参数比例很平衡的方案底子足够好其次它的权重开放社区围绕它衍生出了海量的微调框架、量化工具和部署方案。还有一点容易被忽视LLaMA系列展现了无对齐基座模型的通用迁移能力。它本身没有做太多指令微调就是一个纯预训练模型但你拿它继续训练做垂直领域效果往往比很多看似什么都会的通用助手模型更好。因为基座模型没有因为对齐阶段被驯化得过于保守反而保留了对数据分布更强的拟合弹性。面试时如果能说出这一层会明显区别于只会说LLaMA效果好的候选人。4. DeepSeek系列把“省”做到极致的推理效率派4.1 从MLA说起把KV Cache压缩成低秩表示DeepSeek系列在架构上最出圈的一个创新是MLA多头潜在注意力Multi-head Latent Attention它解决了大模型推理中一个很现实的瓶颈KV Cache太大。Transformer推理时每个Token都要把它的Key和Value向量缓存下来供后续Token做注意力计算用。上下文越长、Token越多KV Cache占用显存就越大甚至超过模型权重本身。GQA已经通过共享KV头减少了缓存但DeepSeek的思路更激进与其共享不如压缩。MLA对Key和Value做一个低秩投影把它们映射到一个低维的潜在空间存储计算注意力的时候再从潜在空间投影回去。我可以用一个比喻来解释MHA是每个人都完整记录自己见过的一切资料全但仓库巨大GQA是一组人共享一套档案省了空间但稍显粗糙MLA则是一套档案编码系统先把所有信息编码成摘要入库需要用的时候再解码还原。MLA让KV Cache开销降到传统MHA方案的极小比例在长上下文推理场景下优势几乎是压倒性的。面试中一旦提到DeepSeekMLA是必须主动展开的核心亮点。4.2 DeepSeek-V3的MoE架构671B总参数、37B激活参数是怎么算出来的DeepSeek-V3在面试题里出现频率极高因为它的参数量分布特别适合出计算题。它的总参数是671B但每次推理只激活37B参数这里面的关键是MoE结构。MoE混合专家的思路是不要用一个巨大的稠密网络处理所有输入而是训练一组专家子网络每个Token通过一个路由网络Router动态选择最合适的少量专家来计算。DeepSeek-V3一共有256个专家每个Token在注意力层之后会被路由到Top-8个专家上这8个专家各自做一次前馈计算再加权合并。总参数量来自256个专家的全部参数激活参数量只和路由选中的8个专家以及注意力层的共享参数有关。把账算细一点一个专家是约1.2B参数规模8个专家激活约9.6B再加上共享专家部分和注意力、嵌入等公共参数凑出37B左右的激活量。MoE的核心收益是用总参数换容量、用激活参数换算力——模型的知识容量由671B支撑而单次推理的算力成本只按37B支付。这就是为什么DeepSeek能以相对低的训练成本拿到接近顶尖闭源模型的能力。4.3 无辅助损失负载均衡MoE最容易翻车的点MoE模型最头疼的问题是负载不均如果所有Token都偏好某几个万能专家其他专家就闲置了稀疏化的收益直接清零。传统做法是给路由损失加一个辅助Loss惩罚不均匀路由但辅助Loss会和主Loss竞争反而损害模型最终效果。DeepSeek-V3的做法是无辅助损失负载均衡训练时为每个专家维护一个偏置系数如果一个专家被选中的频率偏高就在它的路由分数里扣掉一个固定偏置被选得少的专家则加上偏置。这样让路由过程自适应地向冷门专家倾斜却不会在Loss计算中引入额外优化目标。这个细节是DeepSeek架构题里公认的深水区能说清楚为什么不用辅助Loss基本就能和普通候选人拉开差距。4.4 DeepSeek还值得记住的三个工程配套设计DeepSeek-V3不只是架构新它的训练和推理工程方案同样是面试考点。第一个是多Token预测MTP让模型在预测下一个Token的同时还要预测后续第二个、第三个Token。不要小看这个改动它在训练阶段相当于把每个位置榨出更多学习信号而且推理时可被用来做推测解码加速一鱼两吃。第二个是FP8混合精度训练。DeepSeek-V3在训练中大规模使用FP8精度明显降低了显存占用和通信量这也是它训练成本能压下来的重要原因。第三个是它对长上下文推理的支持结合MLA的低KV Cache开销长文本场景的性价比很突出。面试时提到这些点其实是向面试官传递一个信号你不仅看模型结构还关注成本和工程落地。5. Qwen系列实用主义与Agent时代的均衡派5.1 Qwen的架构底子大词表、GQA与长上下文Qwen系列的定位和LLaMA不太一样它更像一个工程落地优先的实用主义选手在设计上非常舍得为实际应用做配置。比如它的词表普遍比较大达到十五万级别甚至更高。大词表意味着同样一段中文文本会被切成更少的Token训练和推理时的序列长度更短对中文用户来说就是实打实的成本节省和速度提升。在注意力层面Qwen主力型号用了GQA分组查询注意力。它吸取了MHA和MQA两边的优点在保证表示能力的同时显著压缩KV Cache占用。对Agent或长上下文场景来说这个选择可以说非常关键KV Cache变小同样一块显卡就能塞下更长的上下文或者更大的并发。上下文长度也是Qwen系列反复迭代的重点。早期版本已经支持数千Token的上下文后续版本通过YaRN等RoPE扩展方法把长文本能力进一步提升到很高的水平。这里有个值得学习的套路不更换模型主体架构只通过修改位置编码的外推方式来拉长上下文成本远低于重新训练一个大模型。这是工程上的典型四两拨千斤。5.2 同族多尺寸与MoE版本的“统一架构”策略Qwen系列有一个明显特征在一个大旗号下发布从零点几B到70B级别的一整条尺寸线。面试官很喜欢借这个现象考察你对Dense vs MoE的理解。小尺寸模型如0.5B、1.5B、7B用Dense结构性价比更高因为参数量本来就不大引入MoE反而增加路由开销和部署复杂度。中到大尺寸模型如14B、72B则可以使用MoE版本来扩大知识容量、控制激活成本。这种多尺寸统一架构策略的工程价值在于用户可以根据机器资源选不同尺寸的模型微调后蒸馏到小模型或者把大模型的结果作为小模型的训练数据源形成一套完整的模型矩阵。面试中如果被问如何设计一个模型家族你可以直接引用这样一套思路基座统一、尺寸分层、稀疏化从大到小逐步引入。5.3 Qwen在Agent与工具调用场景的架构配合近几年Agent应用爆发Qwen系列在工具调用、函数调用场景的表现被频繁提及。很多人以为这是纯粹的指令微调数据功劳其实架构也在其中起了配合作用。Agent场景要求模型在对话中准确输出结构化的调用意图比如我要根据用户的意图调用某个工具填入这几个参数。这意味着模型内部要建立起意图理解到参数映射的稳固通路。Qwen系列的词表设计和预训练数据安排使它对结构化指令更敏感加上对齐阶段大量使用真实工具调用数据进行微调才形成我们看到的效果。面试时若被问为什么同一个模型微调前后工具调用能力差别这么大标准答法是架构决定了模型的上限数据决定了下限附近的实际表现二者是乘数关系而不是加法关系。5.4 比较视角Qwen在长文本与多语言场景的平衡取舍Qwen和LLaMA放在一起对比是个很经典的面试问题。LLaMA在英文生态和通用学术评测上积累深厚但词表对中文和多语言并不友好Qwen的大词表天然覆盖更多的中文Token在中文长文本、多语言混合场景下序列更短、效率更高。代价是词表变大会让Embedding层参数显著增加模型体积变大小显存设备部署时需要额外处理。这里可以延伸到Unsliced Tokenizer的思考大词表并不是免费午餐它把更多负担转嫁到最终用户端模型文件更大、内存占用更高。面试官如果问为什么很多国产模型词表大你可以从中文汉字数量多、常用词组合丰富这个角度回答同时主动说出词表增大的副作用体现权衡思维。6. 一张表看清四家主流架构以及如何回答“设计一个新模型”6.1 四类模型核心架构维度横向对比对比维度GPT系列LLaMA系列DeepSeek系列Qwen系列基础路线Decoder-only 自回归Decoder-only 自回归Decoder-only 自回归Decoder-only 自回归代表结构Dense为主后期疑似引入MoEDense70B级别MoE为主MLA注意力Dense与MoE并存按尺寸分层注意力机制MHA早期GQA后期MHA→GQAMLA低秩KV压缩GQA位置编码绝对位置早期RoPE后期RoPERoPERoPE YaRN外推归一化Pre-Norm LayerNorm演变Pre-Norm RMSNormPre-Norm RMSNormPre-Norm RMSNorm激活函数GeLU早期SwiGLU后期SwiGLUSwiGLUSwiGLU词表大小较小5万左右起步较小3.2万左右中等很大15万级核心特色开创性、Scale Law、对齐开源样板、生态完善、训练稳定推理效率极强、成本控制极致中英文场景友好、Agent适配强典型应用启示通用对话、闭源API微调基座、学术研究长上下文、高并发推理中文应用、工具调用、端侧部署这张表不用死记硬背关键是要能解释每一行的为什么。真正优秀的面试回答是我给你这个格子你能说出这个选择的收益和代价。6.2 “如果让你从零设计一个新LLM”的万能答题框架这几乎是架构类面试的压轴题也是最能拉开分差的题目。我给出一套经过实战验证的答题框架你按顺序说面试官会明显感觉到你脑子里有体系。第一步先定大方向选Decoder-only不做Encoder-Decoder。理由说清楚训练推理一致、生成任务天然匹配、生态工具链成熟。第二步定基础组件归一化选RMSNorm激活函数选SwiGLU位置编码选RoPE。这三个几乎是当前业界共识选它们不用过多解释但你要主动说出RMSNorm省去了均值归一化、SwiGLU带来更强非线性、RoPE对长文本友好这三点理由。第三步定注意力方案根据部署场景选GQA或MLA。如果做长上下文、需要控制KV CacheMLA是更优解如果追求兼容主流推理框架GQA更稳妥。面试官问为什么少用MHA时就从显存和长序列推理两个角度答。第四步定稀疏化策略回答要点是想清楚Dense和MoE的分界线。小模型用Dense大模型引入MoE并给出总参数决定知识容量、激活参数决定推理成本这句关键判断。第五步定上下文与训练策略把词表大小、上下文长度、是否做多Token预测、是否用FP8训练一并说清楚。到这里你已经把架构、成本、部署、训练四方面都覆盖到了面试官很难再从追问里找到明显漏洞。7. 高频真题演练与易踩坑清单7.1 五道高频架构题及答题要点第一道为什么现在主流大模型都用Decoder-only而不是Encoder-Decoder核心答三点自回归生成任务天然匹配Decoder训练推理行为一致Encoder的交叉注意力增加了复杂度和推理开销而收益在语言建模上没有明显体现。第二道MHA、MQA、GQA、MLA有什么区别先定义MHA每头独立KVMQA所有Q头共享一组KVGQA分组共享KVMLA对KV做低秩压缩存储。然后落到KV Cache和推理速度上展开最好举一个数值例子比如70B模型用GQA后KV Cache缩小为MHA的约十分之一。第三道MoE为什么能省算力总参数和激活参数什么关系用DeepSeek-V3做例子671B总参数、37B激活参数、256个专家Top-8路由。说明稀疏激活的核心是把容量和算力解耦。第四道RoPE为什么能扩展长文本解释RoPE把相对位置编码进内积配合NTK/YaRN这些频率调整手段可以对没见过的更长位置进行外推。再补充一句外推不是无限度的超过训练长度太多质量仍会下降。第五道训练一个大模型你会怎么降低显存开销从训练和推理两个阶段分别答训练阶段用混合精度、梯度检查点、ZeRO等分布式策略推理阶段用KV Cache优化GQA/MLA、量化FP8/INT8、投机解码等。7.2 三个最容易在现场被问崩的细节第一个是Q、K、V三个投影矩阵的维度关系。很多人讲不清楚GQA里每个共享KV头对应多少Q头或者说不清注意力分数的scale为什么是除以根号d。要记住d是每个头的维度除以根号d是为了防止点积过大导致Softmax进入饱和区。第二个是Embedding层要不要参与参数统计。当面试官问7B模型里Embedding占多少参数时很多人直接傻掉。计算方法是词表大小乘以隐藏维度假设词表5万、隐藏维度4096那Embedding就是5万×4096约2亿参数占总参数比重不小。这也是大词表模型体积变大的原因。第三个是推理时KV Cache为什么不能提前算好。Transformer推理需要每生成一个Token就把它的K和V追加到缓存里下一轮计算时使用。如果你回答KV Cache只在生成阶段出现、训练阶段没有这就是送分题训练阶段每个Token同时可见不需要增量缓存而推理是增量式的KV Cache正是为此服务的。7.3 一条从背教材到真懂架构的实操路径如果看完全文还是觉得心里没底我给你一条不需要GPU的实操路径。去开源模型仓库把一个中等尺寸模型的配置文件打开对照本文的七个模块逐一找到对应字段词表大小在config.json里一般是vocab_size隐藏层维度叫hidden_size层数是num_hidden_layers注意力头是num_attention_heads是否分组查询看num_key_value_heads是不是小于前者归一化类型在norm_type或model_type字段激活函数在hidden_act里位置编码看rope_scaling之类的参数。看完一个大模型再随便换另一个模型的配置文件对比一遍就会发现同一个选择反复出现RMSNorm、SwiGLU、RoPE、GQA几乎是标配。此时你就能真正理解所谓主流大模型架构全景并不是四家各玩各的而是在同一套共同祖先模板上各自在效率、成本、应用场景上做权衡。架构题的答案从来不是唯一的只要你把为什么选择这个而不是那个的逻辑讲清楚就已经达到面试官对架构能力的基本预期了。我个人在实际带模拟面试时有个很深的体会能把LLaMA和DeepSeek的差异讲到GQA是共享KV、MLA是压缩KV一个靠共享省显存、一个靠压缩省显存这个粒度的人后面聊到任何新出的模型都不会怵场。因为你掌握的已经不是一个模型的参数表而是一套看模型的坐标轴。下次再遇到一个新开源的架构试着先不看官方技术报告自己按这套框架推理一遍它大概长什么样再回去对照验证。练过三轮之后你会回来感谢这套框架的。