大模型面试必备：Transformer、Token与RAG核心概念精讲

想进大模型赛道先把LLM这些地基问题答明白这两年大语言模型LLM相关的岗位有多火不用我多说。很多人简历上写“熟悉大模型应用”“做过Agent开发”结果面试官随口问一句“你讲一下Transformer结构和传统序列模型的核心区别”现场就卡住了。更可惜的是一些同学明明项目经验不错但因为基础概念答得含糊整体评价被拉低最后被一个更“稳”的候选人顶掉。这篇文章不绕弯子直接帮你把“大模型基础面试题”这回事拆透。我根据自己的实际面试和带人经历把LLM最常被考察的基础概念按主题做了梳理整理了10道最典型的面试题每道题都给了作答思路和参考答案并且在文章最后放了一批只有踩过坑才知道的备战心得。适合谁看正在准备大模型相关岗位面试的人刚转行想做LLM应用开发的人还有那些“会调接口但说不清原理”的工程同学。先把地基补上后面聊项目才不会发虚。1. 为什么“基础面试题”反而最容易拉开差距1.1 面试官其实不期待你背答案他期待你有框架我面过不少候选人发现一个规律问“什么是大模型”这种看似最基础的问题反而最能看出一个人的水平。有人的回答是“ChatGPT那种模型”然后就没了有人能从“预训练”“参数规模”“自监督学习”“涌现能力”四个维度展开还能顺带讲一句“传统任务模型是定制化的预训练大模型是通用能力底座所以叫基础模型”。差距不在谁记住了更多名词而在谁脑子里有清晰的框架。面试官问基础概念本质上不是考你记忆力而是在确认你有没有真正理解这个领域的核心逻辑你能不能把概念讲清楚让别人听得明白你脑子里的知识是零散的还是体系化的1.2 大部分候选人最缺的不是项目是基础概念的“可解释性”我带过几个实习生代码写得挺顺Prompt调得也像模像样但一问“为什么大模型会一本正经地胡说八道”他就只能回答“可能训练数据有问题”。这不能算错但失于笼统。可以拆出三个层次第一层是数据层面的问题训练语料本身带有噪声、错误或偏见模型学习时把这些信息也吸收了。第二层是模型机制层面的问题语言模型的核心目标从来不是“保证事实正确”而是“预测下一个最合理的Token”。只要是概率生成就一定存在编造空间。第三层是对齐不足的问题模型没有足够的奖励信号来区分“事实正确”和“看起来正确”。能讲到第二层面试官就会点头能把三层都讲出来还能顺势补一句“所以RAG和微调缓解幻觉的原理不一样”这场面试基本稳了。2. 大模型基础概念全景拆解从Token到预料、微调、温度参数2.1 预训练和微调理解LLM能力的起点大家口中的大模型几乎都逃不开“预训练微调”这套范式。所谓预训练就是用海量文本让模型做一件看似无聊的事给定前文预测下一个Token。这件事重复上百亿次后模型内部的参数就在不断调整把语言中常见的模式、知识、逻辑关联统统内化了。我经常用一个比喻预训练相当于一个新人被丢进一座巨大的图书馆要求他不出门只做一件事——反复读前文猜下一页的内容。猜错多了他自然学会了语法、常识、逻辑和大量事实知识。这时的模型叫“基座模型”Base Model能力很强但不懂你问的问题该怎么答可能你问一句它回三句不相关的。微调Fine-tuning)就是让基座模型在带标注的数据上进一步学习比如“问题是哪句、答案应该是什么格式、面对用户的提问应该先回应什么”。典型的是指令微调SFT本质是把模型从“接着写”的习惯纠正成“按要求回答”的习惯。再往后还有基于人类反馈的强化学习RLHF核心是让模型的输出和人类的偏好对齐。所以面试题如果问你“预训练和微调有什么区别”千万不要只答“训练数据不同”。要往深一层说预训练学的是“语言中普遍存在的规律”目标是语言建模微调学的是“如何完成任务和服从指令”目标是行为对齐。预训练造价极高通常只有少数机构做微调是把通用模型个性化、领域化的低成本手段。2.2 Token、嵌入、上下文窗口三个最容易被轻视的概念先说Token。很多非科班同学第一次知道“Token”是在查API账单时发一段话扣了若干Token费。于是以为Token就是“字数”。其实Token是文本切分成的基本单位可以是一个完整的单词可以是半个词甚至可以是单独一个汉字字符。不同分词器有自己的词表同一个句子在不同模型里Token数量不一样。为什么模型不直接按字处理因为英文单词数量巨大且变化多直接把单词作为最小单位会导致词表爆炸还学不会词根词缀关系而按字符处理又会让序列太长增加计算量。Tokenizer就是在这两者之间找平衡常见的词直接占一个Token生僻词拆成子词BPE算法。中文的特殊性则更明显很多汉字本身就能直接作为词根使用所以目前主流中文模型的Tokenizer各有各的讲究。再说嵌入Embedding。嵌入是把Token映射成向量让模型能把“国王”和“王后”这种语义上接近的Token在向量空间里靠得更近。如果没有嵌入层纯数字ID丢进模型模型完全无法理解词语之间的语义关系。面试中如果聊到Embedding讲清楚“把离散符号映射为稠密向量使语义相似性转化为空间距离相似性”就够了如果再能提到“所以RAG里做相似度检索本质是找嵌入向量最接近的文本片段”会显得对实际应用很熟。上下文窗口Context Window就更好理解了模型一次最多能同时看到的Token数量。比如上下文窗口是128K那模型输入加输出总共不能超过128K Token。这直接决定了你能给它喂多长的资料、做多复杂推理。窗口越大能处理的文档任务、多轮对话场景就越强但占用计算资源也会飙升而且不是说窗口开到很大模型就真的能“理解”全部内容这涉及“长度外推”和注意力分布稀疏化的问题详见第3章的题目分析。2.3 温度、Top-p、采样同一个“随机性”的三种玩法很多人在写API的时候调过temperature温度但原理未必清楚。温度的本质是先把模型算出的每个词的概率分布做一次“软化”或“硬化”再从这个分布里采样。温度低时高概率的Token相对更突出输出更稳定保守温度高时原本概率偏低的Token也有机会被选中输出更有发散性和创意。Top-p又不同。它不是调整概率而是做一个截断从最高概率的词开始往下累加直到累计概率达到p为止然后把候选集之外的词概率全部置零再在候选集内重新归一化。所以Top-p更像“动态取候选集”温度更像“改变候选词之间的冷热”。实际工程里两者常搭配使用。比如客服机器人通常把温度调到0.2甚至0追求稳定输出写小说的应用温度可以调到0.8、0.9再配合合适的Top-p让表达不那么重复。这个考点往往容易挂人因为大家习惯“调包”说不清背后的概率语义。记住一个关键差异温度影响整个概率分布的平滑程度Top-p影响候选Token的数量和取舍方式。3. 十道高频大模型基础面试题答题框架与参考答案下面这10道题是我在实际面试里反复见到的覆盖面从概念认知到机制原理、应用方法都有。我给每一道题整理了作答框架不一定要求你按原文背但搭好这个骨架基本不会冷场。3.1 第一梯队概念认知题题1什么是大语言模型它和传统语言模型有什么本质区别作答框架分三层定义、特点、本质区别。定义大语言模型LLM是一种基于海量文本数据和深度学习架构以Transformer为主训练而成的神经网络语言模型核心任务是根据前文预测下一个Token。特点模型参数规模大从数十亿到上万亿不等具备上下文学习、思维链、多步推理、指令跟随等“涌现”能力。本质区别传统统计语言模型比如n-gram模型靠计算词序列的共现频率来估计概率稀疏性问题严重只能捕捉短距离的局部语言规律。神经网络语言模型比如LSTM类模型能建模长距离依赖但序列处理是串行的速度慢、难以并行。LLM借助Transformer的自注意力机制序列中的任意两个Token可以建立直接关联极大解决了长距离依赖问题同时能通过预训练从万亿级文本中汲取知识形成了传统模型不具备的通用性和任务泛化能力。题2为什么Transformer能成为大模型的事实标准自注意力机制到底在做什么作答框架先说早年主流的RNN/LSTM是“顺着句子逐个词处理”后一个词依赖前一个词的计算结果并行度差长距离信息也容易衰减。Transformer一改格局它让序列中的每一个Token同时去和序列中的其他所有Token计算关联度得到加权汇总后的输出。自注意力的关键动作是拿一个词的查询向量Query去和整句话所有词的键向量Key做匹配得到注意力权重再用这组权重去加权各个词的值向量Value。说白了就是让序列中每个词根据自身需要动态读取序列其他位置的信息。我遇到过一个比较到位的面试回答对方加了一句对比“RNN像接力跑每一棒都必须等上一棒Transformer像开会每个人发言前可以同时翻阅所有人的笔记然后决定把注意力放在谁身上。”面试官听到这种类比加分很明显因为它证明你真的理解设计动机。题3谈谈你对Token的理解为什么大模型不直接按字符处理回答拆成三个递进点。第一Token是文本进入模型前的最小语义单元分词器通过BPE等算法把文本切分为词表中的编号序列模型看到的从始至终都是整数编号不是在“看”文字。第二为什么必须有这个词表因为模型计算本质是矩阵计算你需要把不定长的文本固定成一组可对齐的离散编号。直接把一个单词当作最小单元词表指数级膨胀按字母/单字切序列太长计算成本难以落地。子词方案兼顾了两者它把高频单词完整保留低频词拆成常见子词既压缩序列长度又保留了形态学信息。第三中文有特殊性。中文没有天然空格分词早期按字切会丢失词汇边界后来很多中文Tokenizer引入了分词工具辅助切词。如果你用的是某个中文模型可以注意一下它对“人工智能”这几个字切出来几个Token很多时候是2个或3个这背后的权衡直接和收费、推理性能相关。3.2 第二梯队机制原理解释题题4大模型为什么会产生幻觉怎么缓解幻觉是高频题答好了能体现你同时了解数据和模型两个维度。先定义模型的输出看似合理流畅但事实错误或无中生有。原因预训练目标的本质是“预测下一个Token”模型追求的是语言流畅性而非事实可靠性训练数据可能存在错误与偏见模型会照单全收生成阶段是采样采样就带有随机性任何一次采样都可能离开正确答案即使在最理想情况下模型也只是把“知识”存储在参数里它没有外部求助通道遇到超出自身知识边界的问题只能现场编。缓解手段RAG检索增强生成外部检索相关知识片段拼入Prompt让模型基于参考材料回答SFT/RLHF阶段的“拒绝回答训练”让模型学会说“不知道”解码阶段调低温度减少低概率路径提供“输入不确定性检测”或“一致性校验”。更自然有经验的补充方法是举例“我维护的客服机器人最开始幻觉率很高后来给回复管线加了RAG和置信度回退几十轮测试下来明显改善。单纯加大Prompt反而是抑制不了幻觉的。”这类实战经验很戳面试官。题5温度参数和Top-p采样的区别是什么实际怎么选这题不再赘述原理。直接给“怎么答”的骨架采样发生在模型已经算好全词表概率分布之后生成一个Token前温度通过缩放Logits来改变分布陡峭程度低温度让高概率词更突出高温度让分布更平坦从而提升随机性Top-p则是选取累计概率达到p的最小候选集合把集合外全部剔除再在这些候选里归一化两者都影响随机性但机制不同可以组合使用。加分项是举一个调参实例“我在做一个文案生成功能时最开始温度设0.9结果句子五花八门同事反馈像喝多了写的后来降到0.7并设Top-p为0.9发散度够了结构也还稳。也就是说你不一定只拧温度调整Top-p往往对质量改善更直接。”题6什么是上下文窗口为什么长上下文又强又难先给基础上下文窗口决定模型单次能接收的最大Token量。然后展开“为什么长上下文难”至少分三个方面计算复杂度标准自注意力是O(n²)的窗口翻倍计算量约四倍所以各大模型用稀疏注意力或滑动窗口来近似长度外推问题训练时候序列和长序列分布未必一致模型没见过4K长度的语料你硬给128K的输入性能可能崩信息淹没Lost in the Middle实验发现哪怕模型有足够上下文它也容易先关注开头和结尾中间信息被忽略。答题时可以引一个工程判断“我们做文档问答时原本用32K窗口把整份合同丢进去结果很多问题答不准改成把合同切片检索相关片段后再喂给模型准确率反而上来了。所以窗口大不是万能的检索的设计才真正决定了效果。”3.3 第三梯队应用与工程实践题题7什么是RAG为什么它能解决很多LLM的实际落地问题RAG的完整含义是检索增强生成。流程可以概括为三步把私有文档切片、用嵌入模型向量化存入向量数据库用户提问时把问题也做嵌入在向量库中检索最相似的文本片段把检索结果拼到Prompt里让模型基于这些上下文生成回答。答题要点是讲清楚RAG和微调的本质区别RAG不改变模型参数它改变模型的输入微调改变模型参数让知识内化在权重里。对企业来说RAG更容易维护更新知识只需要重建索引不用重新训练数据更新成本低。同时RAG可以附上来源引文这给“可信”这个需求非常重要。如果想更进阶可以补一句“RAG的瓶颈经常不是模型而是检索质量。比如你向量化的时候切分点选得不好或者和问题语义匹配得分不理想那么检索到的一堆噪声会使模型生成效果大打折扣。所以不只要会用LangChain还要会调试切分策略和检索排序。”题8让你做一个基于大模型的问答机器人会怎么设计整体方案这题综合性极强问的是方案设计能力而不是单一知识点。我的答题框架一般是这样需求拆解确定场景是单轮或多轮、知识库范围多大、容忍错误率多高技术选型基座模型选型是走线上API还是私有化部署上下文窗口多少合理知识接入如果是私有知识走RAG路线若数据有较强格式要求可增加SFT作为辅助上线保障Prompt模板设计、输入过滤、输出安全检测、引用来源、兜底规则无法回答时转人工评测体系准备一组测试集覆盖标准问、疑难问、攻击问人工打分和自动化指标结合。面试官要的不是你背一个标准答案而是看你有没有全局意识。能讲出“上线以后还会遇到badcase回流每两周重新迭代一次测试集”这类细节比堆名词加分得多。题9微调和RAG在什么场景下选哪个很多人答“有私有数据就微调”这是很典型的误区。先区分二者微调是让模型学会一种“行为模式”或“领域风格”比如客服的固定应答风格、特定行业的术语习惯、特定的输出格式RAG是让模型“知道某条知识”比如公司内部文档中的具体条款。实操心得就是这样知识型内容优先RAG因为可追溯、更新快若需要改变模型的语言风格、格式、表情习惯SFT更合适如果两者都需要正式一点的做法是先微调风格再叠加RAG补充事实。顺手多说一句很多团队做“微调后效果变好了”其实是数据量太小导致的记忆化不是泛化能力提升。做微调时一定要留出与训练集同分布的验证集看到评测指标是否有真实提升。题10什么是Prompt Engineering有哪些可以提高回答质量的结构化方法最后一题偏应用。别只说“给模型明确指令”这种空话。给出一套可复用的方法一个非常实用的结构是“角色任务上下文约束输出格式” “你是一名资深法律顾问角色。请根据下面的合同条款审查是否存在对我方不利的支付约定任务。合同原文……上下文。注意给出风险等级和相关条款编号约束。采用编号列表逐条输出风险点和修改建议输出格式。”如果需要更严谨配合少样本Few-shot提示词先给一两个问答示例再让模型模仿格式回答。若做复杂推理可以用“让我一步一步思考”引导模型把中间步骤写出来也就是大家常说的思维链CoT。不要把它说得玄乎本质是模型在逐步书写推理过程时中间结果成为后续推理的上下文大大减少跳跃式出错。4. 面试现场最容易踩的坑与备战方法4.1 五个高频错误及应对策略第一个坑只会说名词不会讲关系。比如提到“注意力机制”“RLHF”“LoRA”都是一句话带过面试官追问细节就断片。对策是准备每一个核心知识点时都要扩展出至少三层。第二个坑用词不准确。有人把“上下文窗口”说成“记忆长度”把“向量化”说成“编码”。大模型这个领域术语本身就有混淆区但面试时用错词容易被看成基本功不扎实。日常看论文或文档时遇到不确定的术语要及时查定义。第三个坑答非所问。面试官问“为什么Transformer比起RNN好”他追问的是本质动机结果你直接答“因为用到了注意力”。这不是错但太浅。最好用“串行vs并行、长距离依赖、梯度消失”三个角度展开。第四个坑没有工程意识。只谈学术不谈落地。我最喜欢听的回答是“这块我实际做过当时的做法是……后来发现……如果重来我会……”这种回答里有真实的信息量。第五个坑不懂可以说“不知道”。面试官问了一个你不熟悉的技术名词比如“稀疏专家模型”或“MLA”坦诚说“这个方向我没有深入调研我目前理解的是它对显存优化有益但我不能乱讲”反而比现场编强很多。工程师面试在乎诚实学术吹牛很容易穿帮。4.2 准备了一套“两问一答”自测法我在准备面试辅导时总会让候选人对每个概念做“两问一答”训练问自己“这概念解决什么问题”背景问自己“它的核心机制是什么”原理合起来答一遍要求60秒内讲完。比如“RAG”它解决什么问题LLM不知道外部新知识同时容易幻觉核心机制检索外部文档片段拼接进Prompt由模型综合生成合起来讲一遍RAG是先把外部知识分成若干块并向量化存入数据库用户提问时检索相关片段拼到提示词里这样模型不需要记住所有事实只需要基于临时上下文作答。每个概念都这样过一遍你脑子里就会形成非常完备的“概念档案”。面试时遇到乍看起来陌生的题目也可以试着从这三个角度去拆它要解决什么问题、它用什么手段解决、解决得不彻底时残留什么代价。4.3 面试前一个晚上的快速复习路线时间有限时不用把几十个知识点都复习到位。按重要性优先级来必背Transformer整体流程、Token概念、预训练/微调区别、温度与采样、幻觉成因与缓解、RAG全流程熟悉上下文窗口、长度外推、Prompt结构、LoRA思路至少知道是什么了解MoE、量化加速、分布式训练基础名词。如果当天晚上精力允许再模拟一场10分钟的问答让朋友或自己对着手机录音回放。你会发现讲出来和脑中想完全不是一回事结巴和卡壳的段落往往是理解最薄弱的地方第二天早上重点再看一次即可。4.4 我自己的复盘面试不是背书是结构化交流我这些年经手过多轮技术面试也复盘过自己和同事的失败案例。最深的体感是面试官不会因为你有一题不会就否定你但如果一个问题你只答了表面后面被连续追问时连环露馅这种扣分才是致命伤害。所以我在文末想特别强调读这套面试题千万别只求“背会答案”。面对“什么是Token”这类题你要能做到在不同的语境下自由切换解释角度。同样一个概念面对算法岗用数学表达面对应用岗用流程表达面对非技术朋友用类比表达能做到这种切换职业基本功才算真正过硬。而这个过程并没有捷径它需要你不停地在真实场景里追问、验证、踩坑从“会调API”慢慢走到“能讲清楚为什么”。希望这篇文章能帮你少走几段我走过的弯路。