27届大模型面试准备（四十九）：视频多模态大模型与长视频理解——从帧采样到时空注意力

27届大模型面试准备四十九视频多模态大模型与长视频理解——从帧采样到时空注意力引言为什么单图 VLM 不够必须把视频吃进来本系列已经把图像多模态A14 多模态 VLM、多模态推理A31 视觉思维链、多模态生成A46 扩散与自回归统一讲了一遍。但现实里大量信息是以视频形态存在的监控、会议录屏、教学视频、短视频、工业产线画面。把视频当一堆散图去问 VLM会丢掉最关键的时序——动作的顺序、因果、谁在何时对谁做了什么。这一篇专门补视频多模态大模型Video MLLM这条线它和图像 MLLM 一脉相承却因为多了一个时间维度在算力、建模、记忆三个层面都更难一个量级。面试里这条线高频出现在多模态 LLM 岗位尤其你正在准备的华为多模态方向、视频理解、具身感知。讲清楚视频比图像难在哪、帧采样怎么省算力、时空注意力怎么建、长视频怎么不丢前情基本就能把这一块答出深度。一、视频比图像难一个量级的三个根因图像 MLLM 的输入是一张图 一段文字视觉 token 数固定、无时序。视频 MLLM 面对的是若干帧 音频可选 文字三个新麻烦算力随帧数线性甚至超线性膨胀。一段 60 秒、30fps 的视频有 1800 帧全送进视觉编码器既不现实也没必要。哪怕压到每秒 1 帧也有 60 帧每帧 256 个视觉 token 就是 15360 个 token直接撑爆上下文。时序建模引入因果与顺序。图像里猫在左、狗在右是空间关系视频里猫先扑、狗后躲是时间关系模型必须学会跨帧对齐与因果推断。长视频的记忆与信息密度。长视频里有效信息稀疏且分散大部分帧是过渡。如何让模型记住前半段的约定、用在后半段的推理是长视频理解的核心难题。下面这张图对比两类模型的管线差异图像 MLLM 管线 图片 --(ViT encoder)-- 视觉 token --(projector)-- LLM [单帧无时序] 视频 MLLM 管线 视频 --(采样: 均匀/关键帧/运动自适应)-- 帧序列 --(时空编码器: 3D patch / 时空注意力)-- 视觉 token 序列 --(可选: 分段压缩 / 记忆缓存)-- LLM 文本指令 ------------------------------------------- LLM 输出: 视频问答 / 时序定位 / 摘要 / 动作识别关键认识视频 MLLM 不是把图像 MLLM 多喂几帧那么简单采样、时空编码、长程记忆是三道必须各自设计的关卡。二、帧采样第一道算力闸门全帧编码不可能第一步永远是采哪些帧。常见策略策略做法优点缺点适用均匀采样等间隔取 N 帧简单、覆盖全程可能漏关键瞬间通用短视频关键帧采样镜头切换/场景检测取帧信息密度高需镜头检测模块长视频、监控运动自适应按帧间差分/光流决定取舍动静分区、省算力复杂度高动作类视频密集采样高帧率小窗口滑窗捕获细粒度动作算力贵工业质检、体育工程上最常用均匀采样打底 关键帧补强先用均匀采样保证时间覆盖再叠加镜头检测出的关键帧补足语义突变点。下面是帧采样的典型实现import cv2 import numpy as np def sample_frames(video_path, num_frames8, strategyuniform): cap cv2.VideoCapture(video_path) total int(cap.get(cv2.CAP_PROP_FRAME_COUNT)) frames [] if strategy uniform: # 等间隔取帧避免首尾过采样 idxs np.linspace(0, total - 1, num_frames).astype(int) else: idxs np.linspace(0, total - 1, num_frames).astype(int) for i in idxs: cap.set(cv2.CAP_PROP_POS_FRAMES, int(i)) ret, frame cap.read() if ret: frames.append(frame) cap.release() return np.stack(frames) # (num_frames, H, W, 3)注意一个工程细节采样数num_frames是算力与效果的核心杠杆。短视频 8~16 帧往往够用长视频不能靠堆帧要靠后面的分段压缩解决否则 token 数爆炸。三、时空编码器怎么把视频喂给 LLM采完帧要把它们变成 LLM 能吃、且保留时序的 token。主流三种路线帧独立编码 时序拼接。每帧当独立图送 ViT得到每帧 token 后按时间顺序排列再让 LLM 的注意力天然看到时序。最简单但 LLM 自注意力对长序列的时序建模有限且没显式建模帧间运动。3D Patch Embedding。把视频切成 (T, H, W) 的三维 patch用三维卷积/线性投影直接得到时空 token从底层就融合时空。代表如 VideoMAE、TimeSformer 的若干变体。时空联合注意力Spatio-Temporal Attention。在 Transformer 里同时算空间注意力和时间注意力可分离先空间后时间省算力也可联合效果好但贵。下面是时空分离注意力的伪代码# 简化的时空分离注意力先空间、后时间 def spatiotemporal_attention(x): # x: (B, T, N, D) B批量 T帧 N每帧token数 D维度 # 空间注意力每帧内部 token 互相看 x_space attention(x, dimspatial) # 沿 N 维做注意力 # 时间注意力同一空间位置的 token 跨帧看 x_time attention(x_space, dimtemporal) # 沿 T 维做注意力 return x_time # 投影到 LLM 词嵌入空间 video_tokens projector(x_time) # (B, T*N_compressed, D_llm)工程取舍短视频几秒到几十秒用时空联合注意力效果最好长视频分钟级以上联合注意力算力不可承受必须走分段编码 跨段检索/摘要见下一节。四、长视频理解KV 爆炸与记忆机制长视频的真问题不是看不全而是记不住。分钟级视频若按每秒 1 帧、每帧 256 token轻松上万 token直接塞进 LLM 会上下文窗口爆掉、注意力被稀释、关键前情被淹没。解法是一套记忆机制核心是压缩 索引分段编码把视频切成若干段每段独立编码成少量摘要 token而非全量 token。层级索引段摘要进 LLM 做全局推理需要时再展开某段的细粒度 token 做局部推理类似 RAG 的粗排-精排呼应 A32 RAG 进阶。跨段检索问题相关的证据可能散布在多段用检索器把相关段摘要召回而非全量喂入。# 分段压缩 按需展开伪代码 segment_summaries [] for seg in split_video(video, seg_len16): # 每段16帧 tok encode_segment(seg) # 编码成少量摘要token segment_summaries.append(tok) # 全局规划层只看摘要 plan llm(question, segment_summaries) # 局部细化只展开被点名的段 for seg_id in plan.relevant_segments: detail expand_segment(segments[seg_id]) # 取细粒度token answer llm(question, detail, contextplan)这套机制和你之前做的 4MRAG按需组合模态检索器思想同源不一次喂全部而是先粗后细、按需取用。能讲清这点面试官会立刻联想到你 RAG 背景的迁移能力。五、训练数据与对齐视频-文本对从哪来视频 MLLM 的训练数据比图像难造因为视频-文本对齐需要时序标注公开数据短视频配文字描述、影视片段字幕、教学视频转录多用于预训练。自动标注用图像 MLLM ASR 给视频生成伪标注帧描述 语音转写 时间轴再用更强模型过滤低成本造大规模弱标注。时空对齐标注时序定位某动作发生在第几秒、视频问答带推理链这类高质量数据稀少是拉开效果的关键往往需要人工或半自动构造。训练范式通常是图像预训练底座 视频数据继续训练 指令微调复用图像 MLLM 的视觉编码器与 projector只在时空层和视频指令数据上增量训练控制成本。六、工业落地技术取舍清单场景核心难点推荐技术算力档位短视频问答动作/因果均匀采样 时空注意力中长视频摘要信息稀疏分段压缩 跨段检索中高视频审核违规瞬间定位关键帧 时序定位头中会议录屏理解多说话人PPT帧OCRASR 多模态融合高工业质检细粒度动作密集采样 3D 卷积高落地铁律先定清楚问题到底需不需要时序。很多业务用单帧 OCR/ASR 就能解决不必上完整视频 MLLM——算力省一个量级。只有真正涉及时序因果的才值得上时空建模。七、评测与失败模式视频 MLLM 怎么知道自己对不对视频 MLLM 的评测比图像难因为答案是时序相关的。看几个客观指标而不是只靠人工打分视频问答准确率VideoQA。分感知类某帧里有什么和推理类为什么、接下来会怎样后者才真考验时序建模。只报整体准确率会掩盖感知强、推理弱的短板面试要会拆开看。时序定位命中率temporal grounding。给一句描述模型标出它在第几秒发生看预测区间和真值的 IoU。这直接检验模型是否真看懂了何时。动作识别与步骤召回。长视频里动作常被拆成多步看模型能否完整召回步骤序列而非只认单帧。抗干扰鲁棒性。插入无关帧、加速/慢放、画面抖动看性能掉多少检验模型是否真依赖时序而非作弊式地抓单帧线索。常见失败模式要能枚举其一帧采样把关键瞬间漏掉导致看了等于没看解法是在均匀采样外叠关键帧其二长视频前情被上下文窗口吞掉靠分段压缩跨段检索第四节救其三训练数据里时序标注稀薄模型学会用单帧猜答案的捷径评测时换分布就翻车解法是构造强时序对比样本其四音频信息被忽略纯视觉模型在听不清就没法判断的视频上天然弱需接 ASR 或音频表征。能讲清视频评测必须分感知与推理、必须看时序定位、必须测鲁棒性的说明他真在视频模型上做过闭环而非只看论文榜单数字。最后把视频 MLLM 放回你的研究主线你做的 4MRAG 是按需组合模态检索器处理多模态文档ViDoSeek、SlideVQA、MultimodalQA视频本质是多帧时序的另一种多模态文档——把帧/镜头当成可被检索器按需调取的模态单元把时序定位当成检索的细粒度信号思路完全可迁移。这条线如果你能在面试里点出来既呼应了你的论文创新又展示了前沿视野是极强的加分项。十补、深度延展视频 MLLM 的训练技巧与实时端侧工程\n\n上一节讲了评测与失败模式这一节补最贴近训练与部署的训练技巧与工程深潜这些是论文里少写、却决定能不能落地的硬功夫。第一预训练的目标设计。视频-文本对比学习类似 CLIP 但扩展到时序是最常用的预训练范式把同一视频的不同采样视图与文本拉近、不同视频推远。但纯对比容易让模型学会用单帧 shortcut 蒙混因为很多视频里随便一帧就能和文本对齐。更稳的做法是叠一层时序对比——强制模型区分正确顺序与打乱顺序的帧序列逼它学到真正的时序结构而非只学外观。这一招对动作类、因果类视频提升尤其明显。\n\n第二帧顺序敏感性。Transformer 本身对输入顺序不敏感位置编码只给绝对位置但视频的时序就是顺序。训练时若总是正序模型可能没学会倒放不对工程上会做帧顺序增强随机打乱一段、让模型预测是否被打乱或恢复顺序提升对时序的鲁棒性。这和 A22 推理时扩展里用顺序扰动做自监督思路同源。\n\n第三长视频的课程学习。一开始用短视频几秒训让模型先学会基础时空对应再逐步加长视频时长、加大分段压缩的压力否则一上来就喂长视频注意力会被噪声帧淹没、loss 难降。这和 A17 分布式训练里先小后大的扩规模纪律一致——训练节奏也是工程。\n\n第四实时与端侧。很多场景要边播边理解会议实时字幕、监控实时告警不能等整段视频传完。做法是滑窗流式编码维护一个滚动的帧缓冲每来新帧增量更新分段摘要用轻量模型做初筛、重模型只处理被初筛命中的窗口。端侧A34 端侧部署则更狠——帧率降到最低可辨、分辨率压到最小、模型用量化A19甚至蒸馏A27/A35到能跑在 NPU 上用识别质量换实时性。这里的关键是明确业务到底需要多细的时序粒度再反推帧率与模型大小而不是无脑上大模型。\n\n第五多智能体视频 pipeline。当视频理解要驱动动作如机器人看视频学操作呼应 B43 具身智能体单模型不够要拆成感知 Agent抽关键帧与实体 时序 Agent理因果链 决策 Agent定下一步动作的 pipeline每个 Agent 输出可独立观测、可单独回归这正是你把 4MRAG多智能体 pipeline 按需组合检索器思想从文档领域搬到视频领域的自然延伸。能讲清视频理解从单模型走向多 Agent pipeline、且和你论文的检索器组合思想同源的在面试里是把前沿视野和研究积累打通的标志性回答。九补、把视频 MLLM 接回你的多模态研究主线讲到这里最重要的一步是把视频 MLLM 和你正在做的多模态检索增强生成4MRAG串起来——这才是你面试里最独特的差异化素材。你的论文处理的是多模态文档ViDoSeek、SlideVQA、MultimodalQA本质是图文混合、需要跨表格与图像取证的复杂推理视频不过是把多页文档换成多帧加时序的多模态文档。具体衔接点有三个。第一检索器组合的迁移。4MRAG 的核心是按需组合模态检索器文本检索器、表格检索器、图像检索器按问题类型动态调度视频场景下可等价为按镜头、按帧、按时序段的动态检索器组合——问第几秒发生了什么走时序检索器问画面里有什么走关键帧检索器。这套检索器组合当成可搜索的树的思想完全可迁移面试官一听就知道你不是只会调现成视频模型而是有自己的方法论。第二复杂度分析的迁移。你论文里有 4MRAG 的计算复杂度分析章节视频 MLLM 的算力复杂度帧数乘每帧 token 乘注意力也能做同样的剖析体现你不只看效果、还看代价的工程素养。第三评测闭环的迁移。4MRAG 在 ViDoSeek 上的实验配置retrieval_top_k5、rerank_top_k3、n310、seed42是严谨可复现的范式视频 MLLM 的评测也该有同样严谨的配置与回归而非只看榜单数字。面试串联建议被问到视频理解不要只背架构而是先定义这题到底要不要时序再讲采样-编码-记忆三关最后落到和你 4MRAG 检索器组合思想同源。这一套从问题定义到方法到研究主线的回答比罗列 SOTA 模型值钱得多也直接呼应你简历里最硬的成果。十补、视频 MLLM 速记卡与选型清单把本篇压成一张面试速记卡关键时刻能直接背三难算力随帧膨胀、需显式时序、长视频需记忆三关采样控算力、时空编码建模、分段压缩管记忆四采样均匀保覆盖、关键帧补突变、运动自适应省算力、密集采细动作两编码帧独立编码LLM 注意力最简单时空联合注意力效果最好但贵一总纲视频不是多喂几帧而是多一个时间维度的系统工程。选型清单补一刀短视频几秒到几十秒用时空联合注意力效果最好长视频分钟级必须走分段编码加跨段检索联合注意力算力不可承受实时场景用滑窗流式编码端侧用最低可辨帧率加量化蒸馏。落地铁律是先判断问题到底需不需要时序很多业务用单帧加 OCR/ASR 就能解不必上完整视频 MLLM——算力省一个量级。能讲清按视频长度与实时性反推模型形态的体现的是把视频当工程问题而非模型炫技的成熟度。最后把视频接回你的 4MRAG 研究主线检索器组合、复杂度分析、可复现评测可迁移这一篇就从前沿知识点变成你研究体系的延伸。面试速答问视频 MLLM 和图像 MLLM 最大区别答多了一个时间维度带来三难——算力随帧数膨胀、需显式时序建模、长视频需记忆机制。不是多喂几帧那么简单。问帧采样为什么重要答它是第一道算力闸门。全帧编码不可行均匀采样保覆盖、关键帧补语义突变、运动自适应省算力采样数直接决定效果与成本平衡。问长视频怎么不丢前情答分段编码压缩成摘要 token全局规划看摘要按需展开相关段做局部细化本质是粗排-精排的 RAG 思想在视频上的迁移。问训练数据怎么来答公开视频-文本对做预训练图像 MLLMASR 自动造伪标注高质量时序定位/视频问答数据人工或半自动构造通常图像底座 视频增量训练。高频追问清单时空联合注意力和空间、时间分离注意力算力与效果怎么权衡什么任务该用哪种长视频的分段边界怎么定固定时长还是语义切分切错边界会丢信息吗音频要不要进模型视频 MLLM 里 ASR 文本和原始音频表征怎么融合时序定位某动作在第几秒一般怎么做是生成时间戳还是接检测头和你做的 4MRAG 按需组合检索器视频的分段检索有哪些可借鉴的设计视频 MLLM 的评测除了视频问答准确率还应看哪些客观指标定位命中、动作召回推理部署时视频 token 数动态变化不同时长怎么批处理PagedAttention 思路能借鉴吗端侧视频理解A34 端侧部署怎么把算力压下来帧率、分辨率、模型大小的三角怎么取舍