VGGT-Diff：几何隐特征引导视频扩散模型实现稀疏视角新视角合成

稀疏视角新视角合成这个方向做三维重建和神经渲染的人应该都不陌生。给定两三张甚至更少的输入视角要生成任意新视角下的高质量图像这件事的难点从来不在生成本身——扩散模型早就能生成以假乱真的画面了——而在于生成出来的东西几何上对不对。我见过太多demo单看每一帧都很漂亮一转到新视角就发现桌子腿穿模了、墙面扭曲了、远处建筑像融化的蜡烛。VGGT-Diff这篇工作瞄准的正是这个痛点把VGGT-Ω的视觉几何隐特征引到预训练视频扩散模型里用几何先验去约束多视角生成过程。下面我按自己的理解把这篇工作的技术脉络、关键设计、实操复现时要注意的坑尽量掰开揉碎讲一遍。1. 稀疏视角新视角合成到底难在哪1.1 从看着像到几何对的鸿沟先说清楚问题设定。稀疏视角新视角合成Sparse-View Novel View Synthesis指的是输入只有少量通常2到4张已知相机位姿的图像要求渲染出任意指定新位姿下的图像。传统NeRF类方法在这个设定下基本崩盘因为MLP拟合辐射场需要密集视角监督视角一稀疏几何就欠约束出来的东西要么糊要么飘。3D Gaussian Splatting虽然快但同样依赖足够多的初始点云稀疏输入下高斯分布会严重退化。扩散模型的介入改变了游戏规则。预训练的视频扩散模型本身见过海量视频对世界应该如何随时间/视角连续变化有很强的先验。把它拿来做新视角合成本质上是把新视角当成视频的下一帧来生成。问题在于视频扩散模型的先验是外观层面的它知道猫长什么样、光怎么打但它并不真正理解三维几何。你给它两张视角它可能生成一个看起来合理但空间上完全错误的中间视角——因为从外观统计上看那个错误的结果和正确结果一样自然。这就是核心矛盾生成质量靠扩散先验几何正确性却需要显式的三维约束。VGGT-Diff的切入点就是想办法把几何信息以一种扩散模型能吃进去的形式注入进去。1.2 为什么选VGGT-Ω做几何引导VGGTVisual Geometry Grounded Transformer这类模型的核心能力是从单张或多张图像中直接回归出相机参数、深度图、点图等几何量。它相当于一个几何感知编码器输出的隐特征里天然携带了场景的三维结构信息。VGGT-Ω作为其改进版本在特征表达的稳定性和跨视角一致性上应该做了优化从命名看Ω通常代表某种完整版或增强版。选择VGGT-Ω而不是直接用深度图或点云做引导我认为有几个考量。第一隐特征比显式几何更软。如果你硬把深度图作为条件塞给扩散模型一旦深度估计有噪声生成结果会被带偏而且扩散模型很难纠正这种硬约束。隐特征则是一种更抽象、更鲁棒的几何表示扩散模型可以在其上做一定程度的解读和补偿。第二VGGT-Ω的特征是跨视角对齐的这意味着不同输入视角提取出的特征在同一个几何空间里天然适合做多视角一致性约束。第三端到端可训练不需要额外的深度标注或点云监督整个pipeline可以联合优化。1.3 视频扩散模型作为生成 backbone 的利与弊用预训练视频扩散模型比如基于Stable Video Diffusion或类似架构做backbone好处是现成的时空先验。视频模型在训练时见过大量相机运动、物体运动的样本对视角变化时画面应该如何流动有隐式建模。你只要把多视角图像按相机轨迹排成伪视频模型就能顺着时间维度生成新视角。但弊端也很明显。视频扩散模型的时间一致性是为连续视频帧设计的帧间位移通常很小而新视角合成里相邻视角可能有很大的基线baseline画面变化剧烈。直接套用会导致两个问题一是大基线下的几何崩坏二是模型倾向于生成平滑过渡的中间帧反而抹掉了正确的视差。VGGT-Diff要解决的就是在这种大基线、稀疏输入的条件下用几何隐特征把视频扩散模型拽回正确的三维轨道上。2. VGGT-Diff的整体架构拆解2.1 双分支设计几何编码与生成解码从标题描述看VGGT-Diff是一个几何引导的多视角扩散模型我理解它的架构大致是双分支的几何分支VGGT-Ω作为几何编码器输入稀疏视角图像输出一组几何隐特征。这些特征编码了场景的相机内参外参、深度结构、跨视角对应关系等信息。生成分支预训练视频扩散模型作为生成器负责从噪声中逐步去噪出目标视角图像。关键在于去噪过程的每一步都受到几何隐特征的引导。两个分支之间需要一个桥接模块把VGGT-Ω的特征空间对齐到视频扩散模型的条件空间。这个桥接通常通过cross-attention或者特征调制如adaLN、FiLM来实现。具体用哪种取决于特征维度和扩散模型的条件注入方式。2.2 几何隐特征如何注入扩散过程这是整篇工作最核心的技术点。几何引导注入扩散模型常见有几种方式我结合经验分析一下VGGT-Diff可能的选择方式一Cross-Attention条件注入。把VGGT-Ω的几何特征作为key和value扩散模型UNet的中间层特征作为query通过cross-attention让生成过程查询几何信息。这种方式的优点是灵活模型可以自适应地决定在哪些空间位置、哪些去噪步上依赖几何。缺点是attention计算量大且训练时容易欠拟合几何条件。方式二特征拼接或加性调制。把几何特征直接拼接到扩散模型的输入或者通过FiLM做逐通道的缩放平移。这种方式实现简单但几何信息的利用比较粗暴模型可能学不会精细的几何对应。方式三ControlNet式的旁路引导。复制一份扩散UNet的编码器把几何特征作为旁路输入通过zero-conv逐层注入。这种方式在图像生成里被验证很有效比如ControlNet能保留预训练权重的同时注入新条件。从引导至预训练的视频扩散模型这个表述看VGGT-Diff大概率采用了类似ControlNet的旁路结构或者是在预训练模型基础上加了轻量的几何适配层。这样做的好处是不破坏预训练权重训练成本低且能充分利用视频扩散模型已有的生成能力。2.3 多视角一致性的约束机制稀疏视角新视角合成最怕的就是多视角之间不一致。VGGT-Diff既然是多视角扩散模型必然要在生成过程中施加跨视角约束。我推测它至少做了两件事第一几何特征本身是跨视角共享的。VGGT-Ω对多个输入视角提取的特征在同一个几何空间里生成任意新视角时都查询同一套几何特征天然保证了不同新视角之间的几何一致性。第二训练时的多视角联合监督。如果训练数据里每个场景有多个视角模型可以同时生成多个新视角并施加一致性损失比如光度一致性、深度一致性。这种联合训练比单视角独立生成更能逼出几何正确性。3. 复现VGGT-Diff时的关键实操细节3.1 环境与依赖准备假设你要复现或基于VGGT-Diff做二次开发环境准备上有几个容易踩的坑。首先是视频扩散模型的权重加载预训练权重通常很大几GB到十几GB加载时要注意显存。如果用的是类似SVD的架构UNet部分参数量在1.5B左右加上VAE和文本编码器推理至少需要16GB显存起步训练建议24GB以上。其次是VGGT-Ω的依赖。这类几何Transformer通常依赖特定的CUDA算子和注意力实现如FlashAttention、xFormers版本不匹配会直接报错。我的建议是先用官方提供的推理脚本跑通单样本确认几何分支能正常输出特征再动生成分支。# 典型的环境准备流程示意 conda create -n vggt-diff python3.10 conda activate vggt-diff pip install torch2.1.0 torchvision --index-url https://download.pytorch.org/whl/cu118 pip install -r requirements.txt # 单独验证几何分支 python scripts/test_vggt_omega.py --input samples/scene_001 --output debug/geo_feat.pt注意几何分支和生成分支的精度要求可能不同。VGGT-Ω通常用fp32保证几何精度而扩散模型推理常用fp16省显存。混合精度时要注意特征对齐时的类型转换否则会出现数值溢出导致的NaN。3.2 数据准备与相机位姿处理稀疏视角新视角合成的数据准备相机位姿是命门。你需要为每个场景准备输入视角的图像和对应的相机内外参以及目标新视角的相机参数。常见数据集如DTU、LLFF、RealEstate10K、CO3D等格式各不相同。实操中最容易出问题的是坐标系约定。不同数据集用的相机坐标系不一样有的y轴朝上有的朝下有的用OpenCV约定有的用OpenGL约定。VGGT-Ω输出的几何特征是在它自己的坐标系里的如果你喂进去的相机参数坐标系和它训练时不一致几何引导就会完全错位。我的经验是统一转成OpenCV约定x右、y下、z前并且在喂给几何分支前做一次可视化验证——把输入视角的点云投到图像上看是否对齐。# 相机参数对齐检查的伪代码 import numpy as np def verify_camera_alignment(image, K, w2c, depth): # 用深度反投影出点云再投回图像检查重投影误差 h, w image.shape[:2] ys, xs np.meshgrid(np.arange(h), np.arange(w), indexingij) pixels np.stack([xs, ys, np.ones_like(xs)], axis-1).reshape(-1, 3) cam_points (np.linalg.inv(K) pixels.T).T * depth.reshape(-1, 1) world_points (np.linalg.inv(w2c) np.concatenate([cam_points, np.ones_like(cam_points[:, :1])], axis-1).T).T # 重投影 reproj (K (w2c world_points.T)[:3]).T reproj reproj[:, :2] / reproj[:, 2:3] error np.abs(reproj - pixels[:, :2]).mean() print(f平均重投影误差: {error:.4f} 像素) return error如果重投影误差超过1个像素基本可以确定坐标系或内参有问题这时候别急着训练先把数据对齐搞对。3.3 几何引导强度的调参经验几何引导强度是这类方法最敏感的超参。引导太弱生成结果几何崩坏引导太强画面会变得僵硬、纹理模糊因为模型被几何约束锁死了失去了扩散模型本身的生成多样性。我的调参策略是分阶段、分去噪步。在去噪的早期阶段高噪声几何引导可以强一些因为这时候主要确定大结构在去噪后期低噪声引导应该减弱让扩散模型自由补充纹理细节。这种退火式引导在多个几何引导生成的工作里都被验证有效。具体实现上可以给几何条件的注入加一个随去噪步衰减的系数def get_guidance_scale(timestep, total_timesteps, base_scale1.0, min_scale0.2): # 从base_scale线性衰减到min_scale progress timestep / total_timesteps return base_scale * (1 - progress) min_scale * progress实测下来base_scale在0.8到1.2之间、min_scale在0.1到0.3之间比较稳。当然这取决于你的几何特征质量和数据集建议先用小规模验证集扫一遍。4. 几何引导扩散模型的常见失效模式与排查4.1 生成结果糊成一团的根因定位如果你复现出来发现生成的新视角图像整体模糊、缺乏细节别急着调学习率先按下面的链路排查第一步检查几何特征是否有效。把VGGT-Ω输出的特征做PCA降维可视化看是否呈现出与场景结构相关的空间分布。如果特征图看起来像随机噪声说明几何分支没正常工作可能是权重加载错误或输入预处理不对。第二步检查条件注入的梯度。在训练时打印几何适配层的梯度范数。如果梯度接近零说明几何条件根本没被用上模型退化成纯视频扩散生成。这时候要检查cross-attention的mask、zero-conv的初始化等。第三步检查VAE的重建质量。扩散模型在潜空间操作如果VAE对几何细节的重建能力差再好的几何引导也会被VAE糊掉。可以单独测试VAE对输入视角的重建PSNR低于30dB就要考虑换VAE或调潜空间分辨率。4.2 多视角之间打架怎么办多视角不一致是另一个高频问题。表现是单独看每个新视角都还行但把相邻视角连起来看物体位置跳变、纹理闪烁。这通常是几何引导的跨视角一致性没做好。排查思路先确认VGGT-Ω对多个输入视角提取的特征是否真的在同一个几何空间。可以计算不同视角特征之间的相似度矩阵如果相似度很低说明特征没有对齐需要检查几何分支的跨视角注意力是否正常工作。另一个可能是训练时缺少多视角联合监督。如果你只对单个新视角算损失模型没有动力去保证跨视角一致。解决办法是在训练时同时生成2到4个相邻新视角加一个跨视角的光度一致性损失或特征一致性损失。4.3 大基线视角下的几何崩坏当目标新视角与输入视角基线很大时比如输入是正面要生成侧面甚至背面几何崩坏最严重。这是稀疏视角新视角合成的本质困难——大基线意味着大量区域在输入中完全不可见模型必须脑补。VGGT-Diff的几何引导在这种情况下能帮上忙但也不是万能的。我的经验是大基线场景下几何引导的强度要适当降低同时增加采样步数。因为大基线下几何特征本身的外推能力有限强行用几何约束反而会放大误差。增加采样步数则给扩散模型更多时间去思考不可见区域的内容。另外可以在推理时用多视角迭代细化先生成中间视角基线较小再把中间视角作为新的输入去生成更远的视角。这种渐进式生成能显著改善大基线下的质量。5. 这套方法能用在哪些实际场景5.1 三维内容创作与电商展示最直接的应用是三维内容创作。电商商品展示需要多角度图片传统做法是搭转台拍摄或者请建模师做3D模型成本高、周期长。用VGGT-Diff这类方法商家只需要拍2到3张商品照片就能生成任意角度的展示图。这对中小商家尤其有价值。实操上要注意的是商品类场景的几何先验。商品通常是刚性物体几何约束可以强一些但如果是服装、软体几何会形变引导强度要调低否则生成的衣服褶皱会不自然。5.2 自动驾驶场景重建与仿真小鹏汽车参与这项工作说明自动驾驶场景重建是重要应用方向。自动驾驶需要大量的多视角数据做感知训练和仿真测试但真实路采成本极高。用稀疏视角新视角合成可以从少量车载相机视角生成其他视角的合成数据扩充训练集。这个场景的挑战在于大尺度、动态场景。街道场景纵深大还有运动的车辆行人。VGGT-Ω的几何特征需要能处理这种大尺度结构而视频扩散模型要能区分视角变化和物体运动。我推测VGGT-Diff在训练时会用自动驾驶数据集做微调让模型适应这种场景特性。5.3 数字人与虚拟试穿数字人领域对新视角合成需求很大。给定一个人的几张照片生成任意视角下的形象用于虚拟主播、视频会议、虚拟试穿等。人的几何比刚性物体复杂得多——头发、衣物、皮肤都有复杂的非刚性形变。这类场景下纯几何引导可能不够还需要结合人体先验如SMPL模型或者面部先验。VGGT-Diff的框架是可扩展的理论上可以把人体先验也编码成特征和几何特征一起注入扩散模型。6. 从VGGT-Diff看几何引导生成的技术走向6.1 几何先验与生成先验的融合范式VGGT-Diff代表了一类思路用预训练的几何模型提供结构约束用预训练的生成模型提供外观先验两者通过特征层面的对齐融合。这种双预训练范式的好处是各取所长且不需要从头训练大模型。对比另一条路线——直接用3D感知的扩散模型在3D表示上做扩散VGGT-Diff这种2D生成几何引导的方案工程上更成熟因为2D视频扩散模型的生态和权重都更丰富。但它的天花板也受限于2D表示对于需要真正3D一致性的应用如VR可能还是需要3D原生方案。6.2 隐特征引导相比显式几何的优势我在前面提到过隐特征比显式几何更软这里再展开说说。显式几何深度图、点云、法向图的问题是误差不可恢复。深度估计错了一个区域生成结果就错在那个区域扩散模型没有机制去纠正。而隐特征是一个高维表示它编码了几何信息但也保留了不确定性扩散模型可以在生成过程中重新解释这些特征对局部误差有一定鲁棒性。当然隐特征的缺点是可解释性差、调试困难。你很难说清楚到底是特征的哪一维在控制几何。这也是为什么几何引导生成的可视化和诊断工具很重要。6.3 后续可能的改进方向从我自己的实践经验看VGGT-Diff这类方法还有几个可以发力的方向。一是几何特征的时间一致性如果输入是视频而非静态多视角几何特征本身也要随时间稳定。二是引导的自适应性不同区域、不同去噪步应该有不同的引导强度这可以用一个轻量网络来预测。三是与3DGS的结合用扩散模型生成的新视角去监督3DGS优化形成生成-重建的闭环可能比纯生成更稳。最后分享一个我在做几何引导生成时的小技巧永远保留一个无引导的baseline输出做对比。很多时候你以为是几何引导起了作用其实只是扩散模型本身的先验就够了。只有对比无引导和有引导的结果才能确认几何引导的真实贡献。这个习惯帮我省了很多次以为调好了其实没调好的返工。