物理AI核心模型详解：VLM、VLA与WAM的数学逻辑

物理AI是2025年以来被反复提起的概念但很多讨论停留在“机器人能看懂世界、会动手干活”这个层面真正说清楚模型内部数学逻辑的内容并不多。这次我们直接拆开看VLM、VLA、WAM这三类模型分别是物理AI的哪一块基石它们的训练目标函数长什么样数据从哪来推理时在算什么。把这层逻辑理清之后你再去看NVIDIA的物理AI平台、具身智能机器人方案或者自己训练一个VLA/世界模型都会顺畅很多。先说三个概念的关系。VLMVision-Language Model解决“理解”把图像和文本映射到同一语义空间VLAVision-Language-Action Model解决“行动”从视觉和语言输入直接输出动作WAMWorld Action Model / World Model解决“预判”学习环境的状态转移规律在模型内部模拟“如果执行某个动作世界会变成什么样”。物理AI要落地这三者缺一不可没有VLM机器人看不懂场景没有VLA懂了也不知道怎么办没有WAMVLA只能对当前帧做反应无法做规划。这篇文章会从数学视角把这三类模型逐个拆开包括它们各自的概率建模方式、损失函数、数据格式、代码实现框架最后给出三者协同构成物理AI的统一逻辑以及从理论到落地部署时硬件门槛和排查思路。内容偏基础但适合所有接触具身智能、机器人学习、多模态大模型的开发者。1. 核心能力速览能力项VLM视觉语言模型VLA视觉语言动作模型WAM世界动作模型/世界模型全称Vision-Language ModelVision-Language-Action ModelWorld Action Model / World Model核心任务图像与文本语义对齐从视觉语言输入生成动作预测环境未来状态数学本质多模态联合嵌入 对比学习条件策略建模 动作序列生成状态转移概率 潜在空间动力学典型输出文本、语义嵌入向量动作序列/关节指令未来状态、预测视频、隐状态训练数据图文对image, text专家轨迹observation, instruction, action环境交互数据state, action, next_state推理计算图像编码 文本解码视觉语言编码 动作解码状态编码 隐空间预测典型开源参考CLIP、LLaVA、Qwen-VLRT-2、OpenVLA、π0Dreamer、Genie、UniSim可运行硬件4GB显存可跑小模型7B级需高显存一般需要较大显存本机测试需按模型规模评估小规模仿真可CPU跑视频预测类需GPU启动方式命令行/API服务/WebUI命令行/机器人仿真环境训练脚本/仿真环境/API服务是否支持API多数开源模型支持视项目而定视项目而定是否支持批量任务支持批量图文推理支持批量轨迹推理支持批量仿真rollout显存占用没有统一数字因为每一类模型都有从几亿参数到几十亿参数的不同版本。更稳妥的结论是VLM的最低门槛最低小模型可在消费级显卡跑VLA涉及动作解码和机器人控制通常需要更大模型WAM如果是纯视频预测显存消耗会很高如果是隐空间动力学模型则相对可控。2. 适用场景与使用边界物理AI的典型场景分为三块仿真训练、真实机器人控制、数字孪生与规划。VLM负责环境感知和语义理解适合做场景问答、目标检测、操作位姿选择VLA直接输出动作指令适合做机械臂抓取、移动机器人导航WAM负责预测未来状态适合做模型预测控制MPC、安全校验和仿真生成。使用边界方面要特别注意几点VLM会“幻觉”对空间位置、物理尺寸的理解并不总是准确不能把VLM的输出直接当作精密测量结果。VLA的输出依赖训练数据的分布训练数据里没见过的物体、没见过的光照、没见过的桌面摆放都会导致动作偏移。WAM预测的是概率分布长期预测会逐渐模糊不适合在没有校验的情况下做长期规划。涉及真实机器人控制时必须有安全急停机制和仿真验证环节。涉及人脸、私有场景、实验室数据时要确认数据授权和隐私合规。涉及版权素材训练要确认训练语料的合法来源。3. 物理AI的数学底座条件概率建模的统一视角在分别展开之前先用一个统一视角串起来。VLM、VLA、WAM本质上都在做条件概率建模只是条件变量和预测目标不同。VLM建模的是$$p(t \mid v, c)$$其中 $v$ 是图像内容$c$ 是文本上下文$t$ 是输出文本。也可以用对比学习的思路建模图文匹配的联合概率。VLA建模的是$$p(a \mid v, l, s)$$其中 $a$ 是动作序列$v$ 是视觉观测$l$ 是语言指令$s$ 是当前机器人状态。WAM建模的是$$p(s_{t1}, s_{t2}, \dots \mid s_t, a_t, a_{t1}, \dots)$$即给定当前状态和未来动作序列预测未来的状态序列。三者共用同一个基础设施模块——Transformer。VLM的核心是跨模态注意力VLA的核心是视觉语言上下文条件下的自回归动作生成WAM的核心是潜在空间中的序列预测。理解这一点后下面的每一节就都是在讲“具体建模成什么分布、用什么损失函数训练”。4. VLM的底层数学逻辑4.1 从对比学习到联合嵌入空间VLM最常见的数学框架是对比学习。给定一批图文对 $(v_i, t_i)$图像编码器 $f_I$ 把图像映射为 $d$ 维嵌入向量文本编码器 $f_T$ 把文本映射为同维度的嵌入向量$$z_i^I f_I(v_i) \in \mathbb{R}^d$$$$z_i^T f_T(t_i) \in \mathbb{R}^d$$训练目标是让匹配的图文对在嵌入空间中距离更近不匹配的距离更远。相似度通常用余弦相似度计算$$\text{sim}(v_i, t_j) \frac{z_i^I \cdot z_j^T}{|z_i^I| \cdot |z_j^T|}$$对batch内的 $N$ 对样本构造 $N \times N$ 相似度矩阵第 $i$ 行第 $j$ 列表示第 $i$ 张图与第 $j$ 句文本的相似度。训练目标是最小化InfoNCE损失也被称为对比损失$$L -\frac{1}{N} \sum_{i1}^{N} \left[ \log \frac{\exp(\text{sim}(v_i, t_i) / \tau)}{\sum_{j1}^{N} \exp(\text{sim}(v_i, t_j) / \tau)} \log \frac{\exp(\text{sim}(t_i, v_i) / \tau)}{\sum_{j1}^{N} \exp(\text{sim}(t_i, v_j) / \tau)} \right]$$其中 $\tau$ 是温度参数控制相似度分布的锐利程度。$\tau$ 越小模型对相似度差异越敏感训练时负样本的梯度贡献越大。这个损失函数的意义在于模型被迫在语义层面区分“这张图和这句话是否匹配”从而学习到跨模态的语义对齐。4.2 生成式VLM的数学逻辑除了对比学习现代VLM如LLaVA、Qwen-VL采用了生成式训练目标。图像经过视觉编码器后通过投影层映射为视觉token与文本token拼接成统一序列然后用自回归方式预测下一个token$$p(t_1, t_2, \dots, t_m \mid v) \prod_{k1}^{m} p(t_k \mid t_{k}, v)$$训练损失是标准的交叉熵$$L -\sum_{k1}^{m} \log p_\theta(t_k \mid t_{k}, v)$$这种方式的优势是模型不仅能判断图文是否匹配还能生成关于图像的自由文本描述、回答关于图像的问题。对比学习负责“粗粒度对齐”生成式训练负责“细粒度推理”。4.3 VLM的PyTorch实现框架下面给出一个简化的对比学习训练框架实际项目中会替换为更复杂的编码器结构。import torch import torch.nn as nn import torch.nn.functional as F class CLIPLikeModel(nn.Module): def __init__(self, image_dim, text_dim, embed_dim, temperature0.07): super().__init__() self.image_proj nn.Linear(image_dim, embed_dim) self.text_proj nn.Linear(text_dim, embed_dim) self.logit_scale nn.Parameter(torch.log(torch.tensor(1.0 / temperature))) def forward(self, image_features, text_features): # 投影到统一嵌入空间 z_i F.normalize(self.image_proj(image_features), dim-1) z_t F.normalize(self.text_proj(text_features), dim-1) # 相似度矩阵 logits z_i z_t.t() * self.logit_scale.exp() # 对称的InfoNCE损失 labels torch.arange(logits.shape[0], devicelogits.device) loss_i F.cross_entropy(logits, labels) loss_t F.cross_entropy(logits.t(), labels) return (loss_i loss_t) / 2.0训练时每次迭代取一个batch的图文对前向计算损失反向传播更新编码器和投影层。推理时将图像和候选文本分别编码计算相似度取最高项作为匹配结果。5. VLA的底层数学逻辑5.1 把动作变成tokenVLA的核心思想是不单独设计一个控制模块而是把动作当成和文本一样的token用语言模型的生成方式输出动作。首先要把连续动作离散化。假设机器人有 $D$ 个自由度每个自由度的连续动作值 $a_d \in [a_{min}, a_{max}]$。将其划分为 $K$ 个bin$$a_d^{token} \text{round}\left( \frac{a_d - a_{min}}{(a_{max} - a_{min}) / K} \right)$$每个自由度变成一个分类token$D$ 个自由度拼接成一个长度为 $D$ 的动作token序列。例如7自由度机械臂每步动作变成7个token。5.2 VLA的条件策略建模VLA的完整概率模型是$$p(a_{t1} \mid v_t, l, s_t)$$其中 $v_t$ 是当前视觉观测$l$ 是语言指令$s_t$ 是当前机器人关节状态。模型将这些信息全部编码为上下文然后自回归生成动作token。训练数据形式是专家轨迹{ observations: [frame_1, frame_2, ..., frame_T], instructions: 把红色方块放到蓝色盒子里, actions: [[a_1_1, a_1_2, ..., a_1_D], ..., [a_T_1, a_T_2, ..., a_T_D]] }训练损失是动作token的交叉熵$$L -\sum_{t1}^{T} \sum_{d1}^{D} \log p_\theta(a_{t,d} \mid v_{\le t}, l, s_{\le t}, a_{t,d})$$5.3 扩散策略与连续动作输出动作离散化会带来量化误差。为了保留连续动作的精度很多VLA采用扩散策略Diffusion Policy。扩散策略的思路是先向动作加入高斯噪声然后训练一个去噪网络从噪声中恢复原始动作。推理时从纯噪声开始逐步去噪得到连续动作序列。去噪目标函数是$$L \mathbb{E}{t, \epsilon} \left[ | \epsilon - \epsilon\theta(a_t, v, l, s, t) |^2 \right]$$这里的 $\epsilon$ 是加入的高斯噪声$\epsilon_\theta$ 是去噪网络$t$ 是扩散时间步。相比离散化扩散策略输出的动作更平滑也更适合精细操作任务。5.4 VLA的PyTorch框架示例简化版的VLA训练代码框架如下import torch import torch.nn as nn class VLAModel(nn.Module): def __init__(self, visual_dim, lang_dim, state_dim, action_dim, num_bins256): super().__init__() self.visual_proj nn.Linear(visual_dim, 512) self.lang_proj nn.Linear(lang_dim, 512) self.state_proj nn.Linear(state_dim, 512) self.action_head nn.Linear(512, action_dim * num_bins) self.action_dim action_dim self.num_bins num_bins def forward(self, visual_feat, lang_feat, state_feat): # 多模态特征融合 h self.visual_proj(visual_feat) self.lang_proj(lang_feat) self.state_proj(state_feat) # 动作token logits logits self.action_head(h) # [B, action_dim * num_bins] logits logits.view(-1, self.action_dim, self.num_bins) return logits def train_step(model, optimizer, batch): visual_feat batch[visual_feat] lang_feat batch[lang_feat] state_feat batch[state_feat] action_token batch[action_token] # [B, action_dim] logits model(visual_feat, lang_feat, state_feat) loss nn.functional.cross_entropy( logits.reshape(-1, model.num_bins), action_token.reshape(-1) ) optimizer.zero_grad() loss.backward() optimizer.step() return loss.item()推理时把视觉、语言、状态特征送入模型取每个自由度logits最大的bin映射回连续动作值发送给机器人执行。6. WAM的底层数学逻辑6.1 世界模型要回答什么问题世界模型不直接决定动作它建模的是环境的动态变化。形式化地说给定当前状态 $s_t$ 和动作 $a_t$世界模型估计下一个状态的概率分布$$s_{t1} \sim p_\theta(s_{t1} \mid s_t, a_t)$$在机器人领域状态 $s_t$ 通常是高维观测如摄像头图像、激光雷达点云。直接在原始像素空间建模非常困难因此主流世界模型都引入潜在空间latent space。6.2 潜在空间中的动力学建模完整的世界模型由三个模块组成编码器 $q_\phi(z_t \mid s_t)$把高维观测压缩为低维隐状态。动力学预测器 $p_\psi(z_{t1} \mid z_t, a_t)$在隐空间预测下一时刻的隐状态。解码器/重建器 $p_\xi(s_t \mid z_t)$从隐状态重建观测。训练目标是变分下界ELBO由三部分组成$$L \underbrace{\mathbb{E}{q\phi}[\log p_\xi(s_t \mid z_t)]}{\text{重建损失}} - \underbrace{KL(q\phi(z_t \mid s_t) | p(z_t))}{\text{先验正则}} \underbrace{\mathbb{E}{q_\phi}[\log p_\psi(z_{t1} \mid z_t, a_t)]}_{\text{动力学一致性}}$$第一项保证隐状态保留足够多的观测信息第二项约束隐状态分布不过分偏离先验第三项保证我们能根据当前隐状态和动作预测未来隐状态。6.3 用世界模型做规划世界模型训练好之后可以用来做模型预测控制。给定初始状态 $s_0$在当前隐状态 $z_0$ 下随机采样多组动作序列$$a_{0:H}^{(i)} \sim \pi_{proposal}$$对每组动作序列用动力学预测器在隐空间中展开 $H$ 步得到预测的隐状态轨迹再用价值函数或任务奖励计算每条轨迹的得分选择得分最高的动作序列执行第一步。$$a_0^* \arg\max_{a_{0:H}} \sum_{t0}^{H} r(z_t, a_t)$$这个过程不需要与环境交互全部在模型的“想象”中完成因此被称为想象规划。6.4 WAM的PyTorch训练框架示例import torch import torch.nn as nn class LatentWorldModel(nn.Module): def __init__(self, obs_dim, state_dim, action_dim): super().__init__() self.encoder nn.Linear(obs_dim, state_dim) self.decoder nn.Linear(state_dim, obs_dim) self.dynamics nn.GRUCell(action_dim, state_dim) self.state_dim state_dim def encode(self, obs): return self.encoder(obs) def decode(self, state): return self.decoder(state) def predict_next_state(self, state, action): return self.dynamics(action, state) def train_world_model(model, optimizer, batch): obs_t batch[obs_t] action_t batch[action_t] obs_next batch[obs_next] # 编码当前观测 z_t model.encode(obs_t) # 在隐空间预测下一状态 z_next_pred model.predict_next_state(z_t, action_t) # 解码重建当前观测 obs_t_recon model.decode(z_t) # 解码预测的下一观测 obs_next_pred model.decode(z_next_pred) recon_loss nn.functional.mse_loss(obs_t_recon, obs_t) \ nn.functional.mse_loss(obs_next_pred, obs_next) # 隐状态先验正则约束隐状态分布 kl_loss torch.mean(z_t ** 2) * 0.001 loss recon_loss kl_loss optimizer.zero_grad() loss.backward() optimizer.step() return loss.item()这里使用的是确定性状态编码的简化版本。更完整的实现会使用VAE结构在编码时输出高斯分布的均值和方差并通过重参数化技巧采样隐状态。7. 三者协同物理AI的统一数学框架VLM、VLA、WAM不是三个孤立的模型而是同一个物理AI系统里的三个层次。在统一框架下物理AI系统接收当前观测 $s_t$ 和任务指令 $l$。VLM负责把观测语义化提取场景理解特征 $z_{t}^{sem}$WAM负责在隐空间预测 $K$ 步后的未来状态 $z_{t1}, \dots, z_{tK}$VLA结合当前语义、当前状态和未来预测共同决策动作$$a_t \pi_{VLA}(z_t^{sem}, s_t, \hat{z}_{t1:tK})$$这样VLA不仅能对当前帧作出反应还能基于“未来会发生什么”作出决策。例如抓取一个易碎物品VLM识别出材质WAM预测“如果用力过大物品会滑落”VLA据此调整抓取力度。这种基于预测的决策正是物理AI区别于普通视觉问答系统的关键。从数学角度看三者可以用一张表对应起来模型条件变量预测目标训练损失VLM图像、文本前缀文本token / 嵌入匹配InfoNCE / 交叉熵VLA图像、语言指令、机器人状态动作token / 连续动作交叉熵 / 扩散损失WAM当前状态、动作序列未来隐状态 / 未来观测重建 KL 动力学一致性8. 从理论到落地的环境准备与硬件门槛理论清晰之后落地时需要做好环境准备。多模态模型和世界模型的常见训练推理框架是PyTorch、JAX以下是一个通用环境准备检查清单操作系统Ubuntu 20.04/22.04 或 Windows 10/11需支持CUDA。Python版本推荐3.9到3.11具体按项目要求的版本。CUDA与PyTorch优先使用与显卡驱动匹配的CUDA版本再安装对应PyTorch。显卡NVIDIA显卡优先显存大小取决于模型规模。CPU推理小规模的CLIP、VLM分类任务可以CPU跑但速度会明显下降VLA和视频类WAM建议至少使用GPU。磁盘空间模型权重、训练数据、缓存文件预留充足空间。端口占用如果部署API服务提前检查端口是否被占用。推理前需要确认模型权重是否完整下载。HuggingFace和ModelScope是常见的模型仓库来源下载后按项目要求的目录结构放置。9. 功能测试与效果验证方法9.1 VLM验证验证VLM是否正常可以准备一组图文对测试图像分类、图片问答、图文检索三个维度输入一张图片和一个问题观察模型答案是否与图像内容吻合。输入一张图片和多个候选文本观察相似度排序是否合理。更换不同类型图片测试模型在光照、遮挡、角度变化下的鲁棒性。判断标准匹配答案在语义上正确不匹配项得分低于匹配项。常见失败模型答非所问通常是视觉编码器与文本解码器对齐不够模型对位置问题回答差是空间理解能力不足。9.2 VLA验证VLA验证需要仿真环境或真实机器人。仿真环境的好处是安全、可重复。通用验证步骤如下加载预训练VLA权重。初始化仿真环境设置一个任务如“将物体从A点移到B点”。将视觉观测、语言指令、机器人状态输入模型。获得动作输出在仿真环境执行。观察任务成功率。判断标准动作执行后物体位置是否朝目标靠近任务是否在指定步数内完成。常见失败模型输出抖动说明动作平滑度不够可尝试扩散策略模型对未见过物体失败说明泛化不足。9.3 WAM验证WAM验证分两步第一步重建验证输入一段真实轨迹观察模型重建的观测是否清晰。第二步预测验证给定前 $t$ 帧状态和后续动作观察模型预测的未来状态是否合理。判断标准重建图像清晰、语义一致短期预测准确长期预测可能模糊但不应出现明显违反物理规律的现象如物体穿墙、突然消失。常见失败预测画面模糊说明表征容量不够或训练步数不足预测动作对状态无影响说明动力学模块没有学习到状态转移关系。10. 接口 API 与批量任务这三类模型训练完成后都可以封装为API服务。以FastAPI为例一个通用的推理服务框架如下from fastapi import FastAPI, HTTPException from pydantic import BaseModel app FastAPI() class InferenceRequest(BaseModel): image_url: str instruction: str history: list [] class InferenceResponse(BaseModel): action: list confidence: float 0.0 app.post(/predict, response_modelInferenceResponse) async def predict(req: InferenceRequest): try: # 这里替换为实际的模型推理代码 action [0.01, -0.02, 0.03] return InferenceResponse(actionaction, confidence0.95) except Exception as e: raise HTTPException(status_code500, detailstr(e)) app.get(/health) async def health(): return {status: ok}批量任务的建议将待推理样本放入输入目录模型按顺序读取输出结果写入输出目录。每条样本要有唯一ID便于失败后定位。批量任务要加超时控制单条推理失败不应中断整个队列。记录每批任务的开始时间、结束时间、成功率。11. 资源占用与性能观察资源占用因模型规模而异。观察时重点看几个维度显存峰值训练时看反向传播后的显存峰值推理时看前向传播峰值。GPU利用率如果利用率低可能是数据加载瓶颈或模型过小。推理延迟单条推理耗时决定实时控制是否可行。CPU内存数据预处理、batch组装可能成为瓶颈。优化方向减少batch size降低显存占用。使用混合精度训练减少显存占用并加速。推理时使用torch.compile或vLLM等加速框架。如果显存不足使用模型分片或量化。更稳妥的做法是实际部署前用不同分辨率、不同batch size做一组压测记录显存和耗时曲线再选择满足业务需求的配置。12. 常见问题与排查方法问题现象可能原因排查方式解决方案VLM训练loss不下降温度参数初始化不当 / 正样本对构造错误检查loss曲线和相似度矩阵调低温度初值检查数据对齐VLM产生幻觉视觉和文本对齐不充分用对抗样本测试增加图文对数据加入指令微调VLA动作抖动量过大动作离散化粒度太粗 / 数据噪声大检查动作bin分布增加bin数量或改用扩散策略VLA任务成功率低训练轨迹不足 / 泛化能力弱在仿真中测试不同初始状态扩充数据增加domain randomizationWAM预测画面模糊隐状态维度太低 / 训练不足观察重建loss提高隐状态维度增加训练步数WAM长期预测漂移误差累积对比不同预测步数的误差引入自回归训练使用负样本API服务响应慢GPU未被充分利用 / 模型过大查看GPU利用率、推理耗时优化batch量化更换推理框架端口冲突服务已占用端口检查端口监听情况更换启动端口13. 最佳实践与使用建议从实际工程角度有几点值得直接采用第一次接触时先在仿真环境验证VLA不要直接上真实机器人。仿真环境可以免费试错也是论文和开源项目的标准做法。训练WAM时保留一套固定seed的小验证集每次训练后先跑重建和短时预测快速判断模型是否正常收敛。模型文件、训练数据、输出结果分目录管理。多模态训练数据体积大建议按任务分目录并记录数据版本。批量推理任务要记录日志和失败重试机制不要用裸脚本跑长任务。API服务要限制访问范围避免暴露在公网无保护运行。涉及真实场景、人物肖像、私有数据的训练和部署必须先获得授权确认数据使用边界。所有模型上线前做效果复核尤其是动作指令输出必须有人工确认机制。14. 总结与下一步这篇文章把VLM、VLA、WAM三类物理AI核心模型的数学逻辑拆成了三层VLM用对比学习和自回归语言建模实现视觉语义对齐VLA用动作token化和条件策略建模把理解转化为动作WAM用潜在动力学建模让AI可以预判未来。三者共用Transformer和条件概率建模的基础但各自的训练目标和数据形式完全不同。如果你准备进入这个方向最先应该验证的是VLM的图文对齐效果因为VLM是最容易在本地跑通、最能直观感受多模态模型能力的环节。之后逐步进入VLA先用仿真环境验证动作生成。最容易踩的坑是数据格式不一致VLM的图文对数据、VLA的轨迹数据、WAM的交互数据格式完全不同数据预处理的工作量往往比模型训练更大。后续可以继续扩展的方向包括把三模态模型整合成端到端物理AI系统、在仿真环境中加入更丰富的物理规律、使用扩散策略提升动作平滑度、利用世界模型做安全规划。这个领域变化很快但底层数学逻辑是相对稳定的值得系统掌握。