vLLM-Omni 机器人策略在线推理指南：DreamZero-DROID 的 OpenPI WebSocket 部署与仿真评测

vLLM-Omni 机器人策略在线推理指南DreamZero-DROID 的 OpenPI WebSocket 部署与仿真评测【免费下载链接】vllm-omniA framework for efficient model inference with omni-modality models项目地址: https://gitcode.com/GitHub_Trending/vl/vllm-omniDreamZero 是 vLLM-Omni 中面向机器人操作策略robot policy的在线推理示例它通过 OpenPI 兼容的/v1/realtime/robot/openpiWebSocket 端点把视觉语言动作VLA类模型以低延迟的请求-响应方式对外服务。本文以 examples/online_serving/dreamzero/README.md 为主线完整覆盖服务启动、并行拓扑配置、依赖安装、OpenPI 客户端调用、DROID 仿真评测循环以及离线视频导出等全流程并结合仓库内的部署配置、客户端源码与 API 协议文档进行深入讲解。读完本文你将能够独立启动 DreamZero-DROID 策略服务用真实视频或 Isaac Lab 仿真环境驱动同一套策略端点并理解其消息协议、会话语义与并行配置原理。DreamZero 在 vLLM-Omni 中的定位DreamZero 是 vLLM-Omni 提供的机器人策略robot-policy在线服务示例服务于 OpenPI 兼容的/v1/realtime/robot/openpi端点。所谓OpenPI 兼容指的是消息格式与连接方式遵循 OpenPI 生态客户端的约定连接建立后由服务器先下发一段模型元数据之后每个推理请求发送一份观测observation服务器返回一段动作数组。尽管路径带有/realtime前缀该端点并不使用 OpenAI Realtime 事件 Schema而是使用带 NumPy 扩展的二进制 MessagePack 帧进行通信详见 docs/serving/openpi_api.md。从源码结构看DreamZero 在 vLLM-Omni 中被建模为单阶段扩散拓扑single-stage diffusion topology。其拓扑声明位于 vllm_omni/model_executor/models/dreamzero/pipeline.pyDREAMZERO_PIPELINE PipelineConfig( model_typedreamzero, default_deploy_config_namedreamzero.yaml, model_archDreamZeroPipeline, stages( StagePipelineConfig( stage_id0, model_stagediffusion, execution_typeStageExecutionType.DIFFUSION, input_sources(), final_outputTrue, final_output_typeimage, model_archDreamZeroPipeline, ), ), )也就是说DreamZero 在 vLLM-Omni 中是一个单 diffusion stage的管线模型架构名为DreamZeroPipeline最终输出类型为图像即预测的视频帧/潜在表示。它运行在 AR-Diffusion 引擎之上引擎级分页 KV 缓存这一点在部署配置的engine_backend字段中也有体现后文会展开。支持的检查点当前示例官方支持的检查点为模型HuggingFace 仓库DreamZero-DROIDGEAR-Dreams/DreamZero-DROIDrun_server.sh脚本与文档中的全部命令都以该模型为默认值。如需替换模型可通过脚本环境变量MODEL覆盖。快速启动一行脚本拉起策略服务启动服务器在仓库根目录执行bash examples/online_serving/dreamzero/run_server.sh默认情况下该脚本等价于执行如下命令vllm serve GEAR-Dreams/DreamZero-DROID --omni --port 8000 \ --served-model-name dreamzero-droid \ --deploy-config vllm_omni/deploy/dreamzero_tp1_cfg2.yaml \ --enforce-eager --disable-log-stats其中各参数的含义--omni启用 vLLM-Omni 的多模态 Omni 推理路径--served-model-name dreamzero-droid对外暴露的模型名客户端无需关心真实模型 ID--deploy-config vllm_omni/deploy/dreamzero_tp1_cfg2.yaml指定部署拓扑配置决定 GPU 设备分配、张量并行/CFG 并行尺寸、引擎后端与策略服务元数据--enforce-eager禁用 CUDA Graph便于调试与减少显存占用--disable-log-stats关闭周期性统计日志保持输出干净。run_server.sh的实际实现examples/online_serving/dreamzero/run_server.sh通过环境变量提供了完整的可覆写能力MODEL${MODEL:-GEAR-Dreams/DreamZero-DROID} HOST${HOST:-127.0.0.1} PORT${PORT:-8000} DEPLOY_CONFIG${DEPLOY_CONFIG:-vllm_omni/deploy/dreamzero_tp1_cfg2.yaml} SERVED_MODEL_NAME${SERVED_MODEL_NAME:-dreamzero-droid}可见脚本支持通过MODEL、PORT、HOST、DEPLOY_CONFIG、SERVED_MODEL_NAME五个环境变量进行覆盖。例如换端口启动PORT8091 bash examples/online_serving/dreamzero/run_server.sh脚本还设置了两组环境变量再调用vllmATTENTION_BACKEND${ATTENTION_BACKEND:-torch} \ DIFFUSION_ATTENTION_BACKEND${DIFFUSION_ATTENTION_BACKEND:-TORCH_SDPA} \ vllm ${args[]}即在默认情况下Attention 后端为torch扩散 Attention 后端为TORCH_SDPA。当遇到相关算子兼容性问题时可以通过ATTENTION_BACKEND与DIFFUSION_ATTENTION_BACKEND切换实现。安装示例依赖核心的pip install -e .安装不会包含 DreamZero 示例脚本所依赖的额外包需要按用途分别安装openpi_client.py真实视频回放客户端依赖openpi-clientwebsocketsopencv-pythondroid_sim_eval_client.pyDROID 仿真评测客户端依赖mediapywebsocketsopenpi-clientDROID 仿真评测脚本还需要一个可用的 Isaac Lab 环境提供以下模块isaaclabisaaclab_taskssim_evalsgymnasium另外如果以 Python 3.12 运行 DROID 客户端还需要安装typing-extensions源码中通过try: from typing import override的降级逻辑引用它见 examples/online_serving/dreamzero/droid_sim_eval_client.py 第 56-62 行。理解底层协议OpenPI WebSocket 端点在跑任何客户端之前理解/v1/realtime/robot/openpi的消息协议至关重要。该端点仅在加载的扩散策略配置中包含policy_server_config时才可用否则服务器会返回Robot policy not available并关闭连接详见 docs/serving/openpi_api.md。连接握手与消息格式连接建立后服务器会立即下发第一帧二进制数据带 NumPy 扩展的 MessagePack 编码的策略服务器配置policy_server_config。以 DreamZero 为例policy_server_config: image_resolution: [180, 320] n_external_cameras: 2 needs_wrist_camera: true needs_stereo_camera: false needs_session_id: true action_space: joint_position客户端应当先解析这帧元数据再根据其中声明的相机布局、图像分辨率与动作空间构造观测。整个连接是握手后请求-响应的模式connect - msgpack(policy_server_config) infer - msgpack({endpoint: infer, session_id: ..., seed: optional int, ...observation}) - msgpack(ndarray | dict[str, ndarray]) reset - msgpack({endpoint: reset}) - msgpack({status: reset successful})协议细节如果消息中省略endpoint字段服务器默认按infer处理每次推理消息在引擎请求完成后返回一个动作响应动作 token 或中间张量不会被流式推送NumPy 数组使用openpi-client实现的 marker 格式服务器同时接受旧版 vLLM NumPy marker 表示作为输入JSON 文本帧不被当作观测消息推理消息中可携带可选的整数seed它会被注入引擎请求的sampling_params.seed用于可复现采样对 GR00T-N1.7 这类消费请求生成器的策略相同观测与 seed 会得到相同动作块省略时引擎为每个请求随机分配 seed。会话与重置语义当前会话current-session与首帧调用first-call计数器以每条 WebSocket 连接为作用域session_id标识该连接上模型侧的跨观测状态省略时默认为default某会话的第一次推理会以resettrue发送给模型改变session_id或发送reset命令都会使下一次推理以resettrue开始观测变换与持久化模型状态由策略管线pipeline持有通常按session_id索引API 层只负责转发原始观测字典。限制与错误最大入站负载为 64 MiB空闲连接 30 秒后会被服务器关闭非法二进制输入返回 MessagePack{type:error,message:Invalid request payload}推理失败统一返回Internal inference error不暴露内部 traceback不支持的 NumPy object、结构化structured与复数complexdtype 会被拒绝。配置 TP 与 CFG 并行DreamZero 的部署配置刻意保持极简仓库内置了两个配置分别覆盖最常见的两种拓扑配置用途vllm_omni/deploy/dreamzero.yaml默认 TP1CFG 并行关闭vllm_omni/deploy/dreamzero_tp1_cfg2.yamlTP1CFG 并行尺寸2默认单卡配置解析dreamzero.yaml的完整内容如下# DreamZero-DROID deploy: single diffusion stage. # Topology is declared in vllm_omni/model_executor/models/dreamzero/pipeline.py. # This default uses one GPU with TP1 and CFG parallel disabled. pipeline: dreamzero async_chunk: false distributed_executor_backend: mp dtype: bfloat16 stages: - stage_id: 0 devices: 0 max_num_seqs: 1 enforce_eager: false model_class_name: DreamZeroPipeline # DreamZero runs on the AR-Diffusion engine (engine-level paged KV cache). engine_backend: vllm_omni.experimental.ar_diffusion.engine.ARDiffusionEngine model_config: default_robot_embodiment: roboarena policy_server_config: image_resolution: [180, 320] n_external_cameras: 2 needs_wrist_camera: true needs_stereo_camera: false needs_session_id: true action_space: joint_position cache_backend: step_cache cache_config: step_cache_dit_enabled: true velocity_sim_thresholds: [0.95, 0.93] velocity_skip_countdowns: [4, 2]逐项说明pipeline: dreamzero引用pipeline.py中注册的 DreamZero 单阶段拓扑async_chunk: false关闭异步分块distributed_executor_backend: mp多进程分布式执行器dtype: bfloat16模型权重与计算精度stages[0].devices: 0stage 0 使用 GPU 0max_num_seqs: 1单序列推理机器人策略天然是单 episode 在线推理engine_backend: vllm_omni.experimental.ar_diffusion.engine.ARDiffusionEngineDreamZero 运行在 AR-Diffusion 引擎上使用引擎级分页 KV 缓存model_config.policy_server_config这部分就是握手时下发给客户端的策略服务元数据也是 OpenPI 端点可用的前提cache_backend: step_cachecache_config步级缓存相关配置velocity_sim_thresholds与velocity_skip_countdowns用于根据速度相似度跳过不必要的扩散去噪步骤从而在机器人策略这种连续帧场景下降低推理开销。dreamzero_tp1_cfg2.yaml与默认配置的差异仅在 stage 0 上devices变为0,1并新增了parallel_configparallel_config: tensor_parallel_size: 1 cfg_parallel_size: 2即张量并行尺寸为 1、CFG 并行尺寸为 2需要 2 张 GPU0,1。CFGClassifier-Free Guidance并行将引导conditional/unconditional两条去噪路径拆分到不同设备并行计算是扩散模型常用的扩展手段。自定义拓扑CLI 并行标志 --stage-overrides对于其他拓扑文档给出的通用做法是使用 CLI 并行标志 通过--stage-overrides更新 stage 0 的devices。需要注意devices中列出的设备数量必须等于tensor_parallel_size * cfg_parallel_size。TP2 且关闭 CFG 并行vllm serve GEAR-Dreams/DreamZero-DROID --omni --port 8000 \ --served-model-name dreamzero-droid \ --deploy-config vllm_omni/deploy/dreamzero.yaml \ --tensor-parallel-size 2 \ --stage-overrides {0: {devices: 0,1}} \ --enforce-eager --disable-log-statsTP2 且 CFG 并行尺寸2共 4 卡vllm serve GEAR-Dreams/DreamZero-DROID --omni --port 8000 \ --served-model-name dreamzero-droid \ --deploy-config vllm_omni/deploy/dreamzero.yaml \ --tensor-parallel-size 2 \ --cfg-parallel-size 2 \ --stage-overrides {0: {devices: 0,1,2,3}} \ --enforce-eager --disable-log-stats可以看到自定义拓扑时建议从dreamzero.yamlCFG 并行默认关闭出发用--tensor-parallel-size/--cfg-parallel-size声明并行尺寸再用--stage-overrides把 stage 0 的设备列表扩到与tensor_parallel_size * cfg_parallel_size一致。下载示例资产OpenPI 客户端与 DROID 仿真评测示例都依赖outputs/dreamzero/assets下的三路相机 MP4 文件两个外部相机 一个腕部相机。使用 HuggingFace CLI 下载hf download YangshenDeng/vllm-omni-dreamzero-assets --repo-type dataset --local-dir outputs/dreamzero/assets该数据集YangshenDeng/vllm-omni-dreamzero-assets在客户端源码中也有引用openpi_client.py中的ASSET_REPO_ID三路相机文件与观测键的映射关系为见 examples/online_serving/dreamzero/openpi_client.py 第 47-51 行CAMERA_FILES { observation/exterior_image_0_left: exterior_image_1_left.mp4, observation/exterior_image_1_left: exterior_image_2_left.mp4, observation/wrist_image_left: wrist_image_left.mp4, }运行 OpenPI 客户端真实视频回放资产下载完成后启动服务端再在另一个终端执行python examples/online_serving/dreamzero/openpi_client.py \ --host 127.0.0.1 \ --port 8000 \ --video-dir outputs/dreamzero/assets该客户端使用下载的真实视频帧构造观测序列通过 WebSocket 与策略服务器交互一次完整的会话流程为连接ws://127.0.0.1:8000/v1/realtime/robot/openpi读取服务器握手元数据DreamZeroServerMetadata.from_dict会校验image_resolution、n_external_cameras、needs_wrist_camera、needs_stereo_camera、needs_session_id、action_space六个必需键用cv2.VideoCapture读取三路 MP4 的全部帧并转为 RGB构造观测序列首个观测只取第 0 帧后续每个 chunk 按相对偏移[-23, -16, -8, 0]选取 4 帧ACTION_HORIZON 24表示模型每次返回未来 24 步动作帧偏移因此与 24 的节奏对齐直到视频帧耗尽每个观测补齐observation/joint_position7 维零向量、observation/cartesian_position6 维零向量、observation/gripper_position1 维零向量、prompt与session_id后通过client.infer(obs)发送推理请求对返回的动作做校验validate_session_result每个动作张量形状必须是(24, 8)ACTION_HORIZON × DEFAULT_ACTION_DIM且所有值有限np.isfinite同时核对服务器元数据中的图像分辨率必须是(180, 320)、外部相机数为 2、需要腕部相机、动作空间为joint_position。客户端支持--pathWebSocket 路径后缀、--prompt、--session-id、--num-chunks等参数默认num_chunks21 个初始帧观测 1 个 4 帧 chunk。运行成功后会在终端打印服务器元数据、每个动作块的形状/数值范围以及本次会话 ID。运行 DROID 仿真评测真实视频回放只能验证链路连通性要评估策略在物理仿真中的表现需要运行 DROID 仿真评测客户端。在仓库根目录、并设置好ISAACLAB_LAUNCHER的前提下执行${ISAACLAB_LAUNCHER} -p examples/online_serving/dreamzero/droid_sim_eval_client.py \ --host 127.0.0.1 \ --port 8000 \ --scene 1 \ --episodes 1 \ --headless \ --device cuda:0其中ISAACLAB_LAUNCHERpath/to/isaaclab.sh指向 Isaac Lab 的启动器脚本。该脚本是上游 DreamZeroeval_utils/run_sim_eval.py的 vLLM/OpenPI 适配版行为刻意保持与上游一致详见脚本头部文档字符串相同的 DROID 观测提取external_cam、external_cam_2、wrist_cam、关节位置、夹爪位置相同的 resize-with-pad 预处理到(180, 320)相同的open_loop_horizon8相同的夹爪二值化规则 0.5 - 1否则0相同的逐场景语言提示。开环执行与动作块缓存机制该评测的核心机制是open-loop 动作块复用模型每次推理返回(24, 8)的未来动作块但仿真端只执行前 8 步DEFAULT_OPEN_LOOP_HORIZON 8之后基于新观测请求服务器重新规划。这一逻辑实现在DreamZeroJointPosClient.infer中droid_sim_eval_client.py 第 305-385 行当本地缓存的 chunk 尚未耗尽时直接逐行消费缓存的动作不发起新的服务器请求当actions_from_chunk_completed 0、或已消费数达到open_loop_horizon、或缓存不存在时才重新调用服务器每次服务器调用都会记录端到端延迟chunk_latency_s用于输出报告消费出的动作最后一维夹爪按 0.5阈值二值化同时拼接右外相机、腕部相机、左外相机三路图像为可视化条带viz供视频导出使用。仿真循环与输出产物主循环在torch.no_grad()下运行每 episode 的流程为通过parse_env_cfg(DROID, ...)构建环境、env_cfg.set_scene(args.scene)选择场景场景 1/2/3 对应的语言提示为put the cube in the bowl、pick up the can and put it in the mug、put the banana in the bin对每个仿真步调用client.infer(obs, instruction)得到 8 维动作执行env.step记录StepRecord步序号、是否触发服务器调用、chunk 延迟、动作、关节位置、夹爪位置、奖励、终止/截断标志、场景物体位姿环境返回终止或截断时结束该 episode用mediapy.write_video以 15 fps 写出episode_XX.mp4发送reset命令重置服务器侧会话状态并基于最终场景物体位姿做几何启发式成功判定如场景 1 判定 cube 与 bowl 的 XY 距离 0.12 且 Z 差 -0.08写入episode_XX.json所有 episode 结束后写出summary.json并在 stdout 打印完整摘要含场景、提示、服务器调用次数、服务器耗时、平均每次调用延迟、成功判定等。离线导出对比视频如果不想启动 WebSocket 服务也可以直接用本地Omni推理接口导出输入 rollout 视频 模型预测视频的对比产物python examples/offline_inference/dreamzero/export_prediction_video.py \ --deploy-config vllm_omni/deploy/dreamzero_tp1_cfg2.yaml \ --save-input-video \ --save-gif注意该导出脚本走的是本地Omni推理而非 WebSocket 服务器。它的工作流程examples/offline_inference/dreamzero/export_prediction_video.py为从outputs/dreamzero/assets读取三路相机视频用 examples/offline_inference/dreamzero/client_schedule.py 中的build_ar_observations构造 AR 观测序列初始第 0 帧 若干 4 帧 chunk默认num_chunks15帧偏移同样为[-23, -16, -8, 0]视频帧耗尽时提前停止--repeat-chunk-observations可让最后一个合法 chunk 重复填充构造Omni(model..., deploy_config..., enforce_eagerTrue, worker_extension_cls...)其中 worker 扩展为vllm_omni.diffusion.models.dreamzero.video_export_worker.DreamZeroVideoExportWorkerExtension负责在 worker 侧解码累积的视频潜在表示对每个观测用OmniDiffusionSamplingParams(extra_args{reset: index 0, session_id: ..., robot_obs: obs})调用omni.generate首个请求带resetTrue开启新会话将每步输出的 5 维潜在张量按时间维拼接再通过collective_rpc调用 worker 上的decode_accumulated_video_latents_to_uint8/decode_video_latents_to_uint8解码为 uint8 视频帧写出{output_stem}.mp4默认 fps5帧数约为8 * 观测数 1--save-input-video时把三路输入相机帧拼成 2×2 画布写出{output_stem}_input.mp4--save-gif时同时产出 GIF--save-actions时把每步动作块存为.npz。该脚本的产物非常适合做预测质量的人工侧目比对输入侧是拼接后的多相机观测画布输出侧是模型预测的未来动作视频。MolmoSpace 风格远程策略评测演示仓库还附带了一个将 DreamZero 适配到 MolmoSpace 风格远程策略评测循环的演示脚本python examples/online_serving/dreamzero/molmospace_dreamzero_eval_demo.py \ --host 127.0.0.1 \ --port 8000 \ --benchmark_dir /path/to/benchmark \ --output_dir /path/to/output该脚本examples/online_serving/dreamzero/molmospace_dreamzero_eval_demo.py的关键实现是继承molmo_spaces的DreamZeroPolicyConfig/DreamZeroPolicyEvalConfig把其中的remote_config指向 vLLM-Omni 服务地址默认127.0.0.1:8000对应ws://{host}:{port}/v1/realtime/robot/openpi其余评测逻辑全部复用 MolmoSpace 框架支持--max_episodes、--task_horizon_steps默认 80、--episode_idx等评测控制参数通过run_evaluation(...)驱动 benchmark 目录中的任务最终打印success/success_rate并输出到--output_dir脚本顶部会预先设置MUJOCO_GLegl与PYOPENGL_PLATFORMegl保证 MuJoCo 在无头环境下的渲染可用。使用前提是环境里已安装molmo_spaces包且--benchmark_dir指向一个真实的 MolmoSpaces benchmark 目录例如$MOLMOSPACES_BENCHMARK_DIR/20260327/ithor/FrankaCloseHardBench/...。典型排障与注意事项汇总综合以上内容实践中最容易踩坑的几个点先握手、后构造观测观测键、相机布局、状态张量与动作形状由加载的策略定义而非传输层定义务必先解析握手下发的policy_server_config参考 docs/serving/openpi_api.md 的提醒。设备数量约束devices列表长度必须等于tensor_parallel_size * cfg_parallel_size否则并行初始化会失败。Python 版本差异Python 3.12 运行 DROID 客户端需额外安装typing-extensions。Isaac Lab 导入顺序isaaclab/sim_evals的导入必须在AppLauncher启动之后进行脚本已遵循该顺序必须通过ISAACLAB_LAUNCHER即isaaclab.sh -p启动直接python运行会因缺少 Isaac 运行时而失败。示例资产缺失客户端/导出脚本都会在缺失outputs/dreamzero/assets下 MP4 时明确报错并提示用hf download YangshenDeng/vllm-omni-dreamzero-assets --repo-type dataset --local-dir outputs/dreamzero/assets补下载。服务端会话重置多 episode 评测时每集结束后要发送reset命令或更换session_id否则模型侧保留的跨观测状态会污染下一集。总结DreamZero-DROID 是 vLLM-Omni 验证机器人策略模型以 OpenAI 风格在线服务形态对外提供低延迟推理的完整样例一条/v1/realtime/robot/openpiWebSocket 端点承载握手元数据、观测推理与会话重置三种消息单 diffusion stage 的管线运行在 AR-Diffusion 引擎之上并通过step_cache缓存与速度相似度阈值实现连续帧场景的推理加速。本文覆盖了从一行脚本启动服务、TP/CFG 并行拓扑定制、真实视频回放客户端、Isaac Lab DROID 仿真评测到本地离线视频导出的完整链路。相关的部署配置位于 vllm_omni/deploy/dreamzero.yaml 与 vllm_omni/deploy/dreamzero_tp1_cfg2.yaml协议细节可进一步查阅 docs/serving/openpi_api.md读者可以直接复制上述命令完成从服务端到评测端的全流程验证。【免费下载链接】vllm-omniA framework for efficient model inference with omni-modality models项目地址: https://gitcode.com/GitHub_Trending/vl/vllm-omni创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考