HY-World 2.0 实战：仅需1张图片，快速生成可漫游的高保真3D世界

HY-World 2.0 实战仅需1张图片快速生成可漫游的高保真3D世界【免费下载链接】HY-World-2.0HY-World 2.0: A Multi-Modal World Model for Reconstructing, Generating, and Simulating 3D Worlds项目地址: https://gitcode.com/gh_mirrors/hy/HY-World-2.0HY-World 2.0 是腾讯开源的多模态世界模型框架仅用一张图片或一段文字它就能生成可漫游、高保真的 3D 世界输出 3DGS3D 高斯泼溅与网格mesh等可编辑 3D 资产可直接导入 Blender、Unity、Unreal 等引擎。本文是一份面向新手的 3D 世界生成实战指南带你在 3 步内完成从单图到 3D 世界、再到多视角 3D 重建的完整体验。 为什么选择 HY-World 2.0从看视频到建世界传统视频世界模型生成的只是一段像素视频——看完即消失换个视角还会闪烁、穿帮。HY-World 2.0 走了一条完全不同的路直接生成持久存在的真实 3D 资产更像搭建一个可玩的游戏而不是录一段视频维度视频世界模型HY-World 2.03D 世界模型输出像素视频不可编辑真实 3D 资产3DGS / mesh完全可编辑3D 一致性无视角切换闪烁、伪影天然 3D 一致渲染逐帧推理延迟高消费级 GPU 即可实时渲染资产寿命播放结束即消失永久保存可导入游戏引擎可控性弱无真实物理精确控制、真实碰撞与光照 一张图如何变成 3D 世界4 阶段世界生成流水线HY-World 2.0 的世界生成由一条全自动流水线完成四个阶段各司其职全景生成HY-Pano 2.0把一张单视角图片扩展成 360° 全景图奠定世界的底子轨迹规划WorldNavVLM视觉语言模型识别场景中的兴趣目标结合 NavMesh 避障规划出环绕、探索、航拍等多条相机轨迹世界扩展WorldStereo 2.0沿轨迹生成高质量关键帧视频记忆库机制保证跨视角内容一致世界合成WorldMirror 2.0 3DGS 训练重建几何并训练 3D 高斯泼溅输出可实时渲染、可漫游的 3D 世界3DGS / mesh。下面是 HY-Pano 2.0 由单图生成的 360° 全景效果来自 examples/worldgen/case000 示例 新手快速上手三步装好 3D 世界生成环境环境要求CUDA 12.8、Python 3.11推荐 4 卡以上 GPU 体验完整世界生成。第 1 步克隆仓库并创建环境git clone https://gitcode.com/gh_mirrors/hy/HY-World-2.0 cd HY-World-2.0 conda create -n hyworld2 python3.11.15 conda activate hyworld2 pip install -r requirements.txt第 2 步安装 gsplat 渲染后端3DGS 渲染/训练的核心组件cd hyworld2/worldgen/third_party/gsplat_maskgaussian pip install -e . --no-build-isolation cd ../../../../第 3 步安装 FlashAttention推荐 Hopper 卡用 FlashAttention-3其余可用pip install flash-attn --no-build-isolation。 完整安装细节含 worldgen 专属依赖、HY-Pano 安装请参考根目录 README.md 与 hyworld2/panogen/README.md。 HY-Pano 2.0 实战单张图片 → 360° 全景图全景生成的核心入口是 hyworld2/panogen/pipeline.py。HY-Pano 2.0 提供diffusers风格的 Python API首次运行会自动从模型库下载权重3 行代码即可出图from pipeline import HunyuanPanoPipeline pipeline HunyuanPanoPipeline.from_pretrained(tencent/HY-World-2.0) output pipeline(input.png) # 传入一张普通照片 output.save(output_panorama.png) # 输出 1920×960 等距柱状全景图几个实用参数prompt可追加风格描述如 Sunny day.seed42固定随机种子复现结果use_taylor_cacheTrue可加速采样。更轻量的 Qwen-Image-Edit 后端见 pipeline_with_qwen_image.py。️ WorldMirror 2.0多视角照片秒变 3D 世界数字孪生除了从零生成HY-World 2.0 更擅长拍下来就重建。WorldMirror 2.0 是一个统一前馈模型一次前向推理同时预测深度图、法线、相机参数、3D 点云和 3DGS 属性——拍一圈视频就能得到场景的数字孪生。以 examples/worldrecon/realistic/Desk 这类室内实拍为例只需把多张照片放进一个目录方式一命令行推理代码入口 hyworld2/worldrecon/pipeline.pypython -m hyworld2.worldrecon.pipeline --input_path path/to/images方式二Gradio 网页演示新手最友好浏览器内实时预览 3DGS、点云、深度与法线python -m hyworld2.worldrecon.gradio_app推理输出目录结构清晰gaussians.ply3DGS与points.ply点云是两大核心产物可导入主流 3D 软件inference_output/场景名/时间戳/ ├── depth/ # 每视角深度图PNG NPY ├── normal/ # 每视角法线图 ├── camera_params.json # 相机内外参 ├── gaussians.ply # 3D 高斯泼溅资产 └── points.ply # 彩色点云 支持注入相机位姿 / 深度先验进一步提升精度参数与输出格式详解见 DOCUMENTATION.md 的 Prior Injection 与 Output Format 章节。 全景图 → 可漫游 3D 世界世界生成五阶段有了全景图剩下交给 hyworld2/worldgen/ 的五步流水线共享同一个--target_path场景目录逐步累积中间结果阶段脚本作用1. 轨迹规划traj_generate.pyVLM 引导 避障导航规划环绕/探索/航拍轨迹2. 轨迹渲染traj_render.py多 GPU 沿轨迹渲染点云 VLM 场景描述3. 世界扩展video_gen.pyWorldStereo 2.0 生成高保真关键帧视频4. GS 数据准备gen_gs_data.py抽取帧、对齐深度/法线/相机参数5. 3DGS 训练world_gs_trainer.py训练并导出 3DGS / 压缩 SPZ / mesh训练完成后一条命令打开浏览器交互式查看器实时漫游你的世界python hyworld2/worldgen/show_gs.py --port 8081 --gpu_id 0 --ckpt $RESULT_DIR/ckpts/ckpt_1499_rank*.pt⚠️ 轨迹规划阶段需要一个 vLLM 服务托管 VLM如 Qwen3-VL-8B完整启动与运行命令见 hyworld2/worldgen/README.md。️ 进阶玩法走进 AI 生成的世界自由探索HY-World 2.0 不止能看更能能玩支持第一人称导航与第三人称角色模式带物理碰撞你可以在 AI 生成的街道、建筑、景观中自由穿行。下面两段动图均为真实 3D 资产的实时交互录制并非视频生成更多风格示例写实、卡通、游戏风可查看仓库中的演示素材 项目结构与核心模块速查模块路径说明全景生成hyworld2/panogen/HY-Pano 2.0单图/文本 → 360° 全景图世界重建hyworld2/worldrecon/WorldMirror 2.0多视角/视频 → 深度、点云、3DGS世界生成hyworld2/worldgen/轨迹规划 → 世界扩展 → 3DGS 训练完整流水线示例场景examples/worldgen 全景样例 worldrecon 写实/风格化实拍完整文档DOCUMENTATION.md参数参考、输出格式、多 GPU 推理、Gradio 用法✨ 小结HY-World 2.0 把一张图片 → 可漫游 3D 世界变成了现实HY-Pano 2.0 负责铺底WorldNav 负责探路WorldStereo 2.0 负责造景WorldMirror 2.0 3DGS 负责落地。全权重、全推理代码开源配合 Gradio 网页端新手也能快速上手。现在就动手试试吧——你的第一个 3D 世界只需要一张图片。【免费下载链接】HY-World-2.0HY-World 2.0: A Multi-Modal World Model for Reconstructing, Generating, and Simulating 3D Worlds项目地址: https://gitcode.com/gh_mirrors/hy/HY-World-2.0创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考