XScene-UEPlugin：3步把3D高斯泼溅送进UE5

XScene-UEPlugin3步把3D高斯泼溅送进UE5【免费下载链接】XScene-UEPluginA Unreal Engine 5 (UE5) based plugin aiming to provide real-time visulization, management, editing, and scalable hybrid rendering of Guassian Splatting model.项目地址: https://gitcode.com/gh_mirrors/xv/XScene-UEPluginXScene-UEPlugin 把训练好的 3D 高斯泼溅模型直接送进 UE5做实时渲染、管理与混合编辑。 此前泼溅场景怎么进引擎通常的做法是训练出 .ply用作者自带的 web viewer 查看——能看到但没有灯光、没有资产管线进不了产品或者导出成网格3D Gaussian Splatting下称 splat主打的高帧率优势也就没了。本项目的切点是把 splat 渲染架在 UE5 的 Niagara 粒子系统上导入、LOD、裁剪、动态光照都在编辑器内完成结果可与引擎资产同框也能打包成可执行程序。⚙️ 启动条件与最小路径硬性依赖Windows 10/11插件与训练工具均为 Win64Unreal Engine 5.1.x 至 5.5.x纯渲染无显卡硬性要求若本地训练需 NVIDIA GPU 与 CUDA 11预留数 GB 磁盘.ply 及导入生成的 buffer 资产可达 GB 级最小路径三步拉取源码git clone https://gitcode.com/gh_mirrors/xv/XScene-UEPlugin仓库自带示例工程直接双击UEPlugin/XV3DGS.uproject打开插件已内置启用。要接入自己的工程把UEPlugin/Plugins/XV3dGS/拷进项目Plugins/目录并启用 XV3dGS。看到什么算成功打开 demo 关卡后视口里直接渲染出 splat 场景鼠标可环绕、缩放帧率可用。 能力实测导入、编辑与混合渲染从 .ply 到视口输入是一份标准 splat .plyv1.1.3 起支持多文件拖入批量导入。插件读取后自动把数据拆成 buffer 资产并计算 LOD——单个 Niagara 有 200 万粒子的上限大场景靠 LOD 拆分才跑得动。输出是内容浏览器里的一组资产拖进关卡视口即可作为高斯 Actor 参与渲染TRS 操作与普通 Actor 一致。demo 关卡视口资产拖入即渲染裁剪出一块给特效选中关卡里的 GS Actor勾选 Clip Volume Component 得到裁剪体积移动、缩放这个 volume把 Crop Type 设为保留体积内或体积外再点 Crop GSPoints会直接产出一个干净的 Niagara System可直接进粒子管线二次加工。输入是完整场景操作是挪一个体积输出是可喂给特效的材质源。用裁剪体积切出干净的 Niagara混合渲染与动态光照默认场景不接受动态光勾选 With Relighting 后支持 UE 全部光源类型点光源移到哪里splat 表面的高光跟到哪里。AlbedoTint 参数可做整体调色让扫描场景的色调贴近关卡风格。泼溅资产与引擎网格、Niagara 可以同框最终按仓库内打包文档输出 Windows 可执行程序。 训练耗时与质量数据官方 README 给出的训练耗时参考测试机Windows 10、CUDA 11、RTX 2080 8GB、i9-9900| 素材 | 采样帧率 | 耗时 | | -- | -- | -- | | 10 秒视频 | 5fps | 约 5 分钟 | | 430 秒视频 | 1fps | 约 40 分钟 |提速有两个开关--optimizer_type sparse_adamSparse Adam 只更新活跃参数与加速光栅化器。开启全部特性时sparse adam 配置的耗时明显低于默认配置。Sparse Adam 明显压缩训练耗时质量侧是公开基准仓库自带对比图自行车场景| 方法 | 训练耗时 | PSNR | 渲染帧率 | | -- | -- | -- | -- | | InstantNGP | 7 min | 22.1 | 9.2 fps | | Plenoxels | 26 min | 21.9 | 8.2 fps | | Mip-NeRF360 | 48 h | 24.3 | 0.071 fps | | 3DGS6 分钟档 | 6 min | 23.6 | 135 fps | | 3DGS51 分钟档 | 51 min | 25.2 | 93 fps |自行车场景训练时间、PSNR 与帧率逐法对比训练端还加了深度正则化用来压掉重建里的重影与边缘毛刺开关前后差异肉眼可见左右为有无深度正则化的渲染结果 边界与进阶参数调优入口训练默认 30000 轮迭代视频输入的采样密度由--fps控制0.5 即每两秒取一帧python run.py --video_path 视频路径 --fps 0.5常用开关--post_process走一轮 3dconverter 后处理去浮点--train_test_exp启用逐图曝光补偿适合曝光跳变大的素材。插件侧日常要碰的主要是 LOD 层级VisWhichLOD与裁剪参数。二次开发切点与工具链衔接插件源码拆成三个 C 模块GSRuntime运行时渲染会进游戏包、GSImporter编辑器端解析 .ply 并生成资产、GSEditor工具窗口界面。整体 Blueprint 友好编辑器工作流用蓝图即可扩展。Training/gaussian-splatting/ 是完整训练管线pack.py能把视频到 .ply整条流程打成独立 exe——Windows 训练工具 XV3DTools 就是这么产出的可交给非程序美术使用注意工具与插件需版本对齐插件 1.1.5 对应工具 1.1.2。引擎侧主体在 UEPlugin/Plugins/XV3dGS/示例资产与材质在 UEPlugin/Content/。 避坑速查路径含中文或特殊字符 → 训练工具只认 ASCII 路径报错卡死多半是它改成纯英文数字路径。视频帧率低于 20 → 训练入口不接受该素材重新拍摄或转码到 20fps 以上拍摄时锁 1080P、30fps 较稳。拍素材锁 1080P帧率至少 30fps导入后视口点稀、性能仍不理想 → 单个 Niagara 200 万点上限会逼默认 LOD 取较激进一级用 VisWhichLOD 强制指定想要的层级。--post_process后场景只剩残片 → 该后处理容易误删场景主体结构官方建议仅对单体物体重建启用大场景勿开。 代码地图算法与引擎完全分家训练相关全在 Training 下引擎相关全在 UEPlugin 下插件侧三个 C 模块分别负责运行时、导入与编辑窗口界面是蓝图资产。XScene-UEPlugin ├─ Training/gaussian-splatting/ # 训练主体视频/图片 → .ply │ └─ submodules/ # 光栅化等 CUDA 子模块 ├─ UEPlugin/Plugins/XV3dGS/ # 插件主体GSRuntime/GSImporter/GSEditor ├─ UEPlugin/Content/ # 示例资产、材质与 demo 关卡 └─ UEPlugin/XV3DGS.uproject # 示例 UE5 工程 落地场景虚拟制片扫描实景与 CG 元素实时合拍动态光照让现场先验光。建筑地产 walkthrough巡楼视频直接变可走查场景比传统建模快且省。VFX 管线裁剪出独立 Niagara 喂给粒子系统做二次加工。文物与商品数字化单体训练配合后处理去浮点拿到接近可用的资产。项目当前处于 EA 阶段插件主链路已可日常使用流式加载、资产压缩与自动碰撞生成仍在 Roadmap 上。评估它的成本很低——clone 仓库、打开 demo 关卡再把一份自己的 .ply 拖进内容浏览器即可。【免费下载链接】XScene-UEPluginA Unreal Engine 5 (UE5) based plugin aiming to provide real-time visulization, management, editing, and scalable hybrid rendering of Guassian Splatting model.项目地址: https://gitcode.com/gh_mirrors/xv/XScene-UEPlugin创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考