从NeRF到Relightable3DGaussian：实时点云重光照的5大技术突破与实现路线对比

从NeRF到Relightable3DGaussian实时点云重光照的5大技术突破与实现路线对比【免费下载链接】Relightable3DGaussian[ECCV2024] Relightable 3D Gaussian: Real-time Point Cloud Relighting with BRDF Decomposition and Ray Tracing项目地址: https://gitcode.com/gh_mirrors/re/Relightable3DGaussianRelightable3DGaussian 是一个开源的实时点云重光照项目它把 3D Gaussian Splatting3D高斯泼溅与 BRDF 材质分解、光线追踪结合起来让你只需几轮训练就能对点云场景进行实时换光、换材质、多物体合成。相比 NeRF 动辄几分钟渲染一帧它可以在 RTX 3090 上以交互帧率输出带阴影的重光照画面。本文对比两者的实现路线并拆解 5 个核心技术突破帮助新手快速上手。为什么从 NeRF 转向 Relightable3DGaussianNeRF 用隐式神经网络表示场景重光照效果好但渲染一帧需要沿每条光线积分网络速度极慢而且场景是黑盒无法直接做物体级合成。Relightable3DGaussian 选择了显式点云3D 高斯表示带来三个关键优势对比维度NeRF隐式Relightable3DGaussian显式点云表示形式MLP 隐式函数3D 高斯点云 PBR 材质属性渲染速度分钟级/帧实时交互帧率换光照需重新前向推理训练一次任意 HDR 环境光实时换光场景合成困难隐式难裁剪直接拼接点云 刚体变换阴影/遮挡依赖网络拟合BVH 光线追踪精确求阴影5大技术突破拆解突破1BRDF 材质分解把颜色拆成可换光的属性普通高斯泼溅只学颜色换光必然翻车。本项目让每个高斯额外携带base color反照率、metallic金属度、roughness粗糙度三个 PBR 属性训练时用物理渲染方程把它们解耦出来。渲染时只要替换光照材质保持不变就能得到合理的重光照结果。核心属性定义在 scene/gaussian_model.py 中get_base_color、get_metallic、get_roughness物理渲染方程的 CUDA 实现见 r3dg-rasterization/render_equation.cu。突破2球谐函数SH表示逐点入射光支持无环境图重光照场景中每个高斯点还带有一组入射光球谐系数incidents_shs和可见性球谐系数visibility_shs。它们记录了训练时每个点从各个方向能看到的光使项目在推理阶段可以有 HDR 环境图时直接采样环境光重光照scene/envmap.py 实现direct_light采样没有环境图时靠逐点入射光 SH 近似原光照或用 scene/derect_light_sh.py 中的全局DirectLightEnv学一个全局环境光做正则化。突破3BVH 光线追踪实时算出精确阴影重光照最难的是阴影换一扇窗户的位置物体背光面就该变暗。项目自带一套 PyTorch 绑定的Gaussian-BVH模块bvh/见 bvh/README.md为点云构建 BVH 加速结构再沿光照方向发射射线求遮挡。合成场景中通过 relighting.py 调用RayTracer更新可见性即可得到带自阴影的重光照视频。突破4可见性微调让阴影可学习训练后期开启--finetune_visibility冻结材质、单独优化可见性 SH使阴影边界更贴合真实光照。推理时还可用update_visibility对新组合场景做一次 1000 步的可见性精修bake这一步保证了多物体合成后阴影依然正确。突破5显式点云天然支持多物体合成因为是显式点云把多个训练好的场景加载、加刚体变换、合并成一个GaussianModel即可见 relighting.py 中的scene_composition。官方提供了configs/teaser、configs/nerf_syn、configs/tnt等现成配置transform.json 中定义每个物体的 4x4 变换矩阵换一张 HDR 就能渲染出整个新场景的重光照视频。上图是项目内置的海洋 HDR 环境图env_map/ocean_from_horn.jpg用于 Tanks Temples 多场景合成的重光照演示。训练与重光照的完整实现路线整个流程分三步脚本齐全照着跑即可第一步训练 3DGS 基础模型几何 颜色python train.py -s 数据路径 -m 输出路径/3dgs --lambda_depth 1 --save_training_vis第二步训练 Relightable3DGaussianPBR 分解 可见性python train.py -s 数据路径 -m 输出路径/neilf -c 3dgs检查点 -t neilf \ --lambda_light 0.01 --lambda_base_color 0.005 --lambda_visibility 0.1 --finetune_visibility第三步换环境光渲染重光照视频python relighting.py -co configs/tnt -e env_map/ocean_from_horn.jpg \ --output output/relighting/tnt --sample_num 384 --video常用一键脚本script/run_nerf.shNeRF-Syn 数据集、script/run_dtu.shDTU 真实数据、script/run_tnt.shTanks Temples、script/relighting.sh重光照渲染。训练环境定义在 environment.yml需要 CUDA 11.8 编译三个 PyTorch 扩展submodules/simple-knn、bvh、r3dg-rasterization。想边训边看加--gui参数或用 gui.py 可视化python gui.py -m output/NeRF_Syn/lego/neilf -t neilf快速上手安装与环境配置git clone https://gitcode.com/gh_mirrors/re/Relightable3DGaussian cd Relightable3DGaussian conda env create --file environment.yml conda activate r3dg # 三个 CUDA 扩展建议 CUDA 11.8 编译 pip install ./submodules/simple-knn pip install ./bvh pip install ./r3dg-rasterization数据准备支持三类NeRF-Syn 合成数据集、预处理好的 DTU 与 Tanks Temples需深度图、法线图与前景掩码。自己的数据可走 vismvsnet/ 目录下的 Vis-MVSNet 流程sh run_pre.sh提取深度线索细节见该目录 vismvsnet/README.md。总结三条路线怎么选路线适用场景关键词NeRF 重光照科研验证、追求隐式表示极限质量慢但灵活3D Gaussian Splatting实时静态场景渲染快但换光会失真Relightable3DGaussian实时点云重光照、多物体合成、虚拟资产实时 PBR 光线追踪如果你是刚接触神经渲染的新手建议按3DGS 训练 → neilf 训练 → relighting 渲染三步走通一遍再阅读 gaussian_renderer/neilf.py 的渲染管线和 r3dg-rasterization/ 的 CUDA 光栅化源码即可完整掌握实时点云重光照的实现全貌。【免费下载链接】Relightable3DGaussian[ECCV2024] Relightable 3D Gaussian: Real-time Point Cloud Relighting with BRDF Decomposition and Ray Tracing项目地址: https://gitcode.com/gh_mirrors/re/Relightable3DGaussian创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考