3D 生成全文深读与原图讲解

GraftRay：在Gaussian场景里补上物理阴影与反射

插入一个网格物体时，怎样让它参与原场景的近场光照？

Jinxin Ai、Matthias Niessner预印本首发 · 近7日补收 2026.10.27

论文公开 · 实现开放待核

IN A NUTSHELL

GraftRay 给重建的3D Gaussian场景补充材质先验、面积光源和路径追踪，使插入网格产生遮挡、阴影与反射。它解决的是资产插入和光照整合，不是自动生成干净的可编辑场景网格。

图解主要方法

插入一个网格物体时，怎样让它参与原场景的近场光照？

1
图2左侧：从多视图估计材质和光源位置
RGB↔X或DiffusionRenderer预测反照率、粗糙度、金属度等，再按可见性反投影聚合到Gaussian。光源由人工SAM掩码提升到3D，经RANSAC/PCA拟合矩形面积光，不能说全自动发现照明。
2
图2中部：Gaussian与网格共享追踪场景
用OptiX追踪Gaussian及插入网格，按不透明度接受交点，阴影射线累积透射率，采用GGX/Cook–Torrance和多重重要性采样计算多次反弹。材质固定后再拟合光强，并非联合优化所有逆渲染参数。
3
图2右侧：拟合辐射再做差分合成
每个候选灯先渲染单位光强基图，以非负约束拟合强度；饱和像素当下界而非精确亮度。线性空间可用NNLS，非线性相机响应需要LM，不能一概称闭式求解。最后用有/无物体图比值合成到原背景，保留重建外观。

已阅读全文正文（该HTML无独立附录章节），核对实验条件与原图；未独立复现。

来源证据4个FIPT和2个NFINITE场景。FIPT用DiffusionRenderer先验时差分PSNR35.17、阴影IoU .76，对照IRGS为28.4/.50；NFINITE阴影IoU .49低于IRGS .52。合成场景主表 ↗

我的解读材质与场景分布影响很大，不能只报告FIPT优势；真实场景VQA分数不等于物理光照真值。

来源证据RTX3090、1024×576、256spp的插入渲染约1.6分钟/帧；材质先验约1.5小时/seed。反照率和粗糙度误差不总优于专门逆渲染基线。成本与材质误差 ↗

我的解读Gaussian快速光栅化不意味着路径追踪插入实时；原图差分合成也会掩盖某些材质或重建误差。

已核对论文全文和原图；本次未找到论文给出的官方实现/模型下载，记为论文公开，不能称可复现开源系统。

LICENSE作者版权；arXiv非独占托管许可

独立分析 · 未复现实验

把近场发光体、材质先验与网格放进同一光传输计算，适合关注虚拟布景和资产插入的团队。

依赖人工光源标注和材质先验，透明/镜面、错几何和漏光会传播为阴影错误；没有提供UV、部件层级或无光照纹理的完整资产导出保证。

是更可信的Gaussian场景插入路线，但当前速度、人工步骤与跨场景退化限制生产使用。

未执行的验证方案：固定几何和插入物，分离测试光源定位、材质先验、相机响应和差分合成，加入强反射及遮挡场景，测阴影IoU、光强误差和每帧耗时。