GS-PI:从高斯重建中分离 PBR 材质
生成可重光照属性,也要分清材质准确与几何准确
把已有高斯资产转换成点云,在固定几何上生成反照率、粗糙度和金属度,再蒸馏回高斯表示。目标是去除原光照的烘焙痕迹,而非从文字直接生成完整物体。
图解主要方法
怎样把“原来灯光下看着像”的高斯资产变成能够更换灯光的材质资产?

- 1
Stage 1:先得到几何支撑
从已有高斯模型渲染 32 个规范虚拟视图,按深度反投影并去除浮点。这里的 32 视图是内部协议,并不要求原始拍摄必须使用同一套相机。
- 2
Stage 2:生成材质,不重新生成坐标
图中 x/y/z 固定;a/r/m 分别是 RGB 反照率、粗糙度、金属度。DINOv2 全局特征与源视图 RGB、32 维视角编号共同引导去噪。训练预测噪声,推理从噪声采样材质。
- 3
Stage 3:把点属性变成可渲染高斯
将生成的材质图作为蒸馏目标。图中雪花标记位置 μ 与旋转 q 固定,火焰标记尺度 s、不透明度 α 和材质可优化;因此它仍包含逐资产优化。
实验与证据
材质与重光照实验有积极结果,但主要表格使用真实法线;时间应区分材质阶段和全流程。
论文证据表 1 在 1,000 张图像上比较,重光照统一使用真实法线及前景掩码;GS-PI 的重光照 PSNR 为 26.94。 论文全文 ↗
我的解读该实验隔离材质质量,不能直接代替使用预测法线、真实几何的端到端评价。
论文证据表 1 的 GS-PI 时间为 5.4 分钟,包含初始高斯重建后为 10.4 分钟;Stage II 单独约 18 秒。 论文全文 ↗
我的解读三个数字对应不同范围,不能把 18 秒说成完整资产转换耗时。作者自测,本站未复现。
论文证据表 3 中完整蒸馏 PSNR 为 26.46,而固定不透明度为 26.28;后者 SSIM 为 78.21,完整版本为 78.63。 论文全文 ↗
我的解读这一消融的增益较小,应与完全跳过蒸馏区分,避免把所有组件描述为决定性突破。
开放情况与使用许可
已读论文方法、实验、消融与局限;未找到可确认属于作者的实现或权重发布,不将论文公开等同于代码开源。
LICENSE论文 CC BY 4.0;实现、模型权重及其许可未核实
我的判断
独立分析 · 未复现实验正方 · 为什么值得投入
我的判断:把几何和材质分阶段处理,使每一步的失败更容易定位;三维点上的共享材质也比各视图独立生成贴图更容易保持一致。
视图来源编号为高光提供角度线索,机制上比把所有 RGB 直接混合更合理:高光变化不必全部解释成表面固有颜色。
反方 · 哪些结论还不够
固定几何带来的稳定性也锁住了重建错误。资产缺少薄片或法线错误时,再准确的材质预测也不能保证重光照正确。
材料分解并不总有唯一解。利用类别先验生成“看起来合理”的金属度,可能改善图像指标,却把涂漆塑料误认成金属;物理解释仍需要独立验证。
高斯上的 PBR 属性不自动等于可直接交付的网格资产。若最终要进入既有 DCC 与游戏管线,还要计算转换、法线、UV 和材质节点兼容的成本。
综合判断
这是值得重视的去光照与高斯材质生成方案。判断其生产价值,应优先看自身几何条件下的重光照、材质错误类型与总处理成本。
我会先做的验证
建议实验,尚未执行:固定一批有参考材质的扫描物体,分别使用真实法线和重建法线测试;在未见 HDR 灯光下报告颜色、高光位置和金属度错误,并把初始重建、材质推理、蒸馏与导出时间全部计入。