3DTexMOR:先统一纹理坐标,再从高斯场景中移除多个物体
共享平面纹理、反射分解与几何约束;漫反射辐射仍包含光照
3DTexMOR针对重建高斯场景中的多物体删除:将不同视角看到的背景投到同一支撑平面纹理空间,统一补全漫反射辐射、菲涅尔反射率和粗糙度,再投回各相机监督新增高斯。共享纹理减少视角间冲突,平面、锚点和尺度约束抑制几何漂移;核心限制是待补区域必须近似共面。
图解主要方法
多个物体被删除后,如何让不同视角的补洞纹理和反射保持一致?

- 1
识别对象并拆分可共享属性
多视角图像与SAM2物体掩码训练带身份特征的3DGS,选定标签后删除对应高斯。沿用GOR-IS分为视角无关漫反射辐射D和视角相关光泽G,每个高斯另有Fresnel F与粗糙度R;D已经包含固定拍摄光照,不能当无光照反照率。
- 2
在共用平面坐标汇合多视角
对背景高斯中心最小二乘拟合单位法线平面,建立正交u/v基。相机射线与平面相交后,把有效可见背景观测双线性散射到四个邻居纹素,再乘视角权重|n·d|,正视贡献更大。保留对象遮挡的样本被排除,非零稳定项并不会使无观测位置变成已观测。
- 3
统一补洞并回投监督
取被删对象靠近平面的中心形成footprint并求并集,掩码不会扣除其中已观测纹素。LaMA独立补D/F/R三个图,掩码外保持原聚合结果;法线与光泽项不作为纹理补洞。用同一平面映射重投影到各相机,保留对象之前的遮挡检查避免给前景强加背景目标。
- 4
约束新增高斯,重新计算反射
在掩码中按纹素步长采样、抬升到平面初始化新高斯,外观取补好纹理。只优化新高斯,原场景、纹理目标和监督掩码固定。L1内禀监督加法向离面、切向锚点、尺度三种软约束;编辑后的反射由近场二次射线、环境图、Schlick Fresnel与粗糙度滤波重新计算,允许掩码外反射变化。
实验与证据
论文完整正文、附录A.1–A.3和B、图2及arXiv首发记录已核查;未独立复现。
来源证据数据:3个Syn-Diffuse、3个Syn-Reflective;真实单物体3场景、多物体4场景无定量GT。相同输入/划分,单物体基线改为顺序多次删除。 §4.2 ↗
我的解读这是小规模场景级证据;顺序删除适配可能放大部分对照误差,未提供统计区间。
来源证据漫反射全图PSNR30.85vs25.04、LPIPS0.181vs0.232;反射PSNR29.58vs28.90,但LPIPS0.121vs0.118。 表1 ↗
我的解读约22% LPIPS降幅成立于漫反射集,反射集并非全指标胜出。删除区域指标另外报告,不能与全图数混用。
来源证据统一纹理vs独立逐图LaMA:两合成集合并PSNR30.22vs23.49、mPSNR28.56vs19.17。逐项加入内禀/锚点/平面约束,PSNR27.52→28.15→28.81→30.22。 表2–3 ↗
我的解读消融支持共享纹理和组合约束有效;逐项加入不等于每项独立贡献,表3没有尺度约束单独消融。
来源证据RTX4090D:初始30k迭代重建约40分钟,开启内禀分解约2小时;分割另10分钟,补纹理约30秒、新高斯4k迭代约4分钟。 §4.1 ↗
我的解读约4分钟是已有场景的后续完成阶段,不能称端到端4分钟。40FPS仅为Syn-Reflective约3万高斯、800²分辨率的渲染。
来源证据附录明确D为带固定光照的辐射;反射场随当前编辑场景重算,footprint只控制内禀补全监督。 附录A.1、A.3 ↗
我的解读减少反射残影不等同于消除全部阴影和全局光照影响;没有任意重光照验证或通用UV/PBR导出。
开放情况与使用许可
已打开论文与arXiv记录;未在论文或检索中确认官方代码仓库、训练权重或模型卡,不把论文公开标成开源。
LICENSE论文使用arXiv永久非独占托管许可;原图版权归作者,托管许可不等于一般再分发授权。本页引用图2用于方法评论。
我的判断
独立分析 · 未复现实验正方 · 为什么值得投入
Syn-Diffuse上相较GOR-IS全图PSNR增加5.81dB,删除区域mPSNR增加7.08dB;共享纹理消融也明显优于逐图补洞。
显式重算编辑后场景的反射入射辐射,使删除物体造成的反射变化可以出现在删除掩码之外。
反方 · 哪些结论还不够
反射场景LPIPS为0.121、mLPIPS为0.117,均差于GOR-IS的0.118/0.109;摘要的22%改善主要对应漫反射集,不能泛化到所有场景。
表2平均PSNR提高6.73dB,不能从合并均值推出两个数据集各自都提高约7dB。
几何约束是软惩罚;平面项约束中心到平面距离,不直接约束高斯朝向,也没有独立几何精度量化。
综合判断
对近共面的多物体场景修补有直接价值,特别是统一多视角纹理与更新反射;当前证据尚不支持任意表面补全或完整PBR资产生产。
我会先做的验证
建议实验(尚未执行):固定相机和删除掩码,比较逐视图与共享平面补洞;分别测曲面曲率、平面估计偏差和遮挡比例下的失败率,增加跨视图纹理接缝、深度/法线误差、反射残影及改变光源后的albedo泄漏检查。