在潜空间做渲染：更快得到特征，为何更慢得到图片

图 2 为什么要改写“物理”渲染，潜变量中的负值又该如何处理？

1. 1

   先明确已知信息和目标空间

   输入需要已有网格、材质类别、光源与相机，参考是一张该场景的渲染图。SD3.5 VAE 将 1024² RGB 编成 128²×16 潜变量，总元素约少十二倍，但这些通道不是可直接解释的反照率或辐射度。

2. 2

   允许有符号的潜空间光传输

   潜变量含负值、边缘强化和有符号阴影，普通非负光照积分无法直接表示。作者修改 Mitsuba，允许发射和 BSDF 参数取符号，并加入平坦响应、遮挡响应等项；这是带物理结构先验的拟合模型，不是潜变量也严格满足能量守恒的证明。

3. 3

   图 2 左中：优化场景参数匹配参考潜变量

   先以 Huber 损失做约 3000 步优化，调整潜空间材质、发射和响应；已知几何不在此阶段由照片凭空恢复。纹理场景用灰度细节及各通道缩放偏置扩展，也不同于常规 RGB PBR 参数。

4. 4

   图 2 右中：再训练每场景的小修正器

   三层卷积网络接收渲染潜变量、深度与法线，输出残差，用潜空间 MSE/SSIM 和解码后的感知损失再训练约 3000 步。它补偿模型表达误差，也可能记住单视图偏差，因此新视角与新光照必须另测。

5. 5

   修改场景后重新渲染，分开潜变量和 RGB 时间

   训练好的场景可改变相机、灯光或物体，再渲染和解码。Cornell 示例在 RTX 4090 上两阶段各约五分钟，不能忽略这项准备成本；若下游直接消费潜变量可省编码，但人要看的 RGB 还需昂贵解码器。

6. 6

   对接生成优化仍不等于新资产生成器

   论文示范 SDS 材质优化时跳过 RGB 编码路径，保留显式场景控制；模糊问题仍存在，也没有训练新的通用三维生成模型。潜材质对现有 DCC/游戏引擎不是直接可用的标准材质，跨渲染器互操作需要额外转换。

以下为作者报告；已阅读 v1 全文及附录，本站未独立执行研究实验。实验条件与编辑解读分别列出。

已打开作者仓库与 LICENSE；目前仅 README 和 MIT 文件，说明代码将发布，没有实际渲染实现。许可证文件的存在不能证明算法已开源。

LICENSEarXiv 标注论文 CC BY 4.0，稿件另含 Wiley 非商业自存档声明；占位仓库 MIT 不等于实现已发布，不自动覆盖所有论文素材。