PPMem：让视频世界模型用平面记住走过的场景
显式几何记忆能减少回看时的场景漂移吗？
PPMem 在生成每段视频时同时预测平面几何，把它们融合到持久记忆，再从下一相机位置投影作为生成条件。它为视频世界模型加入了可检查的空间状态，但平面池很小不代表整套推理只占几 MB，也没有直接解决动态物体与材质资产。
图解主要方法
显式几何记忆能减少回看时的场景漂移吗？
- 1
一段视频同时输出外观和几何
图2基于 Wan2.2 TI2V-5B，在25帧、首尾重叠的片段中预测 RGB 与平面。每个平面使用深度、两个尺度和四元数等7个参数；正常去噪后增加几何预测步骤，避免每一步都承担同样几何计算。
- 2
将局部平面融合为持久状态
质量、朝向与深度一致性用于清除漂浮面、边界噪声和重复面，较好的表面替换较差的观测。视野与距离筛选减少无用条目；筛选依赖下一相机视点，不能把它当成完全独立于轨迹的全场景地图。
- 3
用记忆渲染来约束下一段
记忆被投影为深度与可见特征，经深度 token 融合模块进入生成器；训练加入大比例孔洞及条件丢弃，让模型处理不完整观测。新视频再更新记忆，形成显式状态与生成交替的循环。
实验与证据
已阅读正文与全部公开附录，核对实验条件与原图；未独立复现。
来源证据约8万 DL3DV/RealEstate10K 片段，576×1024，MoGe2/VGGT提供伪几何；两阶段训练包含冻结主干的 LoRA 和几何模块。基准使用给定相机及首帧深度，长序列达300–400帧，部分比较方法使用不同原生分辨率。 训练与评测条件 ↗
我的解读这是带几何条件的系统级比较，不等于任意手机视频都能达到同一成绩；伪深度和相机质量是重要前提。
来源证据DL3DV 121帧 PSNR 13.98 对比 Gen3C 13.59，LPIPS 0.464 对0.565；同一检查点、56个室内场景的池记忆消融将 AbsRel 从0.272降至0.210。另一个短序列 DINO 指标与基线同为0.949。 图像与几何收益 ↗
我的解读支持记忆有助于一致性，但不是所有指标都独占最佳；必须区分系统比较和同检查点消融。
来源证据示例平面池约10.6万个元素、4.8MiB；比较中的约1.7GiB稠密累积点云是理论表示对照，并非实测 Gen3C 全部缓存。几何模块固定开销约1.1GiB，单段去噪约128秒，栅格化1.7秒、合并0.3秒。 内存与时间附录 ↗
我的解读小池不能等同于总显存或实时运行。原文低平面性场景 PSNR/深度误差明显变差，说明表示假设本身限制了适用范围。
开放情况与使用许可
已核验 GitHub 实际推理代码、Apache-2.0 LICENSE，以及 Hugging Face 三个主权重分片和模型卡 Apache-2.0 标注；第三方组件另循自身许可。论文仍为 arXiv 非独占托管，论文图与代码许可不混用；未运行模型。
LICENSE作者版权；arXiv非独占托管许可
我的判断
独立分析 · 未复现实验正方 · 为什么值得投入
明确的可持久化几何比仅依赖视频上下文更便于检查与复用；同检查点消融使“记忆确有作用”的论证较强。
反方 · 哪些结论还不够
静态、近似平面的场景更适合；有机曲面、水、动态物体和缩放仍困难。平面导出不意味着闭合拓扑、可用 UV、无接缝 PBR 纹理或去光照材质。
综合判断
是空间一致性与可解释场景状态的进展，暂不等于实时可编辑三维资产世界。
我会先做的验证
未执行的验证方案：固定相机与初始深度误差，测试长回环、动态遮挡及非平面物体；把模型、源帧、几何模块与平面池全部计入内存，并检验导出资产的接缝和重光照。