AEON:把视频潜变量直接解码成可探索的 4D 世界
显式高斯让视角和时间可重访,但运动表征距离物理模拟还有多远?
AEON 在视频生成潜空间与4D高斯重建模型之间训练适配器,输出带时间、速度和寿命的显式场景。用户可重渲染不同视角和时刻,而不是每次请求另一段视频。其一致性收益有定量支持,但高斯运动不是接触求解器,“实时探索”也不是实时从文本生成完整世界。
图解主要方法
显式高斯让视角和时间可重访,但运动表征距离物理模拟还有多远?

- 1
1 · 用带寿命的高斯表示世界
每个原语保存位置、尺度、旋转、颜色、不透明度,以及参考时刻、持续时间、线速度和角速度。透明度随时间高斯衰减,位置和旋转按速度变化;多个原语共同近似动态。它能表达出现/消失,却没有显式碰撞、质量或守恒约束。
- 2
2 · 先训练视频到4D的重建教师
图2上方4DRM以DINOv2-L/MapAnything初始化,四个头预测深度、高斯外观、动态演化和相机。深度反投影定位原语,以渲染外观、几何和动态正则训练。推理不需要外部深度或位姿,训练阶段仍使用几何标注。
- 3
3 · 让生成潜变量进入几何骨干
图2下方适配器包含闭式岭回归初始化的线性分支和Perceiver分支,后者门控从零开始。16维视频潜变量映射到1024维重建特征,接入DINO第4层而非重做前四层;教师看真实帧,学生只看潜变量,通过特征与几何属性蒸馏对齐。
- 4
4 · 再用渲染误差细化
训练依次是重建20轮、冻结教师蒸馏30轮、渲染细化10轮;最后监督来自VAE解码帧并逐渐减弱蒸馏。生成结束后固定这份4DGS,可从新相机重复渲染;持续时长仍由生成片段决定,长时拼接属于未来工作。
实验与证据
已阅读正文与全部公开附录,核对实验条件与原图;未独立复现。
来源证据共享相机轨迹渲染后,Wan2.2版I2V主体分0.913、审美0.531,对比Lyra0.865和0.459。 表2 · 30场景4D生成 ↗
我的解读视频指标支持外观与主体保持,不能直接证明世界动力学真实。
来源证据Dycheck PSNR14.487、SSIM0.421、LPIPS0.469;DaVis PSNR24.661。去掉最终细化为22.953,只有线性适配为15.409。 表3与消融 ↗
我的解读适配与渲染阶段均有作用;教师某些指标仍更好,生成解码并非无损恢复真实几何。
来源证据30条自然视频轨迹实验多项领先,但闪烁分96.69低于Recam97.64,运动分98.11低于Traj98.79。开放推理实现使用Wan2.1路线。 新视角与系统范围 ↗
我的解读不是所有一致性指标都胜出;论文Wan2.2结果与当前公开Wan2.1推理范围需要区分。
开放情况与使用许可
已核AEON推理代码、MIT LICENSE与实际实现;HF有aeon.safetensors,模型卡明确CC BY-NC 4.0、非商业研究。公开管线为Wan2.1 T2V/I2V,底座与第三方组件各自许可;MIT代码不等于权重可商用。
LICENSE论文与原图 CC BY 4.0;代码 MIT;AEON 权重 CC BY-NC 4.0
我的判断
独立分析 · 未复现实验正方 · 为什么值得投入
显式4D表示把一次生成变成可重访、可编辑的场景,适合研究视频先验怎样进入交互世界表示。
反方 · 哪些结论还不够
遮挡后未见区域可能有洞,时间范围有限,线性/角速度原语不能保证接触物理。论文的机器人模拟应用并未提供闭环任务成功基准;未给足端到端实时生成时延。
综合判断
是生成视频到显式世界的重要接口研究,适合渲染与编辑试验,不能直接当可信物理仿真器。
我会先做的验证
未执行的验证方案:固定一份世界,测试环绕相机重访、遮挡恢复和超过训练时间范围的外推,分别测深度一致性、空洞、身份保持与接触穿透;单列生成耗时和渲染FPS。