HWM:给潜在动力学加上哈密顿结构
长时预测更平滑,是否意味着真实物理更准确?
HWM将世界模型潜变量映射为学习到的位置与动量,以能量函数和阻尼推进,再映回视觉表征。它提供一种动力学归纳偏置;潜在坐标并未被证明对应真实物理量,控制和阻尼也不意味着严格能量守恒。
图解主要方法
长时预测更平滑,是否意味着真实物理更准确?

- 1
从视觉潜变量学习状态坐标
编码后的状态通过可逆近似映射获得q、p,再通过逆映射回原潜空间。往返一致性损失约束两种表示,但不会自动给q赋予米、给p赋予真实动量单位。
- 2
用结构化演化代替无约束跳步
能量由位置相关质量矩阵下的动能与势能组成,另有阻尼项。采用先更新动量再位置的半隐式推进并多步展开;这是一种结构偏置,不能把含控制、阻尼和学习误差的系统描述为严格守恒仿真器。
- 3
联合预测与一致性监督
保留世界模型观测预测损失,加入潜变量往返和多步未来潜状态目标;在SimVP、CtrlWorld及用于策略训练的世界模型中检验,区分视频预测指标、逻辑一致性与控制成功。
实验与证据
已阅读正文与方法、实验相关附录,核对实验条件与原图;未独立复现。
来源证据输入10帧预测60帧,MSE从62.32降至53.03;30步滚动jerk由14.135降至11.401,位置指标6.217到6.212几乎不变。 SimVP长时预测 ↗
我的解读运动更平滑不等于位置显著更准,不能只选jerk来宣称全面物理改善。
来源证据CtrlWorld的EWMBench nDTW由0.670到0.735、逻辑93.3到96.7,PSNR仅10.13到10.16。 AgiBot留出视频 ↗
我的解读动作一致性改善与像素变化很小可同时成立;指标衡量的方面不同。
来源证据Cosmos2.5-2B设置中LIBERO 97.8到98.7,RoboCasa 66.7到68.5;后者24任务×50次×3种子=3600评估。 仿真策略评测 ↗
我的解读RoboCasa是1.8个百分点、约2.7%相对提升,不是2.7个百分点。关炉灶等任务退步,且不是真机结果。
开放情况与使用许可
已访问作者项目页;正文的代码开放声明须与实际仓库内容和许可分开,当前未核实完整实现及权重。
LICENSE论文与原图:CC BY 4.0;不代表代码或权重许可
我的判断
独立分析 · 未复现实验正方 · 为什么值得投入
跨多个基座检查结构化动力学,并报告平滑性、时序匹配和控制结果,提供了比单纯视频观感更完整的证据。
反方 · 哪些结论还不够
没有证明学习坐标的物理可识别性,若干任务反而变差;仿真收益尚未验证到真实机器人和长时接触动力学。
综合判断
可作为改善长时潜在预测的一种结构设计,不应称为已获得可靠物理定律的通用世界模型。
我会先做的验证
未执行的验证方案:在留出接触、摩擦突变和外力扰动上比较相同预算的无结构潜模型;同时报告能量漂移、位置误差及闭环失败,检查平滑是否掩盖快速真实运动。