aiwillknow.AI 前沿观察每日 08:00 开始整理
世界模型全文深读与原图讲解

LeWorldModel动作几何审计:预测变敏感,不代表预测方向正确

在同一仿真状态微调动作,世界模型与真实环境的局部响应一致吗?

IN A NUTSHELL

这项审计恢复同一MuJoCo状态,比较LeWorldModel与环境对微小动作扰动的嵌入响应。模型能捕捉部分各向异性,但方向、幅度和扰动尺度均有明显差距;即便响应Gram矩阵一致,也不能保证预测变化的符号正确,更不等于控制成功。

01

图解主要方法

在同一仿真状态微调动作,世界模型与真实环境的局部响应一致吗?

在同一仿真状态微调动作,世界模型与真实环境的局部响应一致吗?
第3节未编号原图 · 环境与模型的响应椭圆查看大图 ↗
Technological School Electronic Systems(TUES)、MIT,原论文第3节未编号图。SVG转为PNG,图中内容未改动。 · 原始来源与图注 ↗ · CC BY 4.0(论文及原图)
  1. 1

    1 · 固定状态构造反事实动作

    冻结视觉编码器与世界模型,在相同仿真状态恢复后,对归一化动作各维施加±h扰动。输入3帧历史、5动作块,比较相同预测时间;Reacher保留458锚点、42个因边界排除,Cube为500锚点。

  2. 2

    2 · 有限差分估计局部响应

    用中心差分得到动作到潜在视觉特征的J,计算G=JᵀJ。trace衡量总响应幅度,按trace归一化后的Gram描述方向形状;原图蓝色环境、橙色模型椭圆展示的是这种局部差异,不是物体运动轨迹。

  3. 3

    3 · 同时看形状与增益

    归一化会消去幅度,所以必须另报绝对方向响应误差,并在未用于坐标差分的8个方向测试。若J模型恰为-J环境,Gram完全相同但运动效果相反;单一二阶几何分数不足以判断动作后果。

  4. 4

    4 · 扰动尺度和恢复协议也要审计

    h取0.001、0.003、0.01,放大十倍会大幅改变差异。作者记录了恢复/对齐修订、重放阈值和中断后原配置重试;主要结果应视为有限尺度探测,不能直接命名为无穷小真实导数。

02

实验与证据

已阅读正文与方法、实验相关附录,核对实验条件与原图;未独立复现。

来源证据Reacher/Cube主方向夹角约36°/42°,归一化Gram差约0.465/0.508;每环境仅一个checkpoint。 正文主结果 ↗

我的解读存在可测响应结构,但不支持已学准局部动作因果几何。

来源证据h放大十倍,形状差约下降70%/47%;跨尺度一致性较弱。 尺度敏感性 ↗

我的解读改善可能与渲染器、编码器和有限差分尺度有关,不能单独归因于动力学学习更好。

来源证据模型形状差0.508优于各向同性0.609,但幅度WAPE 56.4%差于38.2%;借用环境trace的oracle为32.3%。 Cube与各向同性基线 ↗

我的解读形状改善不保证幅度预测好,oracle用了真实环境信息,不能当可部署方案。

03

开放情况与使用许可

已阅读主文及方法、尺度/重放相关附录;本次未确认作者独立审计实现的正式公开入口。正文椭圆图未编号,按原节位置标注,不编造图号。

LICENSECC BY 4.0(论文及原图)

04

我的判断

独立分析 · 未复现实验

正方 · 为什么值得投入

共享冻结编码器、恢复同一状态与分开报告形状/幅度,为世界模型动作敏感性提供了细于视频观感的检查方法。

反方 · 哪些结论还不够

只有两个环境、单checkpoint,未做闭环控制;有限差分可能放大渲染和编码噪声,Gram还丢失符号和输出方向信息。

综合判断

有价值的失效诊断工具;应与带符号响应及策略执行并用,不作为世界模型已可控制的单独认证。

我会先做的验证

未执行的验证方案:增加多个checkpoint和训练种子,冻结状态分别改变相机、渲染精度和h;比较完整J方向、幅度、Gram与MPC回报,并加入J反号的反例验证指标盲区。

继续探索世界模型