Sandwich-Residuals：只改输入输出，世界模型能适应新环境吗

图 1 的两层“夹心”如何在不改预测器的情况下修正动力学？

1. 1

   输入侧同时修正视觉与动作坐标

   视觉特征经过 384→64→384 的残差 MLP，动作经过受当前状态条件影响的线性修正。观测、上下文、目标使用一致的视觉变换，避免规划目标和预测状态处在不兼容坐标中。

2. 2

   冻结主干，但输出再加一次残差

   世界模型保持原权重；视觉预测和本体状态分别经轻量残差修正，再递归进入后续想象。输入侧处理感知/动作接口，输出侧处理转移误差，两侧不是简单重复；冻结参数也不代表梯度无需穿过计算图。

3. 3

   只用刚刚经历的真实转移更新

   每段 episode 重置残差，缓存最近五个转移、以 K=3 窗口做潜变量均方误差；目标停止梯度，每次计划执行后做一个 Adam 更新。不使用任务奖励、成功标签或源训练数据，但需要实际在线观测。

4. 4

   以修正后的模型进行 CEM 规划

   采样候选五个动作块、每块五个低层动作，约 200 候选、30 精英、十轮迭代；执行一个块后重看环境。适应和规划交替，而非先在测试集上无限训练再汇报效果。

5. 5

   把作用范围限制在可表征、相对稳定的变化

   主实验组合相机、外观和动力学变化，并测试新的物体形状；单 episode 内变化基本固定、本体观测不变。如果编码器已丢掉关键物体，输出残差难以凭空恢复信息；快速突变环境仍需另验。

以下为作者报告；已阅读 v1 全文及附录，本站未独立执行研究实验。实验条件与编辑解读分别列出。

作者项目页可访问，展示方法和实验；本次未在所查页面找到正式实现或权重入口，不把项目展示视为代码开源。

LICENSE论文 CC BY 4.0；尚未确认对应软件许可。