world2vec:不重建像素,也不靠奖励学习动力学表示
可预测潜空间能否同时用于规划和可解释动力学发现?
用神经微分方程预测编码后的未来状态,再以对比或分布正则防止表示坍塌。三种视觉控制任务中两种优于对照,但Cartpole明显落后;符号方程恢复依赖更理想化的数据条件,应与视觉控制分开看。
FIELD NOTES / 03
关注可交互、可预测的世界,以及它们如何服务决策和训练。
EXPLORE THE FIELD
可预测潜空间能否同时用于规划和可解释动力学发现?
用神经微分方程预测编码后的未来状态,再以对比或分布正则防止表示坍塌。三种视觉控制任务中两种优于对照,但Cartpole明显落后;符号方程恢复依赖更理想化的数据条件,应与视觉控制分开看。
重访场景时如何少漂移,9FPS又对应什么硬件和质量代价?
在持久3D高斯中同时保存几何与VAE特征,按可见区域修正旧记忆、在缺失区域新增,再直接渲染扩散条件。快速版H100端到端9.02FPS,静态场景重访更一致;“无限世界”仍需随探索范围增长的存储。
Lean通过的证明,什么时候仍然不能转移到真实游戏?
这项工作让智能体在交互中建立可执行规则,再把模型形式化为Lean定义与证明。最重要的边界是:证明对模型成立,与模型覆盖了游戏所有合法行为,是两件事;论文的封闭关卡实验也出现过转移失败。
保留每个地点的最近一次观察,能否恢复长间隔重访记忆?
研究把世界模型记忆拆成模型本身与外部上下文整理。冻结模型前面加一个按地点压缩历史的harness,能明显改善合成房间世界中的长间隔重访;这里的空间坐标和可重排路径先验很强,尚不是通用视觉记忆。
交替文字与相机控制时,如何保留历史而不重演旧动作?
8B视频世界模型将持续场景描述和有时间范围的动作指令分开,再用分段因果注意力生成后续画面。它支持同一会话交替文字和相机输入,但生成视觉连续性不等于物理状态正确。
预测动作所需的状态变化,能否改善潜空间规划距离?
SWIM 不直接增加推理模块,而先用离线轨迹学习状态维度权重,再让图像latent距离对齐加权状态距离。它针对均匀状态监督重复计算冗余坐标的问题,结果是稳定但较小的默认配置规划增益。
跨形态视频预训练如何变成策略训练数据,又留下哪些错配?
模型从人类、机器人和仿真视频提取共享潜动作,训练动作条件视频生成器;适配目标机器人后,用数字遥操作或首帧编辑生成训练数据。论文也明确承认:动作重定向与生成视频是两个过程,时间对齐不能保证物理一致。
语言形式的执行世界模型,何时能省掉昂贵的机器学习试验?
MLE-World 将Python程序、环境和预算映射成异常、终端输出与验证指标,作为机器学习智能体的执行预测器。它属于程序环境世界模型,不是物理视频生成;代理仍需真实执行候选来确认结果。
长视频记忆提高实体召回,同时损害排除与状态更新
这项受控研究把历史检索与生成闭环分开:真实电影测选帧,30个自写故事测历史如何改变后续视频。相似度检索通常让应出现的实体更常出现,却也带入已过时的外观和不该出现的对象;“像以前”不能代替“符合现在”。
辅助系统能否在帮助完成动作时,避免与驾驶者争夺控制?
Dream2Assist 在潜在世界模型中同时建模驾驶者和助手,并预测人类意图,用想象轨迹训练辅助策略。人机研究显示意图感知能缓解部分冲突,但与无辅助相比并没有一致的安全或任务收益。
显式视角与累积控制变换如何帮助交互视频切换观察方式
交互视频中的“前进”会随第一人称、第三人称与自由相机而改变含义。World-in-Context将视角类别、动作和相机控制统一为上下文token,再用Interaction-Transport RoPE把沿时间累积的控制关系写入注意力;输出仍是生成视频,尚非可验证物理状态。
可解释动作潜变量,能否让机器人视频预测更可迁移?
把潜在动作分成骨架约束的运动部分和补充视觉残差,再适配机器人动作驱动视频模型。DROID预测改善,但另一机器人域有退步,策略评估成功样本仅九次。
从粗糙色块到风格画面,怎样避免漏画、错位与实体幻觉?
该方法把引擎输出的粗几何或语义图当作视频控制信号,微调MiniMax-H3生成精细游戏画面。这里纳入世界模型方向,是讨论显式状态与生成渲染的分工;它没有替代游戏规则或物理引擎。
独立考试能定位能力缺口,但为什么不能直接解释一次闭环失败?
Dual Exam固定参考环境测Agent,固定动作干预测世界模型,试图将行动选择与状态演化分开描述。其价值在评估设计与证据边界;榜单混合不同任务、预算和评分方式,不能把两个总分相乘估计协同成功,也不能将单次150例零成功推广为所有系统无效。
在同一仿真状态微调动作,世界模型与真实环境的局部响应一致吗?
这项审计恢复同一MuJoCo状态,比较LeWorldModel与环境对微小动作扰动的嵌入响应。模型能捕捉部分各向异性,但方向、幅度和扰动尺度均有明显差距;即便响应Gram矩阵一致,也不能保证预测变化的符号正确,更不等于控制成功。
同一组patch token怎样兼顾状态、语言与重建?
ALPS用静态图片和文字训练视觉状态编码器,冻结后的token可供机器人策略、动力学预测和图像解码使用。它提供的是世界模型的视觉基础,而非一个已验证的语言指令到规划到像素检查的完整系统。
训练时增加未来块预测,能否减少视频模型依赖局部重复?
Future Chunk Prediction 在自回归视频模型的中间层增加辅助分支,要求当前块的表征预测不同距离的未来块,推理时移除分支。Physics-IQ上的一致性提升支持这类训练约束,但结果仍是视频续写指标,不等于获得可控的物理模拟器。
先定位运动信息流失的层,再用三维状态变化约束适配
CausalAlign研究生成视频中的自运动信息如何在网络中丢失。它先用探针与干预定位相关层,再把三维教师的连续状态差映射到视频模型特征,最后只用LoRA对齐选定层和去噪时刻;推理不需要额外三维缓存。
显式高斯让视角和时间可重访,但运动表征距离物理模拟还有多远?
AEON 在视频生成潜空间与4D高斯重建模型之间训练适配器,输出带时间、速度和寿命的显式场景。用户可重渲染不同视角和时刻,而不是每次请求另一段视频。其一致性收益有定量支持,但高斯运动不是接触求解器,“实时探索”也不是实时从文本生成完整世界。
统一视觉、触觉与任务状态后,能否更准确评估和改进机器人策略?
PhysCanvas 把RGB、光学触觉、标记位移和任务状态排成同一画布,利用视频模型共同预测,再以场景、跨模态和结果一致性校正。四个真实双臂任务上,模拟与真实成功率的相关性提高,想象空间后训练也提升了真实平均成功率;但触觉事件指标并非全部改善。
把动作说成文字,能否统一不同机器人的世界模型?
语言化数值动作与视觉变化,结合冻结视觉编码器和语言骨干预测潜在未来。跨域规划与策略实验积极,但仍依赖数值动作、不同编码器选择及限定对照。
视频系统能否在长会话中执行、保持、取消和恢复指令?
StreamEval 用300个带时间线的任务评估对话数字人、表演、世界生成和两类视频编辑,显式记录每次控制是否执行及状态是否保留。它揭示短片视觉质量与持续交互可靠性的差距;自动裁判校准、输入差异和论文与当前代码的协议变化都限制榜单横比。
多视图视频生成能否用持续的三维点身份约束运动?
Video-Point Model 在Cosmos3-Nano上联合学习多视图未来视频和三维点轨迹,并扩展到动作预测。点轨迹给生成过程增加几何监督,实验显示运动指标和部分机器人得分改善;但校准相机、较重推理和非商业许可仍是部署条件。
卸载远处几何之后,怎样保证回访仍是同一个世界?
WorldStream把区域计划、对象身份与编辑记录放进持久状态,再按玩家接近程度编译局部几何。它是显式程序化世界系统,研究重点在连续生成、持久修改和异步一致性,不是视频模型学会了物理规律。
与人类相关性更高,是否意味着已经能可靠筛选训练视频?
RoboJudge将生成操作视频的物理可信度与指令完成度分成两轴,并训练9B视觉语言裁判。整体人类评分相关性达到0.719,但这是相关系数,不是71.9%的正确率;物理评分相对最强基线的置信区间仍跨零。
把人的第一视角经验用于机器人移动与操作,会迁移什么
Ropedia W0将移动表示为相机射线图,将操作表示为投影骨架,用同一条件接口训练人类和机器人第一视角视频预测。研究构建约1万小时人类、3000小时机器人数据,并报告低数据适配、长视频及策略评估结果。跨本体共享接口较明确,但视频预测、任务进度与真实成功率必须分别理解。
相同画面与动作,如何因隐藏状态不同而得到不同结局
系统把库存、生命值等隐藏状态放在显式账本中,由固定程序决定动作后果,再编译成视频生成指令。WorldState-Bench使用50组反事实双胞胎:首帧和动作相同,隐藏值不同。它主要检验渲染结果是否遵守已知规则,而不是学习未知物理规律。
画面像真的,是否意味着对象持续存在、动量和能量也合理
PVBench用600组配对文生视频和图生视频场景,评估46个维度,其中25项聚焦物理。它把分割、深度、法线、姿态与运动追踪组合为对象级测量,再检查几何和动力学关系。总体人工相关性较好,但各维度可靠性差异很大,生成失败和无法评估样本的分母也需要单独阅读。
只收成功示范,是否让模型学会忽略控制指令?
专家总在特定状态选择相似动作,世界模型可以靠状态猜未来而不用理解动作。AIM主动收集能揭示动作影响的转移,用更有区分力的数据改善可控性,而不是单纯扩大模型或继续堆专家示范。
显式几何记忆能减少回看时的场景漂移吗?
PPMem 在生成每段视频时同时预测平面几何,把它们融合到持久记忆,再从下一相机位置投影作为生成条件。它为视频世界模型加入了可检查的空间状态,但平面池很小不代表整套推理只占几 MB,也没有直接解决动态物体与材质资产。
多视角世界先验能否弥补机械臂的遮挡?
AWAM 从初始观测生成一组虚拟视角,把世界模型的中间特征压缩成动作策略可检索的记忆。它主要想象同一初始场景的其他观察位置,不是预测执行动作后的未来;一旦物体实际移动,固定记忆也可能过时。
长任务的收益来自哪些模块,哪些只是小幅增量?
LAW 让视觉语言模型承担计划、状态监测与价值估计,再与世界动作模型共同完成长任务。其关键不只是生成未来,而是异步子任务状态、候选动作选择与历史记忆的配合;复杂开放基准中的绝对成功率仍很低。
通过多相机参考状态协调时间与视角,避免每条相机轨迹各编一个未来。
Momentum 把世界更新与观察者画面分开:多组全景相机持续产生参考视频,目标相机从同一时刻的参考生成视图。这样多条观察轨迹共享一个动态背景,而非只依赖静态记忆。论文报告动态语义一致性相对翻倍,但绝对分仍低,且不等于物体身份或物理运动正确。
从首个无效状态追踪后果,能否少改画面而改善运动?
PhysRepair先生成视频,再让智能体诊断物理错误,把局部模拟转成修复条件。它强调保留已正确内容,并记住成功修复经验;公开实验显示运动一致性改善,但不能证明生成视频满足完整物理定律。
把布置、遮挡泄漏、揭示动作与物体匹配分开评分。
视频记忆测试常把开盖失败和物体遗忘混成一个错误。MIST将它们拆开,M3-Agent只改当前失败动作的提示。主要结果揭示了评测瓶颈,同时也提醒:带答案改提示、用最终评分择优,不能证明模型真正记住了对象。
画面更连贯,是否也意味着几何更真实?
从真实带位姿视频制造失真对,训练独立视频扩散校正器修复生成序列。重投影指标有所改善,但若干感知指标下降,且公开版本与主实验架构不同。
长视频世界模型能否保留全部历史,却只读取当前视角需要的部分?
Velox 在 LingBot-Fast-Cam 上增加免训练的几何辅助稀疏注意力:保留历史 KV,利用流式三维估计选择相关块,再由模型自身的重要性补足几何盲区。它降低长上下文的去噪开销,但不解决历史缓存持续增长。
压缩的几何状态能否预测未来,再从指定视角读出深度?
GeoState 将多视角几何特征压缩为场景状态,单独预测其时间演化与相机运动,再用查询相机解码未来深度。核心是减少“观察位置改变”对世界状态的扰动,而不是直接生成RGB视频。
可编辑规则与对象纹理记忆怎样连接,现有证据又缺少哪些关键验证?
Mallea提出让代码代理负责对象、属性和运行规则,生成渲染器负责外观;纹理按稳定对象身份保存,避免离开视野就遗忘。但论文目前主要给出定性场景和机制图,定量基准、消融及效率证据仍不足。
不更新模型权重,改进工具调用与证据解释能带来多大收益?
CoWorld把换视角、插帧、续写和干预封装为视频工具,再逐阶段改进调用技能与执行代码。七个基准加权总分从58.29升至59.69;收益不均匀,生成视频依然可能制造似真却错误的证据。
用一两条观测轨迹校准环境,再预测不同候选动作的结果。
世界模型进入新环境时,摩擦、重力和物体属性可能不同。T2-z 将这些变化压进32维环境潜变量,测试时固定大模型、只用少量支持轨迹优化这个向量,再在独立查询动作上预测。价值在于便宜的环境校准,而非从零识别完整物理定律。
用分级验证奖励训练图像生成与编辑,但“得分高”不等于完整任务解对。
规则图像编辑要同时满足多个状态条件,单一对错奖励很稀疏。OmniVerifier-C1 将要求拆成原子检查,以满足比例训练验证器,再用验证奖励优化生成模型。本篇归入世界模型的状态转换评估:它不预测通用物理动态,重点是如何判断生成的下一状态是否遵守规则。
把感知与知识检索拿掉,用可执行网格检验长程状态模拟。
如果初始世界和每一步规则都明确给出,模型仍可能在长序列中丢失状态。Grid-Bench 用二维到四维的符号网格,把运动、反射、重标记等过程变成可精确核对的下一状态计算。它衡量语言模型的内部世界模拟,而不是视觉生成质量,也不与大模型栏目重复计数。
只记旧画面,怎样处理镜头之外已被动作改变的内容?
StateCraft 用语言模型维护视图与元素组成的显式状态图,视频模型据此生成当前界面。以文件管理器为主场景,它改善重复访问时的内容一致性,并支持直接编辑隐藏状态;其结果依赖预定义结构和首次访问提示,尚不是自主发现世界规则的通用模拟器。
同伴走到背后以后,生成世界还能维持其状态与身份吗?
PAWA 先把Minecraft多人的行为记录与GPU渲染分开,再联合预测每个玩家的第一视角和固定世界朝向全景。两路模型以世界坐标中的观看方向对齐注意力,用旋转身份编码绑定玩家动作;采集可超过64人,但模型实测最高16人。
如何把输入保真、生成内容的持久性与三维自一致性分开测量?
Orbia 为相机控制世界模型构造具有空间回访的720个测试案例。它不仅看画面是否漂亮,还分别追问输入中已有物体是否保留、新生成物体再遇见时是否相同,以及不同视角能否解释为一致三维结构。
过程、因果与一致性分别评分后,生成系统还剩哪些缺口?
WorldCast用320个案例、1352个目标视觉状态检验多步骤生成,把任务完成、因果合理和视觉一致性分开。高分系统仍会漏部件或跳过关键阶段;72.8是综合评分,不是任务成功率。
统一生成三种模态,是否能让世界预测和闭环控制共同受益?
Thinker-WM在Wan2.2 TI2V 5B基础上统一RGB、深度和动作的流匹配建模,通过不同条件组合兼容世界预测、动作推断和联合生成。其深度交互消融显示模拟控制收益,但广泛视频评测、有限闭环实验与真实机器人部署证据必须分别看待。
潜在世界模型只是训练辅助,还是能在执行时帮助选择动作?
WAVE-0在π0.5中接入257M参数的潜在世界模型:先用真实动作学习未来特征,再让VLM规划出的潜在动作经世界模型变成未来条件。它不用生成视频像素,但完整策略仍约4.3B,且预测误差与真实控制可靠性不能画等号。
静态场景记得住,是否也能记住镜头外正在发生的变化?
WorldMemBench 用离开再返回的轨迹分别评估人物、物体、环境与动态事件。260个案例将静态保留、事件推进、画质和相机执行分开报告;固定初始参考可暴露反复回访后的累积漂移,而事件启动门槛揭示“没有发生”与“发生后忘记”是两种失败。
跨任务的LiDAR生成如何做到长时滚动,已发布权重又覆盖哪些传感器?
用统一距离图tokenizer、条件扩散和持久空间缓存,把LiDAR生成、预测与重仿真放进同一框架。四步因果学生在H100约11FPS;当前公开PAI权重不包含论文的强度与跨传感器检查点,也未证明驾驶闭环收益。
世界模型的层级结构什么时候有用,什么时候只是增加复杂性?
MHWA保留JOWA的视觉token和离线价值学习接口,在上层按步长取样上下文、下层按当前状态动态路由专家。三种子匹配实验支持其在14款Atari上的效率与成绩优势,但长程稳定性只测到50步外推,也没有验证真实连续控制。
跨领域复用更新协议,但各实验并未都验证策略与世界模型共同递归进化
世界模型先预测候选动作后果,再把有限外部反馈用于选择与更新;只有通过组件和组合检查的新版本才保留。论文最有价值的部分是明确预测与观测、状态变化与模型更新的区别,而不是已经证明无限自我改进。
训练时以三维高斯渲染补齐动作后果,推理时只输出轨迹
驾驶日志只记录实际走过的一条路,不能给另一条候选轨迹直接套用原视频。SimVTA使用World Engine沿执行后的候选路径渲染监督,再让视频损失更新与规划共享的表示;这种训练监督作用与推理时看视频选路不同。
压缩视觉、文本和动作接口后,单次前向同时输出动作与未来图像
从 Cosmos Policy 蒸馏出约0.88B参数的世界动作模型,保留未来图像预测能力,在A100上将观测到16步动作块的延迟压至57毫秒。预测画面没有反馈到动作决策中,因此不能将其描述为基于想象进行规划。
可识别的是子空间;配对覆盖、白化和全局预测最优缺一不可
SplitJEPA把预测表示和配对不变性结合:前者保留完整状态,后者决定哪些方向在相关观测间应保持不变。论文在受限高斯动态下证明两个潜在子空间可识别,并以合成系统及两种机器人仿真验证。它没有证明真实世界因素逐一可解释,控制测试的10cm阈值也应单独看待。
用分数曲率蒸馏高斯管道,减少反复采样;不等于获得真实世界安全保证
SCOPE在多模态扩散轨迹周围预测结构化精度矩阵,以低成本获得随时间变化的协方差。它既能表示行人的未来占据风险,也能为机器人MPPI控制分配探索方向。关键价值是让世界模型提供控制可消费的风险接口,而不是只输出几条看起来合理的未来。
四模式JEPA与噪声球面投影改善平均控制,不能保证所有候选都在真实策略分布内
这篇LeWAM从像素端到端训练单向量JEPA表示,用一个双向Transformer承担前向、后向、逆动力学和策略。规划时不直接搜索动作,而搜索经策略流解码为动作的噪声方向,再由世界模型预测到检索目标的潜在距离。它与其他同名LeWAM是不同论文。
共享视觉编码、四时域预测与保守替换;快于视频模型仍慢于直接策略
LiteNWM给冻结导航策略增加一个潜在空间评估器,比较16条候选与原始轨迹的预测后果,只有满足校准门槛才替换原方案。它避免生成未来RGB视频,在三组离线数据与Go2机器人上改善导航,但仍依赖提案覆盖、标定阈值和预设视觉目标。
先校准视觉动作,再用三类缺陷奖励后训练;物理可信仍受图像视角限制
DreamTrue把机器人动作渲染成多视角条件,通过离线几何校准减少动作与图像错位,再扰动动作末端构造没有真实未来的反事实样本。人类缺陷标注训练的奖励模型对机器人、物体和交互分别评分,推动视频生成器减少虚假抓取成功和悬空物体。
PRISM用逆动力学与特征重建学习目标;65倍特征压缩不等于65倍Transformer缩短
MiniWAM先从当前与未来视觉特征学习PRISM紧凑表示,再冻结编码器,把这个表示作为世界动作模型的预测目标。逆动力学监督保留动作相关信息,特征重建保留未来内容;第二阶段同时去噪未来表示与动作。0.25B策略在多项仿真中有竞争力,但模型尺寸不包含冻结视觉/文本编码器,加速也不是从原始视频开始的端到端计时。
联合预测不是额外的物理保证;三路径训练与状态目标存在明显交互
高层策略给出关节参考,不等于低层全身控制器最终执行到的姿态。HWAM把下一采样时刻的本体状态与当前参考动作拼成联合生成目标,同时训练从轨迹预测视频、从视频重建轨迹、只看当前观测生成策略三条路径。三个OLI真机任务取得最高观察成功率,但状态监督单独加入另一种视频训练配方反而降分,证据支持组合设计而非状态预测总会改善控制。
1.7B世界动作模型;公制坐标减少视角歧义,直接控制却无需预测未来场景
Unitas让图像特征、机器人或人手的点轨迹、环境点的位移在每个预测窗口内共享公制坐标。它把不同帧率的一整条点轨迹压为一个token,用几何动力学专家学习动作流和场景流,并由另一个动作专家输出可执行命令。仿真显示较好的视角鲁棒性和场景位移预测,但纯策略推理跳过两种未来点流;优势主要说明几何监督有用,不能等同于每次控制都在做三维规划。
Push-T中的共享序列监督,尚不是通用空间智能或显式规划
这项工作把推杆、T形物块、目标轮廓和动作目的地离散成同一128×128网格的坐标词,再用手写语法组织为序列。随机交互先训练动作条件下的状态预测,专家示范再联合监督动作和状态;执行时只解码动作,真实观测持续更新历史。在一个平面推物任务上,状态监督与随机交互预训练均带来真机成功率提升,但标定、已知几何和对照配置限制了泛化结论。
以占据预测的可信度决定观测时机;逐体素97%不等于轨迹97%安全
ALONE把局部空间表示为量化几何模式上的概率分布:动作让信念随自运动推进,新深度图再纠正;另一个解码器估计每个占据体素是否预测正确。规划器选出的候选动作若因低可靠区域而受阻,并且相机能看见该区域,才请求深度。两种仿真场景达到98%/97%成功,成功回合深度请求中位率0.9%/1.3%;实机10次规则室内飞行全成功,但仍依赖持续位姿估计和更保守的观测设置。
背景变化下规划改善,迷宫换布局全线下降;四组命名还不是因果可辨识证明
CausalDreamer 保持视频tokenizer冻结,用四个投影头将其潜变量重编码为可控/不可控与奖励相关/无关的组合,再微调MMBench2动力学模型。熟悉任务和部分视觉/物体变化上的归一化回报提升,但新环境仍接近或低于随机,且动力学阶段没有维持四组的结构限制。
链路距离给全局注意力一个稳定先验,减少长滚动中的长度漂移
在GraphGPS的全局注意力logit上加入可学习强度的负距离偏置,分别比较链路距离、欧氏距离及分头组合。局部GatedGCN负责相邻节点,全局注意力捕捉长程交互;不把拓扑近邻与空间接触混成一个距离。
固体到气体的单向耦合,不是完整双向流固物理模拟
分别训练固体和气体点轨迹扩散器,再通过带门控的跨相注意力让气体读取固体运动。预测点投影为轨迹控制图,交给冻结视频模型生成外观;物理条件由用户给定,非从照片完整辨识。
从22M到8B预测器,以目标图像搜索动作;规模规律受编码器、数据和评测条件约束
RoboJEPA冻结视觉编码器,训练带动作、本体状态和相机身份的潜在预测器,再用交叉熵搜索寻找接近目标图像的动作序列。其规模实验连接了离线预测误差与机器人规划收益,但真实控制依赖较重搜索,个别任务并不随参数单调提升。
从动作条件转向共享运动表征;灵巧任务增益46.7%是相对值,实际成功率15%到22%
LAC-WM从相邻视觉状态推断连续潜动作,以运动解码监督和交叉增强限制视觉捷径,再把未见机器人显式动作映射进共享空间。三类人/机器人数据预训练后,在新灵巧操作形态上选择VLA候选动作的平均成功率为22%,显式动作模型为15%;修改后的LIBERO为92%对82.4%。这些结果来自仿真与有目标示范的动作筛选,并非无需标注的零样本实机迁移。
40项实验把视觉连贯与物理关系分开,评分仍受观测与阈值限制
该基准用40个受控图生视频任务测试九类物理现象,通过跟踪、分割、几何与时序测量,把周期、角度、液位等量与明确物理关系比较。VLM只负责一致性/可观测筛选,物理分独立测量,再经过门控形成总分;它提供诊断证据而非通用物理正确性认证。
一次生成多步状态增量,程序保留不变事实,再监督中间结果
latent-SR先把历史编码成文本状态,再一次生成未来每步行动对应的稀疏修改,由程序重放得到各步状态。训练既奖励末端预测,也检查中间状态,并比较状态路径是否比直接使用历史更有用。它减少跨调用递归回灌的误差,但仍在自回归生成token,不能理解为消除了所有错误传播。
深度历史、相机运动与投影锚点共同预测指定时刻;并非动作条件模拟器
GeoWM先把最近五帧转为深度和相机轨迹,再将最后一帧几何投到预测视角,作为流匹配Transformer的条件。各未来时域直接查询,共享历史而不递归生成中间帧。四类数据上的深度预测较强,但独立预测未保证跨时刻一致性,且没有控制动作输入。
无需重训的历史摘要检索;12倍节省针对历史状态,不是整机显存
HLA-WM把Gated DeltaNet每段历史的状态变换单独缓存,按相机视锥重叠挑选相关片段,再按时间顺序重组当前记忆。它无需微调即可改善长视频回访一致性,但仍保存随片段数增长的摘要库,也没有建立遮挡后物体演化的物理状态模型。
上层决定慢变化的子目标,下层细化动作;真实视频实验测轨迹相似度,并未执行机器人闭环
H-JEPA把动作条件JEPA叠成不同时间尺度的潜在世界模型,先规划高层子目标,再向下细化到实际动作。AntMaze成功率从单层18.0%提高到三层73.3%,但Push-T三层反降至17.3%。论文还解释了一个关键失败:表示可以记住静态背景、满足分布正则,却完全丢掉机械臂运动;DROID因此需要逆动力学监督。
同起点受控续训支持局部改善;公开权重尚未对应论文成绩,公开训练目标也未含TAWD
KineWorld把给定动作经机器人渲染转换为图像平面光流,一路作为Wan世界模型的干净条件,另一路分配未来RGB训练损失。它的主要证据应看同一起点、相同数据顺序的50步续训:1000配对事件上EWM提高1.75分,而不是把不同设置的基线到最终模型约20分变化全部归于加权。
随机JEPA与方差奖励提高部分导航成功率;预测分散不等于已校准的信息增益
EpicWorldModel将确定性的未来特征回归改为条件流匹配,在潜空间采样多个未来,并在CEM规划时奖励预测方差。PointMaze改善明显,复杂动作空间收益较小。RoboCasa遮挡分组支持探索有用,但仅六个强遮挡样本,且理论上界和采样配置存在需要澄清的细节。
前向查询即可估计局部扰动,但补偿通道仍需任务先验
SDOB把部署偏差分为两类:同一动作产生不同状态,以及同一查询位置的代价因环境变化而改变。前者采样任务定义的扰动并匹配真实反馈,后者像光流一样匹配相邻时刻代价场,再把估计插入MPC的状态传播和未来代价查询。
四种技能接口对照揭示:低层策略能做,不等于规划器能找到
研究把完整流匹配动作块作为世界模型的一步,对比纯噪声种子、学习离散码、对象中心码和符号标签四种接口。相同任务与技能示范下,纯种子在单技能任务仅8%成功,对象中心接口达92%;但长程性能仍受候选生成和搜索限制。实验只覆盖准静态仿真积木,不能据此推断实机通用操作能力。
训练时预测深度、语义与腕部位姿;几何闭合约束不等于可独立运行的物理模拟器
ForeAct3D从VLA共享特征中解码当前与未来三维场景,并让未来查询读取策略生成的动作块,以背景静止、实例刚性和末端运动学约束训练表示。推理只输出动作,不必生成未来。LIBERO平均成功率从96.6%到98.3%,CALVIN平均连续任务数从2.94到3.73;真实机器人总成功从3/45到17/45,仍有明显失败空间。
单词元并非无损视觉压缩;想象训练优于若干对照,但没有实测端到端加速和真实机器人验证
DreamFormer先用CALVIN自由操作数据训练无任务奖励的Transformer世界模型,再让策略在潜在空间想象,并以与专家轨迹的相似度为奖励。两个相机的观测压成每时间步一个Transformer输入位置,减少长想象的序列长度。D→D平均完成任务链2.52,略高于LUMOS的2.34;ABC→D为1.30,超过HULC的0.67但仍远低于较强预训练方法。
把几何、运动与功能分别评分,并审查评测分母和执行条件
编码智能体从单段RGB视频编写场景与机器人控制,在模拟器中观察自己的执行并修正,最终冻结场景—行为包接受隐藏评测。核心问题是可执行交互是否重现,而非仅输出相似视频。
Voyager报告5.22倍加速;这是有质量折损的缓存近似,不是实时物理仿真
SpectralCache对扩散世界模型最后一层特征做低秩SVD,复用子空间和残差,仅外推或缩放奇异值,以跳过昂贵的Transformer。两种模型的视频生成报告5.22倍和2.20倍加速;Aether的三维重建另为3.45倍。效果支持训练免费缓存,但不保证物理正确性,也不能混用三种速度数字。
用动作锚点约束视觉抗扰训练;表征不塌缩并不代表已经理解完整物理因果
AVL-JEPA针对一种更隐蔽的世界模型失败:潜特征维度很丰富,却没有保留动作如何改变物理状态。它先从真实前后状态的潜变化预测执行动作,再冻结该动作头,用干净与加噪观察共同预测干净未来。部分模拟任务在强视觉干扰下大幅改善,但因果措辞应与有限动作库、模拟评测及训练配置歧义区分。
残差预测加log-det防坍塌,理论保证依赖确定性与可逆转移条件
CTWM联合训练图像编码器与动作条件潜变量预测器,让相邻状态既可预测又保持较小位移,再用协方差log-det避免表示坍塌。目标是让距离体现环境连通性,而非画面相似度;随机游走往返时间也不同于最短路径或最优控制代价。
主视角与全景观察者联合生成,区分物体重现和运动真正延续
模型把透视主视角和低分辨率全景观察者放入同一个视频Transformer,同一时刻的token交换状态。全景初始图的几何投影提供对应关系,四个高分辨率透视裁剪保留外观。它改善镜头外物体重现后的运动一致性,但“观察者”也是生成的视频,不是新获得的真实观测。
五环境比较与混合训练;预测文字相似不等于帮助智能体拿到奖励
研究比较微调、检索增强和简单提示构建文字世界模型,用同一冻结策略提出五个动作,再评价预测后果来选择行动。混合方法在训练时学习读取异回合经验,并先按观察再按动作检索;多数设置收益更高,但任务奖励、语言裁判与训练披露限制了结论外推。
排序器兼任候选分布生成器;距离变小不代表规划判断改善
研究把CEM规划中世界模型的两个角色拆开:对当前动作序列打分,以及通过精英集改变下轮采样。四种代理模型交叉重评分,再仅用真实环境替换第一次精英选择,检验早期候选分布如何影响最终选中序列。原本预期的提案距离增长没有出现,距离分量揭示了另一种收缩掩盖误差的机制。
组合训练改善逆关系与交换规律,周期性和深层推导仍失败
模型记住局部转移,不一定能推出约束蕴含的未见转移。论文构造有逆、交换、组合和周期规律的有限世界,在相同路径上对比下一状态与隐藏中间状态的组合训练;后者更会传播部分规律,但深证明链、周期性及分叉图仍暴露明显边界。
16FPS使用8张H20;长视频一致性仍不等于持久物理世界
WorldPlay2把逐帧导航与场景、人物、事件提示分开编码,再用压缩历史支持自回归生成。Stable Forcing通过长rollout回放进行少步蒸馏,减少生成漂移;结果显示控制与长程质量改善,但吞吐依赖多卡系统,事件评分和记忆压缩也仍有代价。
动作可恢复的潜在表示,能否同时避免坍缩并加快控制?
这篇9月28日首发、10月27日修订的工作把潜在动力学设计成适合优化控制的结构,并用动作可恢复性约束表征。新稿的关键细节是实际模型含归一化和规划残差,控制器还在低维相干动作空间使用有限差分,不能简化为纯解析双线性求解。
一比特可保住最后决策,却可能在早期搜索中丢掉好候选
论文把物理机制、候选结果和最终决策需要的信息分开:粗决策可能不需要完整预测,但搜索好动作往往需要更丰富反馈。碰撞、双摆、Push-T和PushCube实验支持按规划阶段分配信息,并把目标引导候选与目标无关的物理预测分开。
用可执行世界分开测量维护、规则演绎、闭环预测和反事实
World Agent将世界能力拆成两条评测线:把连续叙事维护为结构化、可审计的世界,以及在确定性引擎中预测状态变化。它不评画面是否逼真,而是检查事件发生、先后依赖、并发关系及行动后果。多模型能维持部分表面状态,却仍会丢失事件链和长时预测。
固定策略提出候选,再按团队回报排序;部署需要集中观察
MA-WAM不重新训练部署策略,而让冻结的多智能体流策略提出多组联合动作,再用能交换跨智能体信息的世界模型预测回报,选第一步执行。实验显示排序有价值,但候选生成才是主要延迟,且集中式测试设定不能直接推广为分散机器人协作。
420倍衡量事件预算收益,不是精确动力学或墙钟加速
局部原子构型相似,不代表此前的演化路径与后续等待时间相同。AtomWorld-Mem把局部空间描述、近期动作与长期记忆结合,再在合法空位交换事件中选择方向,提升有限事件预算内的能量下降;执行仍依赖完整状态模拟器。
分阶段几何条件、因果历史与少步蒸馏
HelloWorld 将 2B 视频先验逐步适配到七相机驾驶观测,用独立的相机位姿与场景布局控制合成未来,再扩展到 LiDAR。它是一套可控观测生成系统:轨迹由外部提供,不等于学会车辆动力学或已经验证反应式交通仿真。
残差动力学与动作恢复,面向反事实 MPC 排序
低平均预测误差可能掩盖不同动作之间的重要差别。AD-WM 用残差潜动力学和训练期动作恢复目标,逼迫预测保留动作导致的变化;部署仍用普通 CEM 搜索,不额外运行这些辅助头。
省去前向动力学搜索,但路径的可执行性依赖训练分布
Representation World Model 不反复展开候选动作的未来图像,而是学习一种状态表征:在当前与目标之间构造潜空间路径,用浅层逆动力学将相邻点变成动作,再观察并重连路径。收益依赖表征把可执行的过渡组织得足够平滑。
补收9月24日研究;能量约束、参数干预与选择器保证需要逐项限定
这项研究用约九千参数的小物理模拟器,系统区分建模者提供的守恒结构、耗散通道和参数映射,与数据学到的能量函数、耦合和速率。重点是通过删去单个结构的对照,测长时稳定、参数干预和耗散是否仍成立。它给出值得借鉴的测量方法,但不是从视频自动发现物理定律,也没有证明扩大黑箱模型永远不能学会反事实。
异步视频—动作专家与逐块 K/V 修正
InternW0 用大视频专家提供未来上下文,小动作专家按更高频率生成控制块;新的观测会改写动作专家看到的缓存视图。报告覆盖实验室操作与接触任务,但控制通路频率、整任务成功和子任务进度是三种不同证据。
150种程序场景与300题评测,物体持久性收益仍需跨生成器验证
WROP针对遮挡后的物体身份、容器内物体、阻挡与碰撞等现象,构建程序化视频数据并微调续写模型。它把“物体不能凭空消失或穿过障碍”转为可检查任务,但数据来自人工编排的动画,基准高分并不等于掌握通用动力学。
世界模型转向决策后果分类,真实工具仍负责产生观察
AEWM不预测搜索结果或终端输出,而是判断下一步决策对任务的贡献:关键、探索或噪声。EditAct保留前两类,遇到噪声则替换尚未执行的推理与行动,把真实执行反馈写回历史。它针对的是无根据假设和过时计划反复影响后续决策的问题,并用纠正轨迹进一步微调代理。
代码维持状态,生成模型负责画面,二者如何对齐
CoDeR 将世界分成代码维护的逻辑状态和视频模型生成的外观,再把已看到的画面注册回三维表面。这有助于离开视野后的状态连续性,但显式代码规则与视觉一致性不等于已验证的真实物理模拟。
世界模型提出观察目标,实测地图承担可达性与碰撞检查
WOLF 预测候选运动后可能看到的局部占据结构,把可信的预测边界加入探索目标。它将预测用于“去哪里看”,而不是直接把想象区域当作已测安全空间;隧道中覆盖改善明显,但花费更长时间,不能概括为所有场景探索更快。
绝对与相对动作的等价性,需要模型和接口共同满足
这项研究检查同一物理动作改用绝对或相对编码后,潜空间世界模型是否保持预测一致。简单的成对一致性损失能降低差异,但也可能牺牲原本较好的预测,不能只看一致性指标。
时序因果掩码的意义,以及开放版本的实际边界
CausalWM 将光流、点图和未来 RGB 依序生成,以中间运动和几何约束画面。这里的“因果”主要指信息访问顺序,不能等同因果发现或真实干预推理;公开版本也只覆盖单视图推理。
空间变化与响应记忆,分开保存真实执行和想象
PileBelief 为挖掘建立带历史的物理预测器:当前高度图和动作先产生局部预测,历史形变与负载响应再作有界修正。仿真支持历史有用,真实记录上的收益较小,且真机数据没有计划动作输入,不能称已实现闭环反事实规划。
有内部地图,为什么仍会走错路?把表征、定位和导航分别检验。
研究对曼哈顿随机游走训练的 TaxiGPT 做表征读取与因果干预,发现路网、运行位置和目标方向各有机制。分布外路线中的定位干扰可以解释部分错误,但这不是通用物理世界模拟器。
短程起步、逐步延长;节省训练计算不等于策略更强
这项研究在世界模型自回归训练中监测多个预测头的分歧,超过阈值就截断当前展开,避免模型早期在不可靠的远期预测上消耗计算。实验支持它找到合适的长短程课程,但回放同一课程也能复现收益,不能将效果全部归因于持续在线不确定性估计。
冻结预测器,用约十万参数与最近转移做测试时修正
该方法在冻结世界模型的输入与输出两侧加小残差,用执行中得到的最近转移更新,随后继续做潜空间规划。它以少量可训练参数取得接近较大适应方案的成绩,但仍依赖冻结表示能看见关键信息,也没有证明参数减少会按比例降低总运行成本。
先把接触关系算对,再扩充机器人训练数据
用显式顶点状态和接触关系预测购物袋动力学,再把预测轨迹渲染为策略训练数据。它关注动作造成的物理后果,而非只生成看起来合理的视频。
世界模型进入会话与实时控制接口
平台更新表列入 Adventure、Directing、Acting 模式;文档明确世界创建、实时会话和控制指令的分工。它交付可交互视频流,不等于可导出的物理模拟器。
五阶段后训练、几何控制与少步采样,也带来运动衰减
Astronex 在 Wan2.2-TI2V-5B 上加入 PRoPE 相机条件、动作接口和块因果缓存,报告单 L20 实时生成。完整报告同时暴露了复杂交互、回访漂移和蒸馏后运动变弱的问题;开放动作接口不能被写成已经可用的机器人策略。
回顾补收:注意力证据、相机控制与开放模块的边界
World in World 将源视频、深度和目标相机轨迹转成冻结模型内部的视觉 KV 证据,让新视角生成尽量依附原事件。它还提出人体代理与长期记忆,但当前仓库只发布部分流程,视觉一致性也不能代替真实三维或物理正确性。
持续状态、3D 包围盒和视频渲染之间的接口
Programmable World Model 用可执行规则维护实体、血量和事件等持续状态,再把 3D 包围盒编译成视频模型的空间条件。它改善了画面与规则的一致性,但状态正确由外部程序保障,不能据此声称视频模型自行学会了完整游戏逻辑。
已知重力条件下的外推,不能写成自动发现未知物理规律
SG-JEPA 在可变重力模拟中联合训练视觉编码器与预测器,用多步递归损失塑造表征,再冻结编码器训练控制策略。它研究的是给定重力参数时的预测与迁移;平均收益掩盖了部分重力点上的显著失败。
把旧动作留下的中间状态搬到同一步的新动作状态
交互视频生成到一半时收到新动作,直接改条件会留下旧动作的中间状态,重启又浪费计算。ActionSplice 训练小型状态修正器,将被打断的求解器状态迁移到同一步的反事实状态,再继续冻结骨干的剩余采样。
回顾补收:动作梯度、数值目标与总计算预算
LEAP 在冻结 LeWM 的可微 rollout 上优化动作,同时让预测特征接近目标图像,并通过训练好的读出器接近数值目标状态。收益来自规划配方与终点约束的组合,额外状态监督、动作提案训练和线搜索成本都不可忽略。
不生成未来像素,但反事实标签仍依赖几何近似
该方法用当前画面和候选动作预测与目标画面的兼容度,再据此为无动作标签视频选择伪标签、强化导航策略。它把世界模型从画面重建转向决策评分,但训练世界模型本身仍需要带动作和位置信息的轨迹。
固定预测器的误差覆盖,为什么不能直接搬到新的动作分布?
这项研究讨论世界模型不变、部署策略改变时的共形校准。用目标与源状态—动作分布的密度比加权残差,可以在明确假设下恢复边际覆盖;实验来自有限真实机器人转移池的受控重采样。
世界模型如何变成设备端机器人策略
把 4B Cosmos 3 Edge 世界基础模型后训练成机器人策略,并部署到 Jetson Thor。技术指南给出数据、动作服务和闭环评估路径,也披露 120 项任务上 22.9% 的成功率。
按案例选择评测技能,观察质量、状态转移与持久性分别判断
一个漂亮视频的高分不说明动作正确或离屏状态持续演化。HarnessEval-W 把每个案例拆成能取证的问题,以工具和视觉模型分别检查,再保存评分与证据路径;它的主要贡献是可审计评测流程,而非证明某个模型全面理解物理。
URDF运动与场景动力学分离,用于交互模拟和训练数据合成
GeniWorld 不直接把关节数字交给视频模型,而是先用机器人URDF和相机标定渲染运动,再预测环境响应。作者用固定场景训练、随机场景测试,并把合成轨迹用于真实策略;这种空间约束有价值,但并不等于获得精确物理模拟器。
让生成的世界真正用于训练机器人
从真实任务构建可控仿真,再用仿真训练和筛选机器人策略。关键证据不是场景“看起来像”,而是不同策略在仿真中的相对优劣、失败位置与真实硬件是否一致。