aiwillknow.AI 前沿观察每日 08:00 开始整理
本期研究 /

FIELD NOTES / 03

世界模型WORLD MODELS

关注可交互、可预测的世界,以及它们如何服务决策和训练。

时空建模交互仿真
RESEARCH SNAPSHOT收录概览
127项研究与重要更新
按来源核对开放状态
开源 / 开放47
闭源4
待开放 / 核实76

EXPLORE THE FIELD

全部已收录研究127

按工作日期排列 · 新 → 旧
127 项工作
世界模型论文公开 · 实现开放待核

world2vec:不重建像素,也不靠奖励学习动力学表示

可预测潜空间能否同时用于规划和可解释动力学发现?

用神经微分方程预测编码后的未来状态,再以对比或分布正则防止表示坍塌。三种视觉控制任务中两种优于对照,但Cartpole明显落后;符号方程恢复依赖更理想化的数据条件,应与视觉控制分开看。

Tobias Schmidt、Rodrigo Gonzalez Laiz、Krisztian Szuppinger、Steffen Schneider
阅读简报
世界模型论文公开 · 实现开放待核

L3G-World:把可更新的3D高斯记忆直接交给视频生成器

重访场景时如何少漂移,9FPS又对应什么硬件和质量代价?

在持久3D高斯中同时保存几何与VAE特征,按可见区域修正旧记忆、在缺失区域新增,再直接渲染扩散条件。快速版H100端到端9.02FPS,静态场景重访更一致;“无限世界”仍需随探索范围增长的存储。

Jinhyeok Choi、JoungBin Lee 等|KAIST、梨花女子大学
阅读简报
世界模型论文与项目页公开 · 完整实现待核

Algebraic World Models:证明游戏无解之前,先证明你建对了世界

Lean通过的证明,什么时候仍然不能转移到真实游戏?

这项工作让智能体在交互中建立可执行规则,再把模型形式化为Lean定义与证明。最重要的边界是:证明对模型成立,与模型覆盖了游戏所有合法行为,是两件事;论文的封闭关卡实验也出现过转移失败。

Algebraic World Models 作者团队
阅读简报
世界模型权重MIT · 代码许可未明确

上下文压缩:世界模型忘记房间,先别急着加参数

保留每个地点的最近一次观察,能否恢复长间隔重访记忆?

研究把世界模型记忆拆成模型本身与外部上下文整理。冻结模型前面加一个按地点压缩历史的harness,能明显改善合成房间世界中的长间隔重访;这里的空间坐标和可重排路径先验很强,尚不是通用视觉记忆。

Context Compaction 作者团队
阅读简报
世界模型代码开放 · 范围见说明

Hy-Nomas:让动作指令只在该发生的时间生效

交替文字与相机控制时,如何保留历史而不重演旧动作?

8B视频世界模型将持续场景描述和有时间范围的动作指令分开,再用分段因果注意力生成后续画面。它支持同一会话交替文字和相机输入,但生成视觉连续性不等于物理状态正确。

腾讯混元视觉生成团队
阅读简报
世界模型论文公开 · 开放边界见正文

SWIM:从行为记录学习世界模型该重视哪些状态

预测动作所需的状态变化,能否改善潜空间规划距离?

SWIM 不直接增加推理模块,而先用离线轨迹学习状态维度权重,再让图像latent距离对齐加权状态距离。它针对均匀状态监督重复计算冗余坐标的问题,结果是稳定但较小的默认配置规划增益。

波士顿大学、Unity Technologies
阅读简报
世界模型代码开放 · 范围见说明

RynnWorld-Latent:用共享潜动作连接不同机器人视频

跨形态视频预训练如何变成策略训练数据,又留下哪些错配?

模型从人类、机器人和仿真视频提取共享潜动作,训练动作条件视频生成器;适配目标机器人后,用数字遥操作或首帧编辑生成训练数据。论文也明确承认:动作重定向与生成视频是两个过程,时间对齐不能保证物理一致。

阿里达摩院、香港中文大学、湖畔实验室等
阅读简报
世界模型代码公开 · 模型与数据分开核验

MLE-World:先预测程序运行结果,再决定是否真跑

语言形式的执行世界模型,何时能省掉昂贵的机器学习试验?

MLE-World 将Python程序、环境和预算映射成异常、终端输出与验证指标,作为机器学习智能体的执行预测器。它属于程序环境世界模型,不是物理视频生成;代理仍需真实执行候选来确认结果。

Brian Ko 等
阅读简报
世界模型评测代码开放 · 原始运行包未随库提供

VMem-Bench:记得更多,可能把不该出现的东西带回来

长视频记忆提高实体召回,同时损害排除与状态更新

这项受控研究把历史检索与生成闭环分开:真实电影测选帧,30个自写故事测历史如何改变后续视频。相似度检索通常让应出现的实体更常出现,却也带入已过时的外观和不该出现的对象;“像以前”不能代替“符合现在”。

中国科学技术大学 / Kling AI / 清华大学等
阅读简报
世界模型论文公开 · 实现开放待核

Dream2Assist:世界模型先理解意图,再辅助驾驶

辅助系统能否在帮助完成动作时,避免与驾驶者争夺控制?

Dream2Assist 在潜在世界模型中同时建模驾驶者和助手,并预测人类意图,用想象轨迹训练辅助策略。人机研究显示意图感知能缓解部分冲突,但与无辅助相比并没有一致的安全或任务收益。

Jonathan DeCastro 等
阅读简报
世界模型论文公开 · 代码与权重待发布

World-in-Context:把视角、动作和相机放进同一个上下文

显式视角与累积控制变换如何帮助交互视频切换观察方式

交互视频中的“前进”会随第一人称、第三人称与自由相机而改变含义。World-in-Context将视角类别、动作和相机控制统一为上下文token,再用Interaction-Transport RoPE把沿时间累积的控制关系写入注意力;输出仍是生成视频,尚非可验证物理状态。

Alibaba Token Hub / 阿里巴巴
阅读简报
世界模型论文公开 · 实现开放待核

SkeLAM:用骨架把运动意图从视频残差中拆出来

可解释动作潜变量,能否让机器人视频预测更可迁移?

把潜在动作分成骨架约束的运动部分和补充视觉残差,再适配机器人动作驱动视频模型。DROID预测改善,但另一机器人域有退步,策略评估成功样本仅九次。

SkeLAM 作者团队
阅读简报
世界模型权重公开 · 附许可限制

AnyGameRenderer:游戏状态仍由引擎掌管,生成模型负责画面

从粗糙色块到风格画面,怎样避免漏画、错位与实体幻觉?

该方法把引擎输出的粗几何或语义图当作视频控制信号,微调MiniMax-H3生成精细游戏画面。这里纳入世界模型方向,是讨论显式状态与生成渲染的分工;它没有替代游戏规则或物理引擎。

Alaya Lab
阅读简报
世界模型论文公开 · 实现开放待核

Dual Exam:把Agent决策与世界响应拆开考

独立考试能定位能力缺口,但为什么不能直接解释一次闭环失败?

Dual Exam固定参考环境测Agent,固定动作干预测世界模型,试图将行动选择与状态演化分开描述。其价值在评估设计与证据边界;榜单混合不同任务、预算和评分方式,不能把两个总分相乘估计协同成功,也不能将单次150例零成功推广为所有系统无效。

HKUST、NUS等联合团队
全文深读评测与状态
阅读简报
世界模型论文公开 · 实现开放待核

LeWorldModel动作几何审计:预测变敏感,不代表预测方向正确

在同一仿真状态微调动作,世界模型与真实环境的局部响应一致吗?

这项审计恢复同一MuJoCo状态,比较LeWorldModel与环境对微小动作扰动的嵌入响应。模型能捕捉部分各向异性,但方向、幅度和扰动尺度均有明显差距;即便响应Gram矩阵一致,也不能保证预测变化的符号正确,更不等于控制成功。

Technological School Electronic Systems(TUES)、MIT
全文深读评测与状态
阅读简报
世界模型代码与权重公开

ALPS:让世界模型的视觉状态既能预测,也能读回像素

同一组patch token怎样兼顾状态、语言与重建?

ALPS用静态图片和文字训练视觉状态编码器,冻结后的token可供机器人策略、动力学预测和图像解码使用。它提供的是世界模型的视觉基础,而非一个已验证的语言指令到规划到像素检查的完整系统。

UC Santa Cruz / UC Santa Barbara / Google
阅读简报
世界模型训练代码与四组权重 · Apache-2.0

Looking Ahead:让当前视频表征预测更远的未来

训练时增加未来块预测,能否减少视频模型依赖局部重复?

Future Chunk Prediction 在自回归视频模型的中间层增加辅助分支,要求当前块的表征预测不同距离的未来块,推理时移除分支。Physics-IQ上的一致性提升支持这类训练约束,但结果仍是视频续写指标,不等于获得可控的物理模拟器。

南京大学、腾讯 ARC Lab、浙江大学
阅读简报
世界模型训练实现开放 · 成品权重待核

CausalAlign:视频模型懂相机运动,为什么仍会漂移?

先定位运动信息流失的层,再用三维状态变化约束适配

CausalAlign研究生成视频中的自运动信息如何在网络中丢失。它先用探针与干预定位相关层,再把三维教师的连续状态差映射到视频模型特征,最后只用LoRA对齐选定层和去噪时刻;推理不需要额外三维缓存。

北京大学 / BIGAI / NVIDIA / 清华大学等
阅读简报
世界模型代码公开 · 权重限非商业

AEON:把视频潜变量直接解码成可探索的 4D 世界

显式高斯让视角和时间可重访,但运动表征距离物理模拟还有多远?

AEON 在视频生成潜空间与4D高斯重建模型之间训练适配器,输出带时间、速度和寿命的显式场景。用户可重渲染不同视角和时刻,而不是每次请求另一段视频。其一致性收益有定量支持,但高斯运动不是接触求解器,“实时探索”也不是实时从文本生成完整世界。

清华大学 · Weiqi Zhang 等
阅读简报
世界模型论文公开 · 实现开放待核

PhysCanvas:世界模型也要预测接触,而不只画得像

统一视觉、触觉与任务状态后,能否更准确评估和改进机器人策略?

PhysCanvas 把RGB、光学触觉、标记位移和任务状态排成同一画布,利用视频模型共同预测,再以场景、跨模态和结果一致性校正。四个真实双臂任务上,模拟与真实成功率的相关性提高,想象空间后训练也提升了真实平均成功率;但触觉事件指标并非全部改善。

中科院自动化所、Anyverse Robotics、Open-Phoenix 等
阅读简报
世界模型准备脚本公开 · 核心实现待发布

LaLa World:用语言串起动作和潜在状态预测

把动作说成文字,能否统一不同机器人的世界模型?

语言化数值动作与视觉变化,结合冻结视觉编码器和语言骨干预测潜在未来。跨域规划与策略实验积极,但仍依赖数值动作、不同编码器选择及限定对照。

LaLa World 作者团队
阅读简报
世界模型评估代码 Apache-2.0 · 素材逐项许可

StreamEval:把持续交互变成可核查的事件账本

视频系统能否在长会话中执行、保持、取消和恢复指令?

StreamEval 用300个带时间线的任务评估对话数字人、表演、世界生成和两类视频编辑,显式记录每次控制是否执行及状态是否保留。它揭示短片视觉质量与持续交互可靠性的差距;自动裁判校准、输入差异和论文与当前代码的协议变化都限制榜单横比。

StreamEval Team
阅读简报
世界模型代码、权重与数据可用 · 非商业许可

VPM:让视频世界模型同时预测三维点轨迹

多视图视频生成能否用持续的三维点身份约束运动?

Video-Point Model 在Cosmos3-Nano上联合学习多视图未来视频和三维点轨迹,并扩展到动作预测。点轨迹给生成过程增加几何监督,实验显示运动指标和部分机器人得分改善;但校准相机、较重推理和非商业许可仍是部署条件。

KAIST、ETH Zürich、首尔大学、纽约大学等
阅读简报
世界模型论文公开 · 完整实现未确认

WorldStream:让程序化世界走得更远,也记得住修改

卸载远处几何之后,怎样保证回访仍是同一个世界?

WorldStream把区域计划、对象身份与编辑记录放进持久状态,再按玩家接近程度编译局部几何。它是显式程序化世界系统,研究重点在连续生成、持久修改和异步一致性,不是视频模型学会了物理规律。

USTC · JD JoyFuture Academy
阅读简报
世界模型代码与权重公开 · Apache-2.0

RoboJudge:给生成的机器人视频分开评物理与任务

与人类相关性更高,是否意味着已经能可靠筛选训练视频?

RoboJudge将生成操作视频的物理可信度与指令完成度分成两轴,并训练9B视觉语言裁判。整体人类评分相关性达到0.719,但这是相关系数,不是71.9%的正确率;物理评分相对最强基线的置信区间仍跨零。

Sphere Lab · Westlake University等
全文深读评测与状态
阅读简报
世界模型5B推理与权重公开 · 权重非商业

Ropedia W0:用相机轨迹与骨架统一跨本体世界预测

把人的第一视角经验用于机器人移动与操作,会迁移什么

Ropedia W0将移动表示为相机射线图,将操作表示为投影骨架,用同一条件接口训练人类和机器人第一视角视频预测。研究构建约1万小时人类、3000小时机器人数据,并报告低数据适配、长视频及策略评估结果。跨本体共享接口较明确,但视频预测、任务进度与真实成功率必须分别理解。

Tianqi Liu 等 · Ropedia / 南洋理工大学等
阅读简报
世界模型代码Apache-2.0 · 图像另有限制

Stateful Harness:先执行规则,再生成世界画面

相同画面与动作,如何因隐藏状态不同而得到不同结局

系统把库存、生命值等隐藏状态放在显式账本中,由固定程序决定动作后果,再编译成视频生成指令。WorldState-Bench使用50组反事实双胞胎:首帧和动作相同,隐藏值不同。它主要检验渲染结果是否遵守已知规则,而不是学习未知物理规律。

Chan Yan Ki / Yanran Zhang 等 · 清华大学 / GigaAI
阅读简报
世界模型评价代码公开 · MIT

PVBench:把视频物理可信度拆成对象级测量

画面像真的,是否意味着对象持续存在、动量和能量也合理

PVBench用600组配对文生视频和图生视频场景,评估46个维度,其中25项聚焦物理。它把分割、深度、法线、姿态与运动追踪组合为对象级测量,再检查几何和动力学关系。总体人工相关性较好,但各维度可靠性差异很大,生成失败和无法评估样本的分母也需要单独阅读。

Kaiwei Chen 等 · 浙江大学 / 华中科技大学 / 腾讯优图
阅读简报
世界模型论文公开 · 完整实现未确认

AIM:世界模型不听动作,可能是训练数据太像专家

只收成功示范,是否让模型学会忽略控制指令?

专家总在特定状态选择相似动作,世界模型可以靠状态猜未来而不用理解动作。AIM主动收集能揭示动作影响的转移,用更有区分力的数据改善可控性,而不是单纯扩大模型或继续堆专家示范。

Princeton · Columbia
阅读简报
世界模型推理代码与权重可获取

PPMem:让视频世界模型用平面记住走过的场景

显式几何记忆能减少回看时的场景漂移吗?

PPMem 在生成每段视频时同时预测平面几何,把它们融合到持久记忆,再从下一相机位置投影作为生成条件。它为视频世界模型加入了可检查的空间状态,但平面池很小不代表整套推理只占几 MB,也没有直接解决动态物体与材质资产。

清华大学、蚂蚁集团、香港科技大学
阅读简报
世界模型论文公开 · 实现开放待核

AWAM:先想象物体的其他视角,再做动作

多视角世界先验能否弥补机械臂的遮挡?

AWAM 从初始观测生成一组虚拟视角,把世界模型的中间特征压缩成动作策略可检索的记忆。它主要想象同一初始场景的其他观察位置,不是预测执行动作后的未来;一旦物体实际移动,固定记忆也可能过时。

复旦大学、上海创新研究院
阅读简报
世界模型代码与权重可获取 · 分组件许可

LAW:让规划、进度判断与世界动作模型协作

长任务的收益来自哪些模块,哪些只是小幅增量?

LAW 让视觉语言模型承担计划、状态监测与价值估计,再与世界动作模型共同完成长任务。其关键不只是生成未来,而是异步子任务状态、候选动作选择与历史记忆的配合;复杂开放基准中的绝对成功率仍很低。

北京大学、北京人形机器人创新中心
阅读简报
世界模型论文公开 · 实现开放待核

Momentum:先让世界持续演化,再让相机进入

通过多相机参考状态协调时间与视角,避免每条相机轨迹各编一个未来。

Momentum 把世界更新与观察者画面分开:多组全景相机持续产生参考视频,目标相机从同一时刻的参考生成视图。这样多条观察轨迹共享一个动态背景,而非只依赖静态记忆。论文报告动态语义一致性相对翻倍,但绝对分仍低,且不等于物体身份或物理运动正确。

Nedko Savov、Stefan Maria Ailuro、Danda Pani Paudel、Yilun Du、Xi Wang、Luc Van Gool
阅读简报
世界模型论文公开 · 实现开放待核

PhysRepair:视频生成以后,只修复错误的物理链条

从首个无效状态追踪后果,能否少改画面而改善运动?

PhysRepair先生成视频,再让智能体诊断物理错误,把局部模拟转成修复条件。它强调保留已正确内容,并记住成功修复经验;公开实验显示运动一致性改善,但不能证明生成视频满足完整物理定律。

南京大学等 · Xikang Guan 团队
阅读简报
世界模型代码可见 · 无公共许可

MIST:物体没有被重新展示,不能先怪视频模型忘记了

把布置、遮挡泄漏、揭示动作与物体匹配分开评分。

视频记忆测试常把开盖失败和物体遗忘混成一个错误。MIST将它们拆开,M3-Agent只改当前失败动作的提示。主要结果揭示了评测瓶颈,同时也提醒:带答案改提示、用最终评分择优,不能证明模型真正记住了对象。

香港大学等 · Weiyang Jin、Jiwen Yu、Xihui Liu
阅读简报
世界模型推理代码Apache-2.0 · 发布版本不同

VGC:给生成视频增加后处理几何校正器

画面更连贯,是否也意味着几何更真实?

从真实带位姿视频制造失真对,训练独立视频扩散校正器修复生成序列。重投影指标有所改善,但若干感知指标下降,且公开版本与主实验架构不同。

VGC 作者团队
阅读简报
世界模型论文开放 · 本方法代码未核实

Velox:按三维重叠挑选历史注意力

长视频世界模型能否保留全部历史,却只读取当前视角需要的部分?

Velox 在 LingBot-Fast-Cam 上增加免训练的几何辅助稀疏注意力:保留历史 KV,利用流式三维估计选择相关块,再由模型自身的重要性补足几何盲区。它降低长上下文的去噪开销,但不解决历史缓存持续增长。

Qiuhong Shen、Shizun Wang、Xinchao Wang / 新加坡国立大学
阅读简报
世界模型实现MIT · 权重下载未验收

GeoState:把相机运动从世界状态中分开

压缩的几何状态能否预测未来,再从指定视角读出深度?

GeoState 将多视角几何特征压缩为场景状态,单独预测其时间演化与相机运动,再用查询相机解码未来深度。核心是减少“观察位置改变”对世界状态的扰动,而不是直接生成RGB视频。

Hongchang Liu 等 / 同济大学、香港理工、腾讯与广东省人工智能与数字经济实验室(深圳)
阅读简报
世界模型论文公开 · 实现开放待核

Mallea:用显式对象状态约束世界,再按身份保存外观

可编辑规则与对象纹理记忆怎样连接,现有证据又缺少哪些关键验证?

Mallea提出让代码代理负责对象、属性和运行规则,生成渲染器负责外观;纹理按稳定对象身份保存,避免离开视野就遗忘。但论文目前主要给出定性场景和机制图,定量基准、消融及效率证据仍不足。

北京大学 · Xuanyi Liu、Ruiqi Li、Siwei Ma
阅读简报
世界模型代码开放 · 依赖托管模型

CoWorld Reasoner:让视频世界模型成为可修订的推理工具

不更新模型权重,改进工具调用与证据解释能带来多大收益?

CoWorld把换视角、插帧、续写和干预封装为视频工具,再逐阶段改进调用技能与执行代码。七个基准加权总分从58.29升至59.69;收益不均匀,生成视频依然可能制造似真却错误的证据。

香港理工大学、Hangzhou Diagens · Dongjie Cheng 等
阅读简报
世界模型代码开放 · 数据许可待明确

T2-z:只调一个小潜变量,让世界模型适应新物理

用一两条观测轨迹校准环境,再预测不同候选动作的结果。

世界模型进入新环境时,摩擦、重力和物体属性可能不同。T2-z 将这些变化压进32维环境潜变量,测试时固定大模型、只用少量支持轨迹优化这个向量,再在独立查询动作上预测。价值在于便宜的环境校准,而非从零识别完整物理定律。

Stanford、CMU、Toyota Research Institute、USC 等
阅读简报
世界模型实现可见 · 许可与C1权重待核

OmniVerifier-C1:把图像状态变化拆成可检查的小条件

用分级验证奖励训练图像生成与编辑,但“得分高”不等于完整任务解对。

规则图像编辑要同时满足多个状态条件,单一对错奖励很稀疏。OmniVerifier-C1 将要求拆成原子检查,以满足比例训练验证器,再用验证奖励优化生成模型。本篇归入世界模型的状态转换评估:它不预测通用物理动态,重点是如何判断生成的下一状态是否遵守规则。

清华大学、高德 Alibaba、Microcyto、北京大学等
阅读简报
世界模型代码与基准开放 · 原始回答未含

Grid-Bench:规则全部写明,模型还能追踪64步世界状态吗?

把感知与知识检索拿掉,用可执行网格检验长程状态模拟。

如果初始世界和每一步规则都明确给出,模型仍可能在长序列中丢失状态。Grid-Bench 用二维到四维的符号网格,把运动、反射、重标记等过程变成可精确核对的下一状态计算。它衡量语言模型的内部世界模拟,而不是视觉生成质量,也不与大模型栏目重复计数。

Zixiang Xu 等,Grid-Bench 作者团队
阅读简报
世界模型论文公开 · 实现开放待核

StateCraft:把可更新的抽象状态交给视频模型渲染

只记旧画面,怎样处理镜头之外已被动作改变的内容?

StateCraft 用语言模型维护视图与元素组成的显式状态图,视频模型据此生成当前界面。以文件管理器为主场景,它改善重复访问时的内容一致性,并支持直接编辑隐藏状态;其结果依赖预定义结构和首次访问提示,尚不是自主发现世界规则的通用模拟器。

INSAIT、ETH Zurich 等研究团队
阅读简报
世界模型数据管线开放 · 数据非商用许可

PAWA:同时预测多人第一视角和全景世界

同伴走到背后以后,生成世界还能维持其状态与身份吗?

PAWA 先把Minecraft多人的行为记录与GPU渲染分开,再联合预测每个玩家的第一视角和固定世界朝向全景。两路模型以世界坐标中的观看方向对齐注意力,用旋转身份编码绑定玩家动作;采集可超过64人,但模型实测最高16人。

Alaya Lab、北京大学、东京科学大学
阅读简报
世界模型代码Apache-2.0 · 数据另有非商用条款

Orbia:回到原处,世界是否还是原来的世界

如何把输入保真、生成内容的持久性与三维自一致性分开测量?

Orbia 为相机控制世界模型构造具有空间回访的720个测试案例。它不仅看画面是否漂亮,还分别追问输入中已有物体是否保留、新生成物体再遇见时是否相同,以及不同视角能否解释为一致三维结构。

Dongyue Lu、Guian Fang 等 / Orbia 团队
阅读简报
世界模型论文公开 · 实现开放待核

WorldCast:从一张正确图片走向多步骤世界状态预测

过程、因果与一致性分别评分后,生成系统还剩哪些缺口?

WorldCast用320个案例、1352个目标视觉状态检验多步骤生成,把任务完成、因果合理和视觉一致性分开。高分系统仍会漏部件或跳过关键阶段;72.8是综合评分,不是任务成功率。

清华大学、美团LongCat、香港中文大学、北京大学等
阅读简报
世界模型推理与权重公开 · 限非商用

Thinker-WM:把视频、深度与机器人动作放进同一个生成模型

统一生成三种模态,是否能让世界预测和闭环控制共同受益?

Thinker-WM在Wan2.2 TI2V 5B基础上统一RGB、深度和动作的流匹配建模,通过不同条件组合兼容世界预测、动作推断和联合生成。其深度交互消融显示模拟控制收益,但广泛视频评测、有限闭环实验与真实机器人部署证据必须分别看待。

Thinker Team / UBTECH
阅读简报
世界模型代码与权重公开 · 权重许可待核

WAVE-0:让预测的动作后果真正进入策略推理

潜在世界模型只是训练辅助,还是能在执行时帮助选择动作?

WAVE-0在π0.5中接入257M参数的潜在世界模型:先用真实动作学习未来特征,再让VLM规划出的潜在动作经世界模型变成未来条件。它不用生成视频像素,但完整策略仍约4.3B,且预测误差与真实控制可靠性不能画等号。

Haomin Wang 等 / 上海交大、Awaken Robotics、百度智能云、浙江大学
阅读简报
世界模型评估代码MIT · 数据条款另核

WorldMemBench:回头三次,世界还记得什么?

静态场景记得住,是否也能记住镜头外正在发生的变化?

WorldMemBench 用离开再返回的轨迹分别评估人物、物体、环境与动态事件。260个案例将静态保留、事件推进、画质和相机执行分开报告;固定初始参考可暴露反复回访后的累积漂移,而事件启动门槛揭示“没有发生”与“发生后忘记”是两种失败。

浙江大学、复旦大学、蚂蚁集团、南京大学
阅读简报
世界模型代码开放 · PAI权重可见 · 许可待澄清

LidarVerse:以时间与空间双缓存生成激光雷达世界

跨任务的LiDAR生成如何做到长时滚动,已发布权重又覆盖哪些传感器?

用统一距离图tokenizer、条件扩散和持久空间缓存,把LiDAR生成、预测与重仿真放进同一框架。四步因果学生在H100约11FPS;当前公开PAI权重不包含论文的强度与跨传感器检查点,也未证明驾驶闭环收益。

Henry Che、Xuanchi Ren 等|NVIDIA、UIUC
阅读简报
世界模型论文公开 · 实现开放待核

MHWA:用慢上下文与稀疏专家缓解世界模型漂移

世界模型的层级结构什么时候有用,什么时候只是增加复杂性?

MHWA保留JOWA的视觉token和离线价值学习接口,在上层按步长取样上下文、下层按当前状态动态路由专家。三种子匹配实验支持其在14款Atari上的效率与成绩优势,但长程稳定性只测到50步外推,也没有验证真实连续控制。

Pengcheng Pan 等 / 中国科学院自动化研究所、国科大
阅读简报
世界模型代码公开 · 各领域资产需分别核对

RSI-Anything:把预测、反馈和版本验收放进同一个改进循环

跨领域复用更新协议,但各实验并未都验证策略与世界模型共同递归进化

世界模型先预测候选动作后果,再把有限外部反馈用于选择与更新;只有通过组件和组合检查的新版本才保留。论文最有价值的部分是明确预测与观测、状态变化与模型更新的区别,而不是已经证明无限自我改进。

Taoyong Cui、Ling Yang 等 / PhAI Labs、香港中文大学等
阅读简报
世界模型论文公开 · 实现开放待核

SimVTA:为候选驾驶轨迹配上真正对应的模拟未来

训练时以三维高斯渲染补齐动作后果,推理时只输出轨迹

驾驶日志只记录实际走过的一条路,不能给另一条候选轨迹直接套用原视频。SimVTA使用World Engine沿执行后的候选路径渲染监督,再让视频损失更新与规划共享的表示;这种训练监督作用与推理时看视频选路不同。

Changhui Jing 等 / OpenDriveLab、上海创智学院、同济、清华、理想汽车
阅读简报
世界模型代码与权重公开 · 权重限非商业

SmolWAM:世界动作模型的速度瓶颈也藏在输入接口里

压缩视觉、文本和动作接口后,单次前向同时输出动作与未来图像

从 Cosmos Policy 蒸馏出约0.88B参数的世界动作模型,保留未来图像预测能力,在A100上将观测到16步动作块的延迟压至57毫秒。预测画面没有反馈到动作决策中,因此不能将其描述为基于想象进行规划。

Timi Owolabi 等 / ML Collective
阅读简报
世界模型代码可读 · 许可未声明

SplitJEPA:不重建像素,怎样分出世界中不变与变化的部分

可识别的是子空间;配对覆盖、白化和全局预测最优缺一不可

SplitJEPA把预测表示和配对不变性结合:前者保留完整状态,后者决定哪些方向在相关观测间应保持不变。论文在受限高斯动态下证明两个潜在子空间可识别,并以合成系统及两种机器人仿真验证。它没有证明真实世界因素逐一可解释,控制测试的10cm阈值也应单独看待。

伊利诺伊大学厄巴纳—香槟分校、卡内基梅隆大学、芝加哥大学
JEPA可识别性
阅读简报
世界模型论文公开 · 代码待发布

SCOPE:让轨迹世界模型交出可用于控制的不确定性

用分数曲率蒸馏高斯管道,减少反复采样;不等于获得真实世界安全保证

SCOPE在多模态扩散轨迹周围预测结构化精度矩阵,以低成本获得随时间变化的协方差。它既能表示行人的未来占据风险,也能为机器人MPPI控制分配探索方向。关键价值是让世界模型提供控制可消费的风险接口,而不是只输出几条看起来合理的未来。

新加坡国立大学、Smart Systems Institute、LAAS-CNRS
轨迹世界模型不确定性
阅读简报
世界模型论文CC BY 4.0 · 本研究实现未核实

LeWAM(NVIDIA):在策略噪声空间规划,减少世界模型误差被利用

四模式JEPA与噪声球面投影改善平均控制,不能保证所有候选都在真实策略分布内

这篇LeWAM从像素端到端训练单向量JEPA表示,用一个双向Transformer承担前向、后向、逆动力学和策略。规划时不直接搜索动作,而搜索经策略流解码为动作的噪声方向,再由世界模型预测到检索目标的潜在距离。它与其他同名LeWAM是不同论文。

NVIDIA;Shashank Hegde、Alexander Popov、Elie Aljalbout、Nikolai Smolyanskiy
JEPA世界动作模型
阅读简报
世界模型论文与项目公开 · 代码即将发布

LiteNWM:用潜在未来筛选导航轨迹,把世界模型搬上机器人

共享视觉编码、四时域预测与保守替换;快于视频模型仍慢于直接策略

LiteNWM给冻结导航策略增加一个潜在空间评估器,比较16条候选与原始轨迹的预测后果,只有满足校准门槛才替换原方案。它避免生成未来RGB视频,在三组离线数据与Go2机器人上改善导航,但仍依赖提案覆盖、标定阈值和预设视觉目标。

南京大学、帝国理工、Sony AI、北京邮电大学
潜在世界模型视觉导航
阅读简报
世界模型推理代码与部分权重数据公开 · 完整训练与许可仍需区分

DreamTrue:用反事实动作训练机器人世界模型,减少“没抓住也成功”的幻觉

先校准视觉动作,再用三类缺陷奖励后训练;物理可信仍受图像视角限制

DreamTrue把机器人动作渲染成多视角条件,通过离线几何校准减少动作与图像错位,再扰动动作末端构造没有真实未来的反事实样本。人类缺陷标注训练的奖励模型对机器人、物体和交互分别评分,推动视频生成器减少虚假抓取成功和悬空物体。

中科院自动化所、高德地图/阿里巴巴
机器人世界模型反事实训练
阅读简报
世界模型论文与项目演示公开;代码模型待发布

MiniWAM:世界动作模型可以预测更小、与控制更相关的未来

PRISM用逆动力学与特征重建学习目标;65倍特征压缩不等于65倍Transformer缩短

MiniWAM先从当前与未来视觉特征学习PRISM紧凑表示,再冻结编码器,把这个表示作为世界动作模型的预测目标。逆动力学监督保留动作相关信息,特征重建保留未来内容;第二阶段同时去噪未来表示与动作。0.25B策略在多项仿真中有竞争力,但模型尺寸不包含冻结视觉/文本编码器,加速也不是从原始视频开始的端到端计时。

新加坡国立大学、南洋理工大学、A*STAR IAIC
世界动作模型预测目标压缩
阅读简报
世界模型论文公开;代码和数据集尚待发布

HWAM:把人形机器人的实际身体状态也放进动作生成

联合预测不是额外的物理保证;三路径训练与状态目标存在明显交互

高层策略给出关节参考,不等于低层全身控制器最终执行到的姿态。HWAM把下一采样时刻的本体状态与当前参考动作拼成联合生成目标,同时训练从轨迹预测视频、从视频重建轨迹、只看当前观测生成策略三条路径。三个OLI真机任务取得最高观察成功率,但状态监督单独加入另一种视频训练配方反而降分,证据支持组合设计而非状态预测总会改善控制。

LimX Dynamics、南方科技大学、浙江大学
世界动作模型人形控制
阅读简报
世界模型论文与演示公开;实现、权重待发布

Unitas:用统一三维点轨迹连接动作和场景变化

1.7B世界动作模型;公制坐标减少视角歧义,直接控制却无需预测未来场景

Unitas让图像特征、机器人或人手的点轨迹、环境点的位移在每个预测窗口内共享公制坐标。它把不同帧率的一整条点轨迹压为一个token,用几何动力学专家学习动作流和场景流,并由另一个动作专家输出可执行命令。仿真显示较好的视角鲁棒性和场景位移预测,但纯策略推理跳过两种未来点流;优势主要说明几何监督有用,不能等同于每次控制都在做三维规划。

香港中文大学(深圳)、DexForce、佛山大学、中山大学、华南理工大学
三维世界模型动作流
阅读简报
世界模型论文公开;未确认官方实现或权重

空间语言建模:用同一组坐标词预测动作与推物后的状态

Push-T中的共享序列监督,尚不是通用空间智能或显式规划

这项工作把推杆、T形物块、目标轮廓和动作目的地离散成同一128×128网格的坐标词,再用手写语法组织为序列。随机交互先训练动作条件下的状态预测,专家示范再联合监督动作和状态;执行时只解码动作,真实观测持续更新历史。在一个平面推物任务上,状态监督与随机交互预训练均带来真机成功率提升,但标定、已知几何和对照配置限制了泛化结论。

KU Leuven
空间语言模型状态预测
阅读简报
世界模型论文公开;未确认官方代码或权重发布

ALONE:凭空间信念继续飞,只在动作受阻时重新看

以占据预测的可信度决定观测时机;逐体素97%不等于轨迹97%安全

ALONE把局部空间表示为量化几何模式上的概率分布:动作让信念随自运动推进,新深度图再纠正;另一个解码器估计每个占据体素是否预测正确。规划器选出的候选动作若因低可靠区域而受阻,并且相机能看见该区域,才请求深度。两种仿真场景达到98%/97%成功,成功回合深度请求中位率0.9%/1.3%;实机10次规则室内飞行全成功,但仍依赖持续位姿估计和更保守的观测设置。

启元实验室、清华大学
空间信念主动感知
阅读简报
世界模型论文公开;代码与权重未核实发布

CausalDreamer:把视频潜变量按可控性与奖励相关性分成四组

背景变化下规划改善,迷宫换布局全线下降;四组命名还不是因果可辨识证明

CausalDreamer 保持视频tokenizer冻结,用四个投影头将其潜变量重编码为可控/不可控与奖励相关/无关的组合,再微调MMBench2动力学模型。熟悉任务和部分视觉/物体变化上的归一化回报提升,但新环境仍接近或低于随机,且动力学阶段没有维持四组的结构限制。

MBZUAI、卡内基梅隆大学
潜变量分解奖励相关性
阅读简报
世界模型实现公开 · MIT

物理注意力偏置:预测长电缆时,距离应该沿绳测还是穿空间测?

链路距离给全局注意力一个稳定先验,减少长滚动中的长度漂移

在GraphGPS的全局注意力logit上加入可学习强度的负距离偏置,分别比较链路距离、欧氏距离及分头组合。局部GatedGCN负责相邻节点,全局注意力捕捉长程交互;不把拓扑近邻与空间接触混成一个距离。

Avihai Giuili、Rotem Atari、Avishai Sintov、Maya Bechler-Speicher · Tel Aviv University、Meta AI
柔性物体电缆动力学
阅读简报
世界模型论文公开;实现开放范围待核

PAVG:让固体带动烟尘,先预测分相轨迹再生成视频

固体到气体的单向耦合,不是完整双向流固物理模拟

分别训练固体和气体点轨迹扩散器,再通过带门控的跨相注意力让气体读取固体运动。预测点投影为轨迹控制图,交给冻结视频模型生成外观;物理条件由用户给定,非从照片完整辨识。

Jingfeng Ou、Kun Wang 等 · 南京大学、深圳理工大学、商汤、深圳技术大学
物理视频流固交互
阅读简报
世界模型代码与检查点公开 · 非商业许可

RoboJEPA:潜在世界模型的规模收益,能否兑现为机器人规划能力?

从22M到8B预测器,以目标图像搜索动作;规模规律受编码器、数据和评测条件约束

RoboJEPA冻结视觉编码器,训练带动作、本体状态和相机身份的潜在预测器,再用交叉熵搜索寻找接近目标图像的动作序列。其规模实验连接了离线预测误差与机器人规划收益,但真实控制依赖较重搜索,个别任务并不随参数单调提升。

Meta FAIR、Mila、Polytechnique Montréal 等
JEPA世界模型规模规律
阅读简报
世界模型论文和项目页公开;未确认代码或权重

LAC-WM:用有监督潜动作连接人手与不同机器人

从动作条件转向共享运动表征;灵巧任务增益46.7%是相对值,实际成功率15%到22%

LAC-WM从相邻视觉状态推断连续潜动作,以运动解码监督和交叉增强限制视觉捷径,再把未见机器人显式动作映射进共享空间。三类人/机器人数据预训练后,在新灵巧操作形态上选择VLA候选动作的平均成功率为22%,显式动作模型为15%;修改后的LIBERO为92%对82.4%。这些结果来自仿真与有目标示范的动作筛选,并非无需标注的零样本实机迁移。

斯坦福大学、Meta FAIR Robotics
潜动作跨形态
阅读简报
世界模型评测实现与任务公开;仓库未见许可证

World Models’ Last Exam in Physics:让视频接受可测量的物理检验

40项实验把视觉连贯与物理关系分开,评分仍受观测与阈值限制

该基准用40个受控图生视频任务测试九类物理现象,通过跟踪、分割、几何与时序测量,把周期、角度、液位等量与明确物理关系比较。VLM只负责一致性/可观测筛选,物理分独立测量,再经过门控形成总分;它提供诊断证据而非通用物理正确性认证。

Navers Lab · Einsia.AI、北京大学、清华大学
物理一致性视频世界模型
阅读简报
世界模型论文公开;未核实独立代码或权重发布

latent-SR:用可重放的稀疏修改学习长时文本世界预测

一次生成多步状态增量,程序保留不变事实,再监督中间结果

latent-SR先把历史编码成文本状态,再一次生成未来每步行动对应的稀疏修改,由程序重放得到各步状态。训练既奖励末端预测,也检查中间状态,并比较状态路径是否比直接使用历史更有用。它减少跨调用递归回灌的误差,但仍在自回归生成token,不能理解为消除了所有错误传播。

伊利诺伊大学芝加哥分校、Intuit AI Research
文本世界模型稀疏状态编辑
阅读简报
世界模型论文公开 · 专属实现未核实

GeoWM:直接询问未来几何,绕开逐帧滚动的误差积累

深度历史、相机运动与投影锚点共同预测指定时刻;并非动作条件模拟器

GeoWM先把最近五帧转为深度和相机轨迹,再将最后一帧几何投到预测视角,作为流匹配Transformer的条件。各未来时域直接查询,共享历史而不递归生成中间帧。四类数据上的深度预测较强,但独立预测未保证跨时刻一致性,且没有控制动作输入。

华为诺亚方舟实验室(加拿大)
显式几何未来深度
阅读简报
世界模型Top1推理代码公开 · Apache 2.0

HLA-WM:回到旧场景时,按相机几何重组线性注意力记忆

无需重训的历史摘要检索;12倍节省针对历史状态,不是整机显存

HLA-WM把Gated DeltaNet每段历史的状态变换单独缓存,按相机视锥重叠挑选相关片段,再按时间顺序重组当前记忆。它无需微调即可改善长视频回访一致性,但仍保存随片段数增长的摘要库,也没有建立遮挡后物体演化的物理状态模型。

Monash University、阿德莱德大学、浙江大学
长时记忆线性注意力
阅读简报
世界模型代码、93份检查点及数据公开

H-JEPA:用多层时间抽象规划,而不是逐帧生成未来

上层决定慢变化的子目标,下层细化动作;真实视频实验测轨迹相似度,并未执行机器人闭环

H-JEPA把动作条件JEPA叠成不同时间尺度的潜在世界模型,先规划高层子目标,再向下细化到实际动作。AntMaze成功率从单层18.0%提高到三层73.3%,但Push-T三层反降至17.3%。论文还解释了一个关键失败:表示可以记住静态背景、满足分布正则,却完全丢掉机械臂运动;DROID因此需要逆动力学监督。

纽约大学、AMI、Inria、布朗大学
JEPA层级规划
阅读简报
世界模型部分代码、权重与视频公开;非完整论文复现

KineWorld:把机器人运动区域变成世界模型的训练权重

同起点受控续训支持局部改善;公开权重尚未对应论文成绩,公开训练目标也未含TAWD

KineWorld把给定动作经机器人渲染转换为图像平面光流,一路作为Wan世界模型的干净条件,另一路分配未来RGB训练损失。它的主要证据应看同一起点、相同数据顺序的50步续训:1000配对事件上EWM提高1.75分,而不是把不同设置的基线到最终模型约20分变化全部归于加权。

南洋理工大学、North University of China、Psibot等
动作条件视频运动学
阅读简报
世界模型论文公开;未核实代码和权重发布

EpicWorldModel:用多个潜在未来引导遮挡环境中的探索

随机JEPA与方差奖励提高部分导航成功率;预测分散不等于已校准的信息增益

EpicWorldModel将确定性的未来特征回归改为条件流匹配,在潜空间采样多个未来,并在CEM规划时奖励预测方差。PointMaze改善明显,复杂动作空间收益较小。RoboCasa遮挡分组支持探索有用,但仅六个强遮挡样本,且理论上界和采样配置存在需要澄清的细节。

普林斯顿大学、Torc Robotics
随机JEPA潜空间规划
阅读简报
世界模型论文及项目页公开;所链接代码仓库当前404

SDOB:不重训世界模型,用反馈补偿状态与代价场偏差

前向查询即可估计局部扰动,但补偿通道仍需任务先验

SDOB把部署偏差分为两类:同一动作产生不同状态,以及同一查询位置的代价因环境变化而改变。前者采样任务定义的扰动并匹配真实反馈,后者像光流一样匹配相邻时刻代价场,再把估计插入MPC的状态传播和未来代价查询。

东南大学、香港科技大学(广州)、上海电力大学
扰动观测器世界模型规划
阅读简报
世界模型论文与项目公开;代码和数据待发布

Flow Policies:世界模型规划为什么需要可搜索的技能动作空间

四种技能接口对照揭示:低层策略能做,不等于规划器能找到

研究把完整流匹配动作块作为世界模型的一步,对比纯噪声种子、学习离散码、对象中心码和符号标签四种接口。相同任务与技能示范下,纯种子在单技能任务仅8%成功,对象中心接口达92%;但长程性能仍受候选生成和搜索限制。实验只覆盖准静态仿真积木,不能据此推断实机通用操作能力。

Andreu Matoses Gimenez 等,TU Delft
技能世界模型流匹配
阅读简报
世界模型论文及展示仓库公开;实现和权重未发布

ForeAct3D:让动作策略学习自己将改变的三维场景

训练时预测深度、语义与腕部位姿;几何闭合约束不等于可独立运行的物理模拟器

ForeAct3D从VLA共享特征中解码当前与未来三维场景,并让未来查询读取策略生成的动作块,以背景静止、实例刚性和末端运动学约束训练表示。推理只输出动作,不必生成未来。LIBERO平均成功率从96.6%到98.3%,CALVIN平均连续任务数从2.94到3.73;真实机器人总成功从3/45到17/45,仍有明显失败空间。

University of Illinois Urbana-Champaign、University of Illinois Chicago、Cisco
动作条件世界模型几何监督
阅读简报
世界模型论文公开;未确认官方代码和权重

DreamFormer:把多视角压成一个时间词元,在世界模型内学习模仿

单词元并非无损视觉压缩;想象训练优于若干对照,但没有实测端到端加速和真实机器人验证

DreamFormer先用CALVIN自由操作数据训练无任务奖励的Transformer世界模型,再让策略在潜在空间想象,并以与专家轨迹的相似度为奖励。两个相机的观测压成每时间步一个Transformer输入位置,减少长想象的序列长度。D→D平均完成任务链2.52,略高于LUMOS的2.34;ABC→D为1.30,超过HULC的0.67但仍远低于较强预训练方法。

汉堡大学、阿斯旺大学、南安普顿大学
想象训练离散潜变量
阅读简报
世界模型评测代码公开 · 数据下载待核

Video2World:重建得像,是否真的能让机器人完成原任务?

把几何、运动与功能分别评分,并审查评测分母和执行条件

编码智能体从单段RGB视频编写场景与机器人控制,在模拟器中观察自己的执行并修正,最终冻结场景—行为包接受隐藏评测。核心问题是可执行交互是否重现,而非仅输出相似视频。

Jinzhou Tang、Zijun Zhang 等 · Aether AI、UC San Diego
交互世界重建评测协议
阅读简报
世界模型论文公开;未核实官方实现

SpectralCache:用奇异值外推减少世界模型去噪计算

Voyager报告5.22倍加速;这是有质量折损的缓存近似,不是实时物理仿真

SpectralCache对扩散世界模型最后一层特征做低秩SVD,复用子空间和残差,仅外推或缩放奇异值,以跳过昂贵的Transformer。两种模型的视频生成报告5.22倍和2.20倍加速;Aether的三维重建另为3.45倍。效果支持训练免费缓存,但不保证物理正确性,也不能混用三种速度数字。

Stevens Institute of Technology、Northeastern University、TU Darmstadt
推理加速扩散世界模型
阅读简报
世界模型论文公开;代码承诺待发布

AVL-JEPA:保住对动作后果有用的潜在变化

用动作锚点约束视觉抗扰训练;表征不塌缩并不代表已经理解完整物理因果

AVL-JEPA针对一种更隐蔽的世界模型失败:潜特征维度很丰富,却没有保留动作如何改变物理状态。它先从真实前后状态的潜变化预测执行动作,再冻结该动作头,用干净与加噪观察共同预测干净未来。部分模拟任务在强视觉干扰下大幅改善,但因果措辞应与有限动作库、模拟评测及训练配置歧义区分。

中南大学、燕山大学
JEPA动作表征
阅读简报
世界模型训练与评估实现公开,MIT

CTWM:让潜空间距离反映绕障碍的往返时间

残差预测加log-det防坍塌,理论保证依赖确定性与可逆转移条件

CTWM联合训练图像编码器与动作条件潜变量预测器,让相邻状态既可预测又保持较小位移,再用协方差log-det避免表示坍塌。目标是让距离体现环境连通性,而非画面相似度;随机游走往返时间也不同于最短路径或最优控制代价。

Michael Hauri、Peter Buttaroni、Fabian A. Mikulasch、Friedemann Zenke · FMI、巴塞尔大学
潜空间规划图拉普拉斯
阅读简报
世界模型论文与演示公开 · 代码权重待发布

World Observer:镜头转开以后,让另一个生成视角继续维护世界

主视角与全景观察者联合生成,区分物体重现和运动真正延续

模型把透视主视角和低分辨率全景观察者放入同一个视频Transformer,同一时刻的token交换状态。全景初始图的几何投影提供对应关系,四个高分辨率透视裁剪保留外观。它改善镜头外物体重现后的运动一致性,但“观察者”也是生成的视频,不是新获得的真实观测。

KAIST AI
镜头外动态全景世界模型
阅读简报
世界模型论文公开 · 代码与训练产物未核实

文字世界模型该微调还是检索?关键是找到相似状态下真正有用的转移

五环境比较与混合训练;预测文字相似不等于帮助智能体拿到奖励

研究比较微调、检索增强和简单提示构建文字世界模型,用同一冻结策略提出五个动作,再评价预测后果来选择行动。混合方法在训练时学习读取异回合经验,并先按观察再按动作检索;多数设置收益更高,但任务奖励、语言裁判与训练披露限制了结论外推。

南加州大学 ISI、Capital One
文字世界模型经验检索
阅读简报
世界模型全文公开;代码与检查点尚待发布

In CEM:世界模型也在决定下一轮搜索什么

排序器兼任候选分布生成器;距离变小不代表规划判断改善

研究把CEM规划中世界模型的两个角色拆开:对当前动作序列打分,以及通过精英集改变下轮采样。四种代理模型交叉重评分,再仅用真实环境替换第一次精英选择,检验早期候选分布如何影响最终选中序列。原本预期的提案距离增长没有出现,距离分量揭示了另一种收缩掩盖误差的机制。

UNSW Sydney、Harz University
模型预测控制CEM
阅读简报
世界模型论文公开 · 实现未确认

全局理解如何测:隐藏中间状态,检验约束能否传播

组合训练改善逆关系与交换规律,周期性和深层推导仍失败

模型记住局部转移,不一定能推出约束蕴含的未见转移。论文构造有逆、交换、组合和周期规律的有限世界,在相同路径上对比下一状态与隐藏中间状态的组合训练;后者更会传播部分规律,但深证明链、周期性及分叉图仍暴露明显边界。

Alexander Detkov、Matt Thomson · Caltech
约束传播组合训练
阅读简报
世界模型论文演示公开 · 代码权重待发布

WorldPlay2:连续导航、语义事件与压缩历史一起生成

16FPS使用8张H20;长视频一致性仍不等于持久物理世界

WorldPlay2把逐帧导航与场景、人物、事件提示分开编码,再用压缩历史支持自回归生成。Stable Forcing通过长rollout回放进行少步蒸馏,减少生成漂移;结果显示控制与长程质量改善,但吞吐依赖多卡系统,事件评分和记忆压缩也仍有代价。

Haiyu Zhang、Wenqiang Sun、Tengfei Wang 等
交互世界压缩记忆
阅读简报
世界模型论文公开 · 实现开放待核

双线性世界模型:让潜在动力学更容易被规划器利用

动作可恢复的潜在表示,能否同时避免坍缩并加快控制?

这篇9月28日首发、10月27日修订的工作把潜在动力学设计成适合优化控制的结构,并用动作可恢复性约束表征。新稿的关键细节是实际模型含归一化和规划残差,控制器还在低维相干动作空间使用有限差分,不能简化为纯解析双线性求解。

Bilinear World Models 作者团队
阅读简报
世界模型论文公开 · 实现未确认

世界模型该保留多少信息?搜索与最后选择需要不同答案

一比特可保住最后决策,却可能在早期搜索中丢掉好候选

论文把物理机制、候选结果和最终决策需要的信息分开:粗决策可能不需要完整预测,但搜索好动作往往需要更丰富反馈。碰撞、双摆、Push-T和PushCube实验支持按规划阶段分配信息,并把目标引导候选与目标无关的物理预测分开。

Rongzhe Wei、Hans Hao-Hsun Hsu 等
模型规划信息压缩
阅读简报
世界模型代码与案例可见;未发现许可证

World Agent:世界状态正确,不代表事件因果和长期推演正确

用可执行世界分开测量维护、规则演绎、闭环预测和反事实

World Agent将世界能力拆成两条评测线:把连续叙事维护为结构化、可审计的世界,以及在确定性引擎中预测状态变化。它不评画面是否逼真,而是检查事件发生、先后依赖、并发关系及行动后果。多模型能维持部分表面状态,却仍会丢失事件链和长时预测。

中山大学、华南理工大学、鹏城实验室等
世界评测事件流
阅读简报
世界模型论文公开 · 实现未确认

MA-WAM:用联合世界模型选择多智能体未来

固定策略提出候选,再按团队回报排序;部署需要集中观察

MA-WAM不重新训练部署策略,而让冻结的多智能体流策略提出多组联合动作,再用能交换跨智能体信息的世界模型预测回报,选第一步执行。实验显示排序有价值,但候选生成才是主要延迟,且集中式测试设定不能直接推广为分散机器人协作。

Guowei Zou 等
多智能体测试时规划
阅读简报
世界模型论文公开 · 实现未确认

AtomWorld-Mem:用记忆恢复局部原子状态缺失的信息

420倍衡量事件预算收益,不是精确动力学或墙钟加速

局部原子构型相似,不代表此前的演化路径与后续等待时间相同。AtomWorld-Mem把局部空间描述、近期动作与长期记忆结合,再在合法空位交换事件中选择方向,提升有限事件预算内的能量下降;执行仍依赖完整状态模拟器。

Tian Luo、Ruge Zhang 等 · 清华AIR等
原子世界模型部分可观测
阅读简报
世界模型报告与演示公开 · 模型未确认

HelloWorld:从七路驾驶画面到可控传感器生成

分阶段几何条件、因果历史与少步蒸馏

HelloWorld 将 2B 视频先验逐步适配到七相机驾驶观测,用独立的相机位姿与场景布局控制合成未来,再扩展到 LiDAR。它是一套可控观测生成系统:轨迹由外部提供,不等于学会车辆动力学或已经验证反应式交通仿真。

HelloWorld Team
驾驶世界模型多相机
阅读简报
世界模型仿真代码与权重可用 · MIT

AD-WM:让世界模型分清候选动作,而不只重建正确未来

残差动力学与动作恢复,面向反事实 MPC 排序

低平均预测误差可能掩盖不同动作之间的重要差别。AD-WM 用残差潜动力学和训练期动作恢复目标,逼迫预测保留动作导致的变化;部署仍用普通 CEM 搜索,不额外运行这些辅助头。

Jiabin Qiu 等
潜空间世界模型反事实规划
阅读简报
世界模型论文公开 · 实现未确认

RWM:在表征中连一条路径,再把局部段落解码成动作

省去前向动力学搜索,但路径的可执行性依赖训练分布

Representation World Model 不反复展开候选动作的未来图像,而是学习一种状态表征:在当前与目标之间构造潜空间路径,用浅层逆动力学将相邻点变成动作,再观察并重连路径。收益依赖表征把可执行的过渡组织得足够平滑。

Yijun Yuan 等
潜空间规划逆动力学
阅读简报
世界模型论文与TeX公开;实现及结果工件未确认可取

物理世界模型:哪些稳定性来自学习,哪些早已写在结构里?

补收9月24日研究;能量约束、参数干预与选择器保证需要逐项限定

这项研究用约九千参数的小物理模拟器,系统区分建模者提供的守恒结构、耗散通道和参数映射,与数据学到的能量函数、耦合和速率。重点是通过删去单个结构的对照,测长时稳定、参数干预和耗散是否仍成立。它给出值得借鉴的测量方法,但不是从视频自动发现物理定律,也没有证明扩大黑箱模型永远不能学会反事实。

Stony Brook University、Georgia Tech、Westlake University
物理世界模型结构先验
阅读简报
世界模型技术报告公开 · 制品待确认

InternW0:慢速预测未来,快速依据新观测调整动作

异步视频—动作专家与逐块 K/V 修正

InternW0 用大视频专家提供未来上下文,小动作专家按更高频率生成控制块;新的观测会改写动作专家看到的缓存视图。报告覆盖实验室操作与接触任务,但控制通路频率、整任务成功和子任务进度是三种不同证据。

上海人工智能实验室
世界动作模型异步控制
阅读简报
世界模型代码数据权重公开 · 非商业限制

WROP:训练世界模型记住被遮住的物体

150种程序场景与300题评测,物体持久性收益仍需跨生成器验证

WROP针对遮挡后的物体身份、容器内物体、阻挡与碰撞等现象,构建程序化视频数据并微调续写模型。它把“物体不能凭空消失或穿过障碍”转为可检查任务,但数据来自人工编排的动画,基准高分并不等于掌握通用动力学。

Haotian Zhang 等
物体持久性物理评测
阅读简报
世界模型推理代码、模型权重与评测集已发布

AEWM:在执行前改写下一步推理和行动,阻断错误任务状态

世界模型转向决策后果分类,真实工具仍负责产生观察

AEWM不预测搜索结果或终端输出,而是判断下一步决策对任务的贡献:关键、探索或噪声。EditAct保留前两类,遇到噪声则替换尚未执行的推理与行动,把真实执行反馈写回历史。它针对的是无根据假设和过时计划反复影响后续决策的问题,并用纠正轨迹进一步微调代理。

中国人民大学高瓴人工智能学院 · RUCAIBox
智能体世界模型决策编辑
阅读简报
世界模型论文公开 · 发布制品未确认

CoDeR:用可执行世界状态约束视频生成

代码维持状态,生成模型负责画面,二者如何对齐

CoDeR 将世界分成代码维护的逻辑状态和视频模型生成的外观,再把已看到的画面注册回三维表面。这有助于离开视野后的状态连续性,但显式代码规则与视觉一致性不等于已验证的真实物理模拟。

中国科学技术大学、通义实验室
代码世界视频生成
阅读简报
世界模型论文公开 · 实现未确认

WOLF:用预测前沿帮助 LiDAR 探索走出死角

世界模型提出观察目标,实测地图承担可达性与碰撞检查

WOLF 预测候选运动后可能看到的局部占据结构,把可信的预测边界加入探索目标。它将预测用于“去哪里看”,而不是直接把想象区域当作已测安全空间;隧道中覆盖改善明显,但花费更长时间,不能概括为所有场景探索更快。

中国科学技术大学、上海人工智能实验室
空间世界模型LiDAR 探索
阅读简报
世界模型论文公开 · 实现入口未核实

动作编码换一种写法,世界模型为何会改变预测

绝对与相对动作的等价性,需要模型和接口共同满足

这项研究检查同一物理动作改用绝对或相对编码后,潜空间世界模型是否保持预测一致。简单的成对一致性损失能降低差异,但也可能牺牲原本较好的预测,不能只看一致性指标。

Oxford、UCL、Hassana
动作表示不变性
阅读简报
世界模型推理代码公开 · 权重需同意条款

CausalWM:先预测运动和几何,再生成未来画面

时序因果掩码的意义,以及开放版本的实际边界

CausalWM 将光流、点图和未来 RGB 依序生成,以中间运动和几何约束画面。这里的“因果”主要指信息访问顺序,不能等同因果发现或真实干预推理;公开版本也只覆盖单视图推理。

Aether AI、UC San Diego、Vanderbilt University
世界模型运动与几何
阅读简报
世界模型论文公开 · 实现未确认

PileBelief:土堆表面一样,挖掘历史仍会改变结果

空间变化与响应记忆,分开保存真实执行和想象

PileBelief 为挖掘建立带历史的物理预测器:当前高度图和动作先产生局部预测,历史形变与负载响应再作有界修正。仿真支持历史有用,真实记录上的收益较小,且真机数据没有计划动作输入,不能称已实现闭环反事实规划。

清华大学、MIT 等
物理记忆颗粒材料
阅读简报
世界模型分析代码开放;权重另行获取

World Modeling in Transformers

有内部地图,为什么仍会走错路?把表征、定位和导航分别检验。

研究对曼哈顿随机游走训练的 TaxiGPT 做表征读取与因果干预,发现路网、运行位置和目标方向各有机制。分布外路线中的定位干扰可以解释部分错误,但这不是通用物理世界模拟器。

Pierre Beckmann、Matthieu Queloz、André Freitas
世界建模可解释性
阅读简报
世界模型论文公开 · 实现未确认

世界模型训练:让不确定性决定该展开多远

短程起步、逐步延长;节省训练计算不等于策略更强

这项研究在世界模型自回归训练中监测多个预测头的分歧,超过阈值就截断当前展开,避免模型早期在不可靠的远期预测上消耗计算。实验支持它找到合适的长短程课程,但回放同一课程也能复现收益,不能将效果全部归因于持续在线不确定性估计。

慕尼黑工业大学 · Nikodem Zymla 等
离线动力学训练课程
阅读简报
世界模型论文公开 · 实现未确认

Sandwich-Residuals:只改输入输出,世界模型能适应新环境吗

冻结预测器,用约十万参数与最近转移做测试时修正

该方法在冻结世界模型的输入与输出两侧加小残差,用执行中得到的最近转移更新,随后继续做潜空间规划。它以少量可训练参数取得接近较大适应方案的成绩,但仍依赖冻结表示能看见关键信息,也没有证明参数减少会按比例降低总运行成本。

Montanuniversität Leoben · Krishnam Soni 等
测试时适应JEPA
阅读简报
世界模型论文公开 · 实现未核实

WorldContact

先把接触关系算对,再扩充机器人训练数据

用显式顶点状态和接触关系预测购物袋动力学,再把预测轨迹渲染为策略训练数据。它关注动作造成的物理后果,而非只生成看起来合理的视频。

Caoliwen Wang、Mengdi Wang、Huamin Wang 等
接触动力学可变形物体
阅读简报
世界模型托管服务 · 部分模式邀测

HappyOyster · Model Studio 接入

世界模型进入会话与实时控制接口

平台更新表列入 Adventure、Directing、Acting 模式;文档明确世界创建、实时会话和控制指令的分工。它交付可交互视频流,不等于可导出的物理模拟器。

阿里巴巴 · Alibaba Cloud
交互世界实时视频
阅读简报
世界模型代码与权重公开 · Apache-2.0

Astronex-World 1.0:把视频先验改造成分块交互模型

五阶段后训练、几何控制与少步采样,也带来运动衰减

Astronex 在 Wan2.2-TI2V-5B 上加入 PRoPE 相机条件、动作接口和块因果缓存,报告单 L20 实时生成。完整报告同时暴露了复杂交互、回访漂移和蒸馏后运动变弱的问题;开放动作接口不能被写成已经可用的机器人策略。

Astronex Robotics、南京信息工程大学
交互世界模型因果视频
阅读简报
世界模型闭源 · 发布预告

Odyssey-3

把世界预测能力接到多种物理系统的动作上

用自回归扩散 Transformer 学习世界动态,再训练动作解码器适配机器人等系统。官方展示机械臂、人形、车辆及游戏案例;截至发布文,公开开放仍计划在随后几周进行。

Odyssey
物理智能动作解码
阅读简报
世界模型部分实现公开 · 非商业许可

World in World:把视频证据接入冻结世界模型

回顾补收:注意力证据、相机控制与开放模块的边界

World in World 将源视频、深度和目标相机轨迹转成冻结模型内部的视觉 KV 证据,让新视角生成尽量依附原事件。它还提出人体代理与长期记忆,但当前仓库只发布部分流程,视觉一致性也不能代替真实三维或物理正确性。

西湖大学
视频世界模型相机控制
阅读简报
世界模型论文与展示公开 · 代码待发布

PWM:把世界事实交给程序,把画面交给生成模型

持续状态、3D 包围盒和视频渲染之间的接口

Programmable World Model 用可执行规则维护实体、血量和事件等持续状态,再把 3D 包围盒编译成视频模型的空间条件。它改善了画面与规则的一致性,但状态正确由外部程序保障,不能据此声称视频模型自行学会了完整游戏逻辑。

Alaya Lab · Zheng-Hui Huang 等
可编程世界显式状态
阅读简报
世界模型论文公开 · 实现未确认

SG-JEPA:多步预测如何改变适合物理迁移的表征

已知重力条件下的外推,不能写成自动发现未知物理规律

SG-JEPA 在可变重力模拟中联合训练视觉编码器与预测器,用多步递归损失塑造表征,再冻结编码器训练控制策略。它研究的是给定重力参数时的预测与迁移;平均收益掩盖了部分重力点上的显著失败。

Andy Zeyi Liu 等
预测表征物理泛化
阅读简报
世界模型代码 Apache-2.0 · 权重访问未确认

ActionSplice:在视频采样中途改动作,不必全部回滚

把旧动作留下的中间状态搬到同一步的新动作状态

交互视频生成到一半时收到新动作,直接改条件会留下旧动作的中间状态,重启又浪费计算。ActionSplice 训练小型状态修正器,将被打断的求解器状态迁移到同一步的反事实状态,再继续冻结骨干的剩余采样。

Pardis Taghavi 等
交互世界模型动作干预
阅读简报
世界模型论文公开 · 实现未确认

LEAP:在潜在规划中补上可读的终点约束

回顾补收:动作梯度、数值目标与总计算预算

LEAP 在冻结 LeWM 的可微 rollout 上优化动作,同时让预测特征接近目标图像,并通过训练好的读出器接近数值目标状态。收益来自规划配方与终点约束的组合,额外状态监督、动作提案训练和线搜索成本都不可忽略。

普渡大学
潜在规划动作优化
阅读简报
世界模型闭源 · 早期访问

Atlas

把生成、重建与模拟放进同一个世界模型

将输入图像锚定到三维位置形成空间上下文,在同一框架下生成新视角、重建场景并探索动态模拟。相比只控制视频相机轨迹,它尝试把多次观察与生成结果放进可管理的空间状态。

World Labs
空间智能3DGS
阅读简报
世界模型推理代码与权重 · 非商业边界

Latent World Model:为导航预测目标兼容度

不生成未来像素,但反事实标签仍依赖几何近似

该方法用当前画面和候选动作预测与目标画面的兼容度,再据此为无动作标签视频选择伪标签、强化导航策略。它把世界模型从画面重建转向决策评分,但训练世界模型本身仍需要带动作和位置信息的轨迹。

Zengmao Wang 等 · 中科院
潜空间规划导航
阅读简报
世界模型论文公开 · 实现开放待核

策略变了,世界模型的置信区间也要重校准

固定预测器的误差覆盖,为什么不能直接搬到新的动作分布?

这项研究讨论世界模型不变、部署策略改变时的共形校准。用目标与源状态—动作分布的密度比加权残差,可以在明确假设下恢复边际覆盖;实验来自有限真实机器人转移池的受控重采样。

Ayush Mittal、Dhruv Gupta
阅读简报
世界模型代码 + 权重

Cosmos 3 Edge 后训练

世界模型如何变成设备端机器人策略

把 4B Cosmos 3 Edge 世界基础模型后训练成机器人策略,并部署到 Jetson Thor。技术指南给出数据、动作服务和闭环评估路径,也披露 120 项任务上 22.9% 的成功率。

NVIDIA
后训练动作生成
阅读简报
世界模型评测代码与公开案例可用

HarnessEval-W:让世界模型评分带上可检查的证据

按案例选择评测技能,观察质量、状态转移与持久性分别判断

一个漂亮视频的高分不说明动作正确或离屏状态持续演化。HarnessEval-W 把每个案例拆成能取证的问题,以工具和视觉模型分别检查,再保存评分与证据路径;它的主要贡献是可审计评测流程,而非证明某个模型全面理解物理。

Weiliang Chen 等 · MirroS
世界模型评测物理证据
阅读简报
世界模型论文公开 · 实现未确认

GeniWorld:先把机器人动作渲染成空间条件

URDF运动与场景动力学分离,用于交互模拟和训练数据合成

GeniWorld 不直接把关节数字交给视频模型,而是先用机器人URDF和相机标定渲染运动,再预测环境响应。作者用固定场景训练、随机场景测试,并把合成轨迹用于真实策略;这种空间约束有价值,但并不等于获得精确物理模拟器。

Chenghao Gu 等 · 清华与腾讯 Robotics X
视觉动作交互世界模型
阅读简报
世界模型闭源 · 研究展示

Real-to-Sim-to-Real

让生成的世界真正用于训练机器人

从真实任务构建可控仿真,再用仿真训练和筛选机器人策略。关键证据不是场景“看起来像”,而是不同策略在仿真中的相对优劣、失败位置与真实硬件是否一致。

World Labs / SceniX
仿真策略评估
阅读简报
世界模型训练代码 + 数据

MIRA

四个玩家的动作,共同驱动一个生成世界

在 Rocket League 中同时接收四名玩家动作,用共享表示生成连贯比赛画面。5B 模型在单张 NVIDIA B200 上运行到 20fps;它把世界模型评测从单人漫游推进到多主体交互。

General Intuition · Kyutai · Epic Games
多人交互动作条件
阅读简报