aiwillknow.AI 前沿观察每日 08:00 开始整理
世界模型全文深读与原图讲解

VMem-Bench:记得更多,可能把不该出现的东西带回来

长视频记忆提高实体召回,同时损害排除与状态更新

IN A NUTSHELL

这项受控研究把历史检索与生成闭环分开:真实电影测选帧,30个自写故事测历史如何改变后续视频。相似度检索通常让应出现的实体更常出现,却也带入已过时的外观和不该出现的对象;“像以前”不能代替“符合现在”。

01

图解主要方法

长视频记忆提高实体召回,同时损害排除与状态更新

长视频记忆提高实体召回,同时损害排除与状态更新
原论文图2a:检索轨道与生成闭环的时间边界查看大图 ↗
中国科学技术大学 / Kling AI / 清华大学等,arXiv:2610.35001v1。引用方法讲解所需原图;原始插图以 PNG 格式呈现,图中内容未改动。 · 原始来源与图注 ↗ · 作者版权;arXiv非独占托管许可
  1. 1

    图2a上部:先读记忆,再揭示当前片段

    每一步只用当前指令和过去记忆取参考,不能偷看未来。Track A读取真实影片历史,评价参考选择,本身没有生成器;Track B则生成当前片段,再将自身生成结果写回,因此会积累早期错误。

  2. 2

    图2a左右分支:两个轨道回答不同问题

    A轨包含92部电影、16,548片段和2,803实体,用冻结标注评估检索。B轨有30个故事、2,824个五秒片段及9类压力情景,测试召回、精确和禁现对象遵守率。真实影片的检索成绩不能直接当生成质量证据。

  3. 3

    共享生成器:固定接口对比检索政策

    四个政策分别取文本相似帧、片段内均匀帧、DINO多样关键帧或片段后帧重排,均给3张参考;统一FLUX.2 Klein 9B关键帧加Wan2.2 TI2V 5B Turbo生成。无记忆与利用金标ID的最近出现参考是诊断对照,后者参考数量可变,不是预算匹配的可部署上界。

  4. 4

    闭环评分:把身份、状态与排除拆开

    统计必需实体是否出现、出现实体是否正确,以及禁现对象是否被排除;外观余弦相似度只能在可检测返回对象中计算。故事间自举给区间,但每故事每条件只有一个生成种子,区间不覆盖生成随机性。图中causal指不看未来,不是已证明某帧造成某个错误。

02

实验与证据

已阅读正文及附录A–H,核对实验条件与原图;未独立复现。

来源证据无记忆召回0.559、精确0.977、禁现遵守0.968;DINO关键帧政策召回增加0.133,精确减少0.057,禁现遵守减少0.114,对应故事自举区间均不跨0。 主表:召回与干扰同时变化 ↗

我的解读记忆有真实权衡,不能只报召回或外观一致性。不同政策生成不同历史,差值是整套政策效果。

来源证据62次长间隔角色返回中61次的现行外观已由提示写明;去掉外观描述后,无记忆召回0.984→0.565,DINO为0.581,其增益区间跨0。 长间隔与提示剥离 ↗

我的解读强提示本身解释大量表现,长间隔成功不能直接解释为长期记忆容量强。

来源证据InternVL裁判将无记忆绝对召回从0.559评为0.361,但仍支持四政策召回提高与禁现遵守降低;部分细分状态效应失去显著性。替代H3后端仅覆盖8故事。 附录F:第二裁判与替代后端 ↗

我的解读主要权衡有跨裁判支持,细分结论和跨生成器普遍性更弱。

来源证据一位作者审查早期运行的224个分层样本,必需实体漏失被归为写入29%、选择36%、合成7%、裁判27%。 附录G–H:错误归因范围 ↗

我的解读这是特定被标记失败的条件分布,不是总体因果分解;论文提出的状态过滤、读写门控尚未验证。

03

开放情况与使用许可

官方仓库包含评测、标注与共享生成器实现,代码Apache-2.0,自写prompt与gold为CC BY 4.0。原电影、模型权重以及论文原始生成视频和逐片段得分包不在该仓库发行范围,不能称全部结果可直接重算。

LICENSE作者版权;arXiv非独占托管许可

04

我的判断

独立分析 · 未复现实验

正方 · 为什么值得投入

我的判断:它把“记忆有没有用”改成可分解的召回、时态正确与排除问题,能帮助持久世界模型发现记得旧状态反而违反新指令的失败。

反方 · 哪些结论还不够

只有30个自写故事和单种子主实验,模型裁判有漏检;最近出现对照有金标优势,历史分叉也阻止逐帧因果归因。未证明增加存储容量本身导致单调恶化。

综合判断

适合用作长视频与世界记忆的诊断协议;不能从这些结果推出所有记忆模型都无益。

我会先做的验证

未执行的验证方案:从相同历史前缀、生成器状态和随机种子分叉,固定参考数量,仅替换当前有效、过时或过滤后的参考;人工盲评身份、状态与禁现对象,另加多种子检验。

继续探索世界模型