Mem4Act：先教记忆保留什么，再教动作真正使用历史
固定512个记忆token如何支持长程操作，历史交换实验又验证了什么？
把历史帧直接交给VLA未必能形成有用记忆。Mem4Act用多时间尺度读取、语义问答和过去关键帧重建训练记忆，再把它接入动作网络；真实机器人四项任务平均成功率81.5%，但保留历史有明确容量，不能理解成无限长程记忆。
图解主要方法
固定512个记忆token如何支持长程操作，历史交换实验又验证了什么？
- 1
01 · 从保留历史读取多尺度信息
图2左上先用冻结SigLIP编码历史第三人称图像，每帧池化为16个视觉token，并加入状态、相位、时间等信息。512个可学习记忆查询按32→16→8时间窗口逐级读取，再做全局自注意力。RoboMME最多保留164帧、间隔0.5秒，RMBench及实机最多128帧、间隔1秒；固定的是输出接口，记忆仍从保留历史重新构造。
- 2
02 · 用两类回顾监督决定记什么
语义QA从已观测子目标边界构建问题，DINOv3关键帧重建则保留细粒度视觉信息。重建用低秩分解减少输出负担，未来关键帧被掩蔽；实机子目标仍需人工标注。“无额外QA标注”不等于完全不需要任务标注，也不能把训练中的未来计划问题当作测试时已知未来。
- 3
03 · 两阶段训练克服历史被忽略
先冻结VLA，训练记忆及回顾监督20K步；再联合训练动作与记忆60K步，冻结SigLIP，记忆学习率降为动作侧的0.1倍。实机对应10K与30K步。图2下方区分两阶段，目的不是单纯增加上下文，而是防止动作损失把刚形成的历史表征破坏掉。
- 4
04 · 让记忆调制每层动作特征
动作侧交叉注意力读取记忆，产生缩放与平移量调制动作特征，10步流匹配生成动作块。RoboMME动作块20步，RMBench与实机50步；当前图像仍提供即时状态。只有保留历史与当前观测共同作用，才能处理此前看见但现在遮挡的信息。
实验与证据
已阅读正文与全部公开附录，核对实验条件与原图；未独立复现。
来源证据RoboMME16项任务各50次，整体49.88%，FrameSamp+Modul44.51%；RMBench9项各100次，61.0%对NativeMEM48.7%。RoboMME物体恒存子项31.50%，低于MemER的53.17%。 表1–2：两个仿真基准 ↗
我的解读总体提升有跨任务依据，但不能宣称所有记忆类型领先；RMBench多事件记忆优势比单事件更明显。
来源证据YAM四任务各70条示范、各50次测试，共200次，成功163次即81.5%。FrameSamp为42.0%，GPT-6 Astra42.5%；后者使用不同动作接口、远程调用及决策/时间限制。 实机实验与附录协议 ↗
我的解读强于所测基线，但GPT对比不是同动作空间、同延迟的纯模型能力对照；任务分布仍集中在四种桌面操作。
来源证据保持当前观测、换入同任务其他轨迹的过去历史，两阶段模型49.88%降至16.13%；一阶段全损失为33.38%，两阶段记忆学习率1倍为43.25%，0.1倍为49.88%。 记忆交换与训练消融 ↗
我的解读历史交换提供策略实际依赖记忆的干预证据，但不证明每个记忆事实正确；训练日程是效果的重要组成。
来源证据实机A6000单周期335ms、7.2GiB；FrameSamp340ms、7.0GiB，原π0.5为131ms。37次失败中34次为错误行为，3次不可恢复；完成时间只统计成功轨迹。 效率与失败分析 ↗
我的解读相对同类历史基线成本接近，相对无记忆策略仍有明显增量；不能用成功样本耗时推断全部任务平均效率。
开放情况与使用许可
2026-10-18核对官方项目及GitHub：仓库仅README、docs和忽略文件，数据标注Coming Soon；未确认策略实现、训练权重和可用数据发布。论文公开不等于实现开源。
LICENSE作者版权；arXiv非独占托管许可
我的判断
独立分析 · 未复现实验正方 · 为什么值得投入
最有价值的是把记忆覆盖、内容监督、动作利用分开设计，并用历史交换检验依赖关系；这比只展示更长上下文的成功视频更可检验。
反方 · 哪些结论还不够
历史容量有限、构造成本随保留帧数变化，尚未验证无限运行；实机需要子目标边界、四任务与人工成败判断，跨物体和开放环境泛化不充分。
综合判断
适合作为有示范数据的长程操作记忆模块参考；证据支持任务内记忆利用改进，不支持无限记忆或全面超越通用智能体。
我会先做的验证
未执行的验证方案：在同一动作接口下固定延迟预算，对遮挡长度、错误历史比例、128帧容量之外的事件进行分层测试；同时统计失败耗时和安全接管。