具身智能全文深读与原图讲解

全上下文 VLM 控制 RoboMME：92.1% 背后的接口与失败

冻结模型直接输出末端航点，究竟证明了记忆能力，还是一套更强的系统配置？

Jack B. Jedlicki、Amish Sethi、Heng Yang / Harvard预印本首发 · 故障期间补收 2026.10.12

评测代码MIT · 底座闭源API

IN A NUTSHELL

研究让冻结的 GPT-6-Astra 保留整段交互历史，在RoboMME中直接发出末端位姿和夹爪命令。800回合单次运行成功737次，但不同对照的动作接口、视觉采样和训练条件并不一致。论文主动披露测试集参与开发、延迟和失败审计，适合作为系统能力基线，而非“机器人记忆已解决”的证据。

图解主要方法

冻结模型直接输出末端航点，究竟证明了记忆能力，还是一套更强的系统配置？

1
把整段经历保留在上下文
固定前视相机256×256，仿真每秒20控制步；主实验每3步采一帧并保留最新帧，相当于0.15秒间隔，再加入当前腕相机图、末端状态和标定。此前图像、回答、动作都留在同一会话，不做摘要或窗口截断。
2
输出航点并由运动规划器执行
模型输出世界系位置、欧拉角和开闭夹爪指令，规划器负责到达位姿。这是末端航点控制，并非直接输出关节力矩。主实验不读取深度、对象真值或oracle子目标，提示明确机器人左右与镜像相机的关系。
3
按固定回合预算评分
16任务各50个固定测试回合，1300控制步上限，单次运行、不重试。不可解析回答、提前宣告完成、运动规划失败与超时均计失败；环境成功判定优先于模型自述。
4
用失败审计和接口诊断拆解差距
图5展示提前完成、定位时误按按钮与不可达航点；红色虚线帧未发送给模型。另在特权技能接口中分别调整采帧和提示，使用配对回合检验，不能将该接口的成功率直接与航点实验相减归因。

已阅读正文第1–8节与附录A–B，核对实验条件与原图；未独立复现。

来源证据737/800=92.1%，95% Wilson区间90.1–93.8；文献人类参考90.5%位于区间内且采用oracle技能接口。最强已有榜单60.8%来自关节控制、三次运行。表1–2：800回合、单次运行 ↗

我的解读不同系统接口和重复次数不匹配，不能宣布统计上超越人类，也不能把31.3个百分点全部归因于全历史记忆。作者结果尚未获基准维护者验证。

来源证据25提前完成、12误触按钮、11按键过晚、5规划失败、4不可达、3回答解析失败、3其他错误；MoveCube和StopCube合计46次失败。第5节、附录A / 图5：全部63次失败 ↗

我的解读“能说出目标”不等于知道正确状态；作者未核查模型自述的到达次数，因此这些记录不排除计数或感知错误。

来源证据加密采帧与修正夹爪提示后，Astra在受影响300回合净增116次，GPT-4o净增9次；两模型增益差35.7个百分点，分层bootstrap区间29.0–42.3。第6节、附录B：特权技能接口诊断 ↗

我的解读这是配对诊断。另一个F+T提示带入oracle等待时间，94.6%的进一步结果不能当作纯视觉计时能力。

来源证据7563调用，客户端平均18.3秒/次，仿真等待；作者按假设单价由token估算总成本309美元，并非账单。模型2026-10-11 API无日期快照。资源与第7节：复现条件 ↗

我的解读不能外推实时控制或当前API价格。测试集参与帧密度和提示开发，左右约定亦来自早期整套测试失败，需新留出集检验。

官方GitHub可见harness、analysis和800回合结果目录，仓库MIT许可；论文CC BY 4.0。底座是闭源API，无可发布检查点；输入图像需向作者请求，不能称全数据与模型开源。

LICENSECC BY 4.0

独立分析 · 未复现实验

把整段历史与紧凑航点接口结合，在特定记忆基准上得到可审计强基线；公开失败分类与接口混杂有助于后续设计更严格实验。

单次仿真运行、测试集参与开发、模型预训练未知且API漂移；没有在同一航点系统中配对其他模型，也未分离旧图像、文本记录和动作历史的贡献。仿真会暂停等待调用，不具实时性证据。

把它当作需要复核的系统基线和失败案例库；92.1%不等于普遍机器人记忆能力、低层控制能力或显著超人表现。

未执行的验证方案：固定执行器和采帧密度，重新构造会话以彻底删除被消融历史，分别比较最新帧、纯视觉历史、纯文本历史和短窗口；在未参与提示开发的新任务多次运行并记录墙钟延迟。