S²:用运动邻居检查机器人表征是否有用
图像里看起来相近的片段,是否也对应相近的动作轨迹?
Sensorimotor Alignment 用离线演示衡量视觉语言表征与运动结构的邻域一致性,不需要为每个模型重新跑机器人。它与成功率相关,但相关强度受机器人形态、样本数和模型家族影响,不能替代部署测试。
图解主要方法
图像里看起来相近的片段,是否也对应相近的动作轨迹?

- 1
图2:同一片段形成两套邻居
感知侧编码一帧RGB和任务指令,运动侧取之后的动作/状态序列。图中的绿色勾表示既在感知邻域也在运动邻域,红叉揭示看似相近却对应不同操作的片段。
- 2
用DTW对齐不同执行速度
单臂轨迹以位置、SO(3)旋转距离和夹爪状态计算局部代价,再做动态时间规整。位置、弧度和夹爪值默认等权且不另缩放;双臂ALOHA则用14维关节向量。匹配数据和坐标定义是前提。
- 3
实际分数不只是重合百分比
默认k=10,感知余弦矩阵与运动二元邻居矩阵先按共享邻居掩码,再做中心化HSIC与CKNNA归一化。附录明确使用有向矩阵,分数不保证落在0—1;简单邻居重合率只是解释直觉。
实验与证据
已阅读v2全文正文与附录A完整指标定义,核对实验条件与原图;未独立复现。
来源证据12个VLA在Simpler上的相关系数r=.717;8个原始VLM为.681。5个真实机器人策略复用既有40任务评测,r=.831。 正文3.1与附录A ↗
我的解读模型级样本只有5或12个;真实机器人结果并非本研究重新做了大规模实机实验。
来源证据6个WAM相关r=.718、p=.054;3个双臂模型换成不匹配的单臂DROID参照后相关从.999降到.246。 世界动作模型与形态失配 ↗
我的解读不能写“所有家族均显著”;3点近乎完美相关也不能证明可靠预测。
开放情况与使用许可
已读取v2(10月23日修订)。官方仓库提供 compute、extractors、analysis 与MIT正文;repos下第三方模型沿用上游许可,不将其全部权重视作本文重新开放。
LICENSE作者版权;arXiv非独占托管许可
我的判断
独立分析 · 未复现实验正方 · 为什么值得投入
离线筛选编码器和训练检查点有望节约机器人评测成本,并能暴露只学视觉相似而没学动作结构的表征。
反方 · 哪些结论还不够
分数依赖参照演示、运动距离、坐标系与机器人形态;相关不证明提升此指标会因果改善控制,更没有碰撞安全保证。
综合判断
可作候选排序和诊断信号,最终选择仍须匹配任务的闭环验证。
我会先做的验证
未执行的验证方案:对新机器人预注册一组未见检查点,离线计算S²后盲测成功率,比较跨形态与匹配形态参照,并用模型级bootstrap报告排名稳定性。