PhysWord：用动作词组织未来视觉与触觉潜变量
“抓取”如何同时成为可读语义和接触动力学的预测接口
PhysWord把16种原子动作词与未来感觉潜变量联合监督：模型既预测pick、place等词，也让对应隐状态接近将来的视觉或触觉特征。随后动作生成器读取这些时间有序的预测。论文覆盖触觉仿真、LIBERO-Long和双臂真实操作；其贡献是组织预测表示，而不是用语言词汇直接替代连续控制。
图解主要方法
“抓取”如何同时成为可读语义和接触动力学的预测接口
- 1
图2(a)：连接历史感知与推理动作分支
Cosmos-Predict2.5-2B读取五帧头部相机历史，Qwen3-VL-2B读取其他视角、指令和可选触觉。两分支保留独立投影与FFN，在token维拼接Q/K/V共享注意力。触觉由T3编码，两指或五指特征聚合为2048维，每个末端一个输入token。
- 2
图2(b)：给同一动作词两种感觉版本
16个动作标签各有visual和tactile词表项，例如pick_v与pick_t，从同一个预训练词嵌入初始化但独立训练。隐状态同时承担词标签交叉熵与未来感觉特征的余弦对齐；未来图像和触觉只在训练中作为目标，不能作为测试输入。
- 3
图2(c)：按未来时间块生成，再产生动作
默认动作窗口H=16、间隔s=4，在四个未来时点生成词块。块内视觉和触觉互看，同一末端跨时间因果注意力，左右末端词块之间屏蔽；后续动作token读取先前上下文并以flow matching去噪。真实部署执行每块前八步并异步计算下一块。
- 4
触觉反馈替换有初始化条件
反馈变体将前面预测的触觉潜变量按目标时间聚合，代替在线传感器输入；尚无预测的初始时刻使用相应任务训练示范开头的触觉状态。它检验特定任务上的反馈替代，不能证明遇到任意未知接触仍可靠。
实验与证据
已阅读正文与全部公开附录，核对实验条件与原图；未独立复现。
来源证据预训练组成表为7400+小时，正文概述约7000小时；下游每任务50示范，三轮、每任务每轮100rollout。UniVTAC八任务平均90.3%，LIBERO-Long十任务99.6%；HDMI插入仍只有34%。 表1、附录A/F与仿真协议 ↗
我的解读高平均分不能隐藏难接触任务失败；对比包含官方报告和作者复现，预训练数据组成并非完全受控相同。
来源证据每任务100示范，三轮各30次，手工按完整任务标准判定；四任务平均71.7%，π0.5为45.8%、FTP-1为55.0%。未见背景、物体、位置在两项任务上分别改变，平均63.3%。 表2与附录G真实协议 ↗
我的解读证据支持指定平台和任务的提升，未同时测试全部分布偏移；π0.5不接收触觉，因此与其差值不能全部归因动作词。
来源证据扩展取纸为连续三轮，PhysWord70%、去掉词监督36.7%；扩展打包66.7%对50%。无在线触觉的两项真实任务90%和56.7%，相对完整模型各低3.3个百分点。单H100、batch1优化延迟94.6ms，约10.6Hz。 表9–10与运行时表12 ↗
我的解读长程重用消融比聚类图更接近控制证据；无触觉替换仍有训练任务初始化，H100吞吐也不是低成本端侧控制频率。
开放情况与使用许可
2026-10-21读取论文全文及作者项目页，页面提供演示和实验说明，未找到可核验的实现或权重发布链接。arXiv为永久非独占托管许可，不能视为代码或图像的开放再利用许可；方法原图仅作必要研究评述引用，作者保留版权。
LICENSE作者版权；arXiv非独占托管许可
我的判断
独立分析 · 未复现实验正方 · 为什么值得投入
动作语义、未来感觉与时间顺序被放在一个可训练接口中，真实长序列消融表明词监督不仅用于可视化，也可能帮助阶段切换。
反方 · 哪些结论还不够
词表仅16类，未覆盖全身控制；少量平台和任务、自动标注噪声、初始触觉先验及GPU资源限制外推。附录展示纸张滑落和手指未闭合就抬升，预测触觉不等于真实接触安全保障。
综合判断
是值得跟踪的语义结构化VLA方案，已有仿真和真机证据；需用等传感输入消融及未知接触测试检验泛化。
我会先做的验证
未执行的验证方案：固定预训练和传感输入，对照语义词、随机标签、纯潜变量；在新摩擦、载荷和物体上分别测试真实触觉、预测反馈及无任务初始化，并报告损坏、人工接管、长序列失败和P95延迟。