DexTacWAM：把指尖触觉写进世界动作模型

图 1 中触觉进入预测模型之后，动作头究竟读取什么？

1. 1

   把五指密集触觉压成一个手部视图

   22 自由度 Sharpa 手的十个指尖提供灰度光学标记图，经 1×1 灰度转 RGB 适配器和冻结视觉 VAE 编码。每手五指加查询 token，经位置与手指身份编码、时空注意力池化为 6×8×128 潜变量，残差初始为零以保留视觉先验。

2. 2

   先学习触觉重建与接触变化

   488 段、约四小时数据分 464 训练和 24 测试，用流式预测前后的触觉重建训练编码器。四小时是采集数据时长，不是总训练耗时；压缩目标要同时保留静态接触和变化。

3. 3

   将视觉与双手触觉共同预测

   2B 世界模型把视觉和左右触觉作为三种视图输入 DiT，模态内自注意力后做跨模态交互。每任务约百段成功演示用于适配，没有依靠大规模触觉中期预训练，也没有充分覆盖失败恢复。

4. 4

   从预测特征直接接动作头

   160M 动作模型通过跨注意力读取世界模型的单次前向特征，视觉与触觉键值分别做 RMS 归一化。并非先生成一段完全去噪的未来视频再执行；力、动作、状态多头辅助训练，60 维力仅为监督，推理时不作为力输入。

5. 5

   用模态压缩降低计算但保留测量范围

   将逐指视图压到双手视图，把相关 token 从 3168 减至 864。运行速度取决于相机配置、动作分块和模型头；论文的头部计时不等于全机器人从传感器到电机的端到端延迟。

以下为作者报告；已阅读 v1 全文及可用附录，本站未独立执行研究实验。实验条件与编辑解读分别列出。

已打开作者项目页及其链接，当前未找到本研究可核实的训练代码或模型权重；网页模板和作者链接不构成实现发布。

LICENSE代码、权重许可证尚未确认。