Spark-0:把触觉同时作为视觉监督和动作反馈
部署没有触觉时,触觉预训练还能带来什么?
Spark-0用1000小时HumanTouch触觉示范参与预训练:离线接触区域监督视觉token,在线触觉历史则仅进入动作专家。两条路径允许同一模型有触觉或纯视觉部署,但真实任务仅50次试验,且精细插管仍无完整成功。
图解主要方法
部署没有触觉时,触觉预训练还能带来什么?

- 1
先统一人手与机器人数据
每手460个传感点屏蔽140个弯曲伪压力点,保留320点;双手、头和腕相机以60Hz同步。人手姿态经逆运动学重定向到WUJI20关节,双侧末端9维姿态加20关节合成58维动作,HumanTouch1000小时与其他来源混合,采样权重不等于小时占比。
- 2
训练视觉看懂接触区域
图3a在Qwen3-VL第25层同时对齐冻结DA3几何特征和手套投影的接触热图。接触图经MANO表面扩散与12×12池化,表达手级接触区域,不是精确接触点;离线噪声估计可用整段序列,部署时两个监督头都移除。
- 3
触觉绕过VLM进入动作专家
图3c以每手六区域20帧力历史形成12个时序token,以当前三维taxel形成12个空间token。图3b的36层DiT交替跨注意力读视觉语言层、在状态—触觉—动作序列做自注意力;50步动作块经flow matching学习,推理4步Euler积分。
- 4
明确缺失触觉与训练捷径
缺失传感器使用可学习占位,不当作零压力。图3d限制触觉query读取动作和状态,训练时偶尔切断动作/状态对VLM的直通路径;部署关闭该捷径,保留触觉门控并用异步RTC拼接动作块。
实验与证据
已阅读23页PDF正文与附录A–G,核对实验条件与原图;未独立复现。
来源证据400K步预训练、80K步微调;Visual PT与1000H使用同RGB和算力,后者保留触觉及接触监督。Ego Humanoid无触觉部署平均SR52.45→71.72%,SparkArena-Sim36.57→36.86%。 同RGB与预训练预算的比较 ↗
我的解读跨本体增益明显,但目标本体仿真增益仅0.29点;不能宣称所有场景都提高约19点,也未分别隔离接触监督与触觉路径贡献。
来源证据同初始条件配对,1000H平均SR52%、FTP-1 36%、Visual PT44%;插入三支试管任务所有方法完整成功率均0,Spark-0部分完成分31。 真实机器人:5任务各10次 ↗
我的解读完整成功和阶段分必须区分;少量试次与缺少多种子置信区间不支持高可靠生产结论。
来源证据同款手套对齐人体与机器人,头相机接触图仅处理手自身遮挡,可能标出被物体遮住的手部;每帧最大归一化丢失绝对力度。 数据与接触图局限:附录A–G ↗
我的解读它提供接触相关视觉先验,不是经标定的可见表面力场。对其他传感器布局的迁移尚需验证。
开放情况与使用许可
全文PDF可访问;本次打开论文给出的XsparkAI/Spark-0仓库及README返回404,未验证代码、HumanTouch数据或权重已可下载,不按论文中release措辞计作开源。
LICENSE作者版权;arXiv非独占托管许可
我的判断
独立分析 · 未复现实验正方 · 为什么值得投入
把触觉从额外输入扩展为可迁移的视觉学习信号,同时通过同RGB对照避免将收益简单归于多拍了视频。
反方 · 哪些结论还不够
所有配置下游都需微调;真实端使用相同触觉手套与单一本体。100小时配置未稳定超过Visual PT;训练预算96GPU,缺少多种子和拆分机制消融。
综合判断
适合研究触觉监督如何改善视觉策略,暂不宜将52%小样本平均成功视为通用灵巧操作成熟度。
我会先做的验证
未执行的验证方案:做接触图监督×触觉动作路径的2×2消融,固定RGB与训练步数,在换物体、换手套、传感器缺失及延迟条件下比较完整成功、滑落和人工介入。