TACROSS:对齐人类与机器人接触事件,而非触觉通道数值
低成本手套扩充示范;机器人动作仍是真值,硬件和数据尚待发布
TACROSS 用压阻手套采人类接触,以有效性掩码、分传感器适配和共享时序编码,对齐电容机器人手的接触阶段与相对强度。人类示范用于触觉表示和带置信度的手部伪标签,执行过的机器人动作仍是唯一真值监督。四任务显示可用少量机器人示范结合大量人类数据,但不支持完全免机器人训练。
图解主要方法
压阻人类手套与电容机器人手读数不同,怎样让人类接触帮助策略且不把重定向当真动作?

- 1
校准并因果同步
五层压阻手套285个物理位置、每帧256数值、约150Hz,不能混同256维学习表示。卸载基线、增益、截断和无效位标记后,每参考时刻只选不晚于当前的最新RGB/姿态/触觉,保存采样年龄。
- 2
按解剖区域统一接触字段
区域向量含接触概率、相对强度及变化、持续时间、面积、压力中心、失稳代理和置信度;四强度档与六相位。没有测量的字段值和mask都为0,有效无接触仍保留mask。
- 3
分传感器适配,共享接触编码
人和机器人用独立浅层适配器,16帧×5指、15Hz窗口,经共享两层时序和指间Transformer形成256维手表示。任务/物体、原语、活动指、强度和相位匹配正对,无需跨域逐帧同步。
- 4
以多任务损失保留事件信息
对比学习拉近匹配窗口,以强度/相位困难负例区分接触;接触、强度回归/分档、相位、时序正则及域对抗共同训练。事件标签是传感器条件下的代理,不是绝对物理力真值。
- 5
以机器人真动作训练ACT
人类HaMeR姿态经手掌归一化、标定和重定向,仅供置信加权有效手部伪标签,手臂仍需独立监督。ACT输入三视角、状态与触觉token,预测60步8维或13维动作;部署只用机器人,先冻结触觉编码器20000步再低学习率联合训练。
实验与证据
全文37918字符、全部表格(含图像表III)读完,无额外公开附录;图4原图核验;官方项目页、首发与CC许可实际访问。
来源证据手套BOM10.86美元,285位置,0–20N单taxel测试,非线性8.26%满量程、迟滞11.65%,10分钟漂移0.39–0.41%。 表I;图像表III ↗
我的解读便宜和高覆盖不代表高精度绝对测力;表III商业价格与原型BOM基准不同。
来源证据人类记录159.09h,机器人24.86h,总24913次、有效22486次;这不是各策略实际训练子集。 表II ↗
我的解读不能把183.95h全部当每个实验训练预算,也不能把记录数等于有效数。
来源证据固定30机器人+150人类时均值91.9%,机器人30单独51.3%,无人类触觉73.1%,无语义对齐49.4%。 表IV ↗
我的解读在该数据设置对齐和触觉都有明显观察收益,但缺多训练种子误差条。
来源证据16机器人+160人类,四任务92.5/87.5/87.5/85.0,均值88.125%约88.1%;正文写88.3%。 表IV;IV-C/D ↗
我的解读机器人数量下降46.7%,按表均值成功下降约3.75pp;不照抄正文3.6pp。
来源证据固定15机器人时,人类0→90均值32.5→85.6%;105机器人单独四任务95/87.5/82.5/87.5。 表V ↗
我的解读支持人类扩充而非完全替代;该比较与固定采集时长实验不同。
来源证据匹配各任务50/150/200/250分钟预算时,Vision-IK Ego均值91.5%、机器人92.2%,记录吞吐140对40次/h=3.5倍。 图7;表II ↗
我的解读3.5倍是记录速度,不是学习成功率;有效率分别89.44%和86.89%,还需计校准、过滤和人工。
来源证据水果任务40次评估:92机器人38/40;50机器人+50人类37/40;25+75为36/40;10+90为34/40。 IV-C;式11 ↗
我的解读样本较小且无区间,更高替代比例降低观测成功;50+50估计采集110.3分钟对158.8分钟,节约30.6%,这是按速度/有效率推算。
开放情况与使用许可
实际项目页明确Code/hardware/data planned release、repository/download link to follow。论文声称设计文件可用与当前页面不一致;未见可下载实现、权重、设计或数据,不标开源。
LICENSE论文CC BY-NC-SA 4.0,图4按原图引用并署名;尚无代码、硬件或数据许可可核实,论文许可不能替代未来发布许可。
我的判断
独立分析 · 未复现实验正方 · 为什么值得投入
明确区分缺失测量和有效零接触,避免把未覆盖区域当作没接触。
机器人真动作与人手重定向伪标签分开,减少形态差异污染动作监督。
固定机器人数量、固定采集时长与单任务替代预算分别报告,能看到收益与代价。
反方 · 哪些结论还不够
表IV四项92.5/87.5/87.5/85.0平均为88.125%,表给88.1%,正文却两次写88.3%,需保留数值冲突。
未公开完整标定、配对元数据和训练实现,难以独立确认接触语义及各损失收益。
固定时长91.5%对92.2%只说明观察均值接近,缺区间与等效性检验;更高人类比例下成功降低。
综合判断
有说服力的方向是用接触事件与机器人锚点降低触觉数据获取负担;还不能证明跨任意传感器通用,更不能称资源已开源或人类动作直接取代机器人真值。
我会先做的验证
建议实验(尚未执行):跨第二种机器人手留一传感器测试,在同一有效采集时长和机器人数量下分别去掉掩码、相位、对抗项及伪标签;记录校准人工成本,多种子报告成功区间,并测试迟滞、掉帧与坏通道。