PatternDex：先学交互模式，再适配不同灵巧手
手腕与接触共同指导PPO，跨手迁移仍需微调和策略训练
PatternDex从人类演示提取物体与手腕的相对运动模式，再结合目标手的结构预测手腕轨迹和接触位置，指导强化学习执行铰接物体操作。它避免直接照搬人的手腕位置，却仍依赖重定向监督与仿真训练；真实验证目前是单个微波炉任务。
图解主要方法
图2如何把人类演示变成适合目标手的指导，而不是直接复制关节动作？
- 1
把人的手腕与物体运动编码成模式
图2左侧用物体位置、旋转、铰链角及人的手腕相对位姿建立每帧512维token。空间MLP后接4层、4头时间Transformer，编码64帧中的相对运动关联，形成 Interaction Pattern。它不是手指关节轨迹，也不是从单张RGB直接输出动作；训练输入依赖已经提取的轨迹。
- 2
按目标手的结构预测手腕和接触
下方 Embodiment Encoder 把URDF中的关节数、掌与指节长宽编码，和运动模式拼成memory。6层解码器用64个可学习查询一次预测一段手腕位姿和物体表面接触距离。监督来自ARCTIC演示重定向后的手腕与接触点，以均方误差训练，仍使用重定向生成标签，不能称完全摆脱重定向。
- 3
让强化学习修正可执行动作
右侧PPO接收当前状态、目标物体轨迹和预测接触，输出手指关节目标与手腕残差。奖励同时鼓励位置/姿态/铰链跟踪和接触覆盖；远离目标区域的错误接触受罚。预测提供探索起点，真实接触动力学仍由仿真策略学习，不能把预测准确率当执行成功率。
- 4
换手时冻结模式编码器，重新适配执行
跨手实验冻结模式编码器，微调结构编码器与解码器，再训练相应策略。真实微波炉流程从一段人类视频用CoTracker3和HaMeR提取轨迹，在Isaac Gym训练后部署。一个视频是新增任务的演示量，并不表示没有ARCTIC预训练或无需仿真训练。
实验与证据
已阅读8页v1论文正文、三张实验表及项目说明，检查原图2；未发现附录章节。以下为作者报告，本站未执行训练或机器人实验。
来源证据【仿真条件】229段ARCTIC演示训练，6段未见演示测试。两只Allegro从距物体约22cm起步，跟踪500步；成功要求位置误差不超过10cm、旋转30度、铰链10度，并无双手/机械臂碰撞。完整方法平均92.8%，ObjDex52.2%，只用预测手腕58.1%。 第V节、表II ↗
我的解读我的解读：主要增益来自加入接触指导，不能全部归因于手腕偏移。这里的容差定义必须随成功率一起阅读；6条演示也不足以证明开放环境通用操作。
来源证据【分任务与误差】完整方法Notebook仅66.0%，其余5条94.2%–99.9%；平均位置误差2.40cm高于ObjDex的1.55cm，旋转3.59度也高于2.36度。作者按各回合结束前的步骤平均误差。 表II及评价说明 ↗
我的解读我的解读：失败早停与存活时间影响误差比较，不能把低误差解释为更成功，也不能宣称所有指标同时提升。应同时报告成功率、失败时间及相同有效区间误差。
来源证据【换手与真机】冻结模式编码器后，Shadow/Paxini/XHand平均84.0%/73.5%/71.6%；Paxini的Mixer只有12.6%。真机为Allegro+xArm6开微波炉，10次成功7次，示例门角0到74.2度。 表III、第V-D节 ↗
我的解读我的解读：跨形态复用有证据但不是零样本换手；任务间差异很大。真机单任务小样本不能用仿真92.8%替代，也不能推出真实双臂多物体成功率。
开放情况与使用许可
作者项目页可访问且提供论文、视频及方法图，代码按钮写Code (Soon)，未核实实现或权重可下载。不能把网页源码或演示视为算法开源。
LICENSE未核实代码/权重许可。论文是arXiv永久非独占托管许可，不授予通用图片再分发权；原图2仅作为必要方法评论引用，版权归作者。
我的判断
独立分析 · 未复现实验正方 · 为什么值得投入
手腕预测和接触指导有单独消融，证据支持接触对仿真成功率的重要作用。
反方 · 哪些结论还不够
跨形态不等于零样本，模式独立性的论断仍局限于有限手型和任务；真实验证规模较小。
综合判断
机制清晰的接触引导研究，值得继续验证；目前不足以称任意灵巧手的一视频通用操作系统。
我会先做的验证
未执行的验证方案：固定演示、起始距离与PPO预算，比较人手腕、预测手腕及预测手腕加接触；保留全新物体/手型，报告各任务成功率置信区间、接触失败和训练代价，再扩大真机重复次数。