DexAgent：让视频到机器人数据流程积累可复用工具
分阶段重建、轨迹优化与验证；11种任务的63.6%闭环成功率不等于11/11回放全成功
DexAgent从一段第一视角人类视频和任务说明出发，让VLM按物体性质选择或编写重建工具、轨迹技能与验证函数，逐阶段迭代通过后再扩增成机器人训练数据。双手真机十一任务平均63.6%，明显高于所比较数据管线；但自动验证仍可能遗漏物理错误，工具库复用提速也依赖重复物体和实验次序。
图解主要方法
自动生成的重建技能和验证器，能否可靠地把一段人类视频扩成灵巧手训练数据？
- 1
把示范分解为物体属性与子目标
VLM从视频确认刚体、关节或软体属性，输出语义JSON、作用手和可观察成功条件。附录区分看见倒水姿态与真正看见液体流动，避免把意图当已观测结果。
- 2
按属性编写重建技能和验证器
从可编辑资产开始检查形状、尺度、静置稳定性、关节轴/行程或拓扑；逐属性通过后联合检查，再生成三个参数变体测试复用性，随后按图像掩码IoU放置资产。
- 3
生成可支撑子任务的姿势与轨迹
可用人体姿势重定向、接触优化或任务代码，先通过提起摇晃、滑动旋转等模拟测试，再用IK连接关键姿态；后续子任务失败时允许回修前段轨迹。
- 4
只扩增通过检查的机器人示范
随机物体与机器人状态，先采1500种子筛可达与可执行性，选500成功种子，不足继续采；VOID移除真人和物体，Blender渲染重贴图，输出头视及双腕视图微调π0.5。
- 5
将工具而非仅轨迹留入库
技能和验证器是带类型的Python函数，新版本分叉保存，后续视频调用复用；单阶段受预算或100轮上限约束，未通过不进入下一阶段。库仍可能积累被漏检的错误。
实验与证据
v1全文46359字符、v2全部差异及47731字符覆盖；额外读取15页PDF中HTML遗漏的附录JSON实例，图2视觉核验。
来源证据11任务，每任务单段640×480、30fps D435人类视频；YamBox双臂、两只Sharpa手、D435头视和双Zed Mini腕视。 V-A ↗
我的解读具体硬件与视角下的结果，不是跨机器人即插即用；视频输入为RGB，不应把相机能采深度等同实验必须RGB-D。
来源证据闭环每任务十次，500合成示范微调同一π0.5；DexAgent63.6%，SPIDER18.2%，V2D17.3%。 表IV ↗
我的解读约3.5倍指相对SPIDER的平均成功率，差45.4个百分点；不是所有基线统一3.5倍，也不是单个通用策略已覆盖任意任务。
来源证据开环回放11/11任务，SPIDER6/11；每任务十次有一次成功即可打勾。 表III；V-B ↗
我的解读这是可执行任务覆盖数，不能写成110次全成功或100%回放可靠性。正文相关段落误指表IV，实际回放定义见表III。
来源证据绳结50%、抽屉80%、绘写40%、生物操作40%，每任务十次。 表IV ↗
我的解读覆盖困难任务但仍有明显失败；成功演示画面不能替代统计。
来源证据OakInk仿真成功85.7%，Do-as-I-Do81.0%；平均物体位置0.03m、旋转0.12rad。 表II；IV-B ↗
我的解读成功阈值均值位置<0.1m且旋转<0.5rad，检验是轨迹近似和模拟物理，不保证精细接触或真实任务。
来源证据HOI4D刚体F-5/F-10为0.83/0.96、CD0.29；关节物体0.47/0.68、CD1.08。 表I ↗
我的解读论文未在该表完整标出F阈值/CD的单位与样本数，保留原指标名，避免擅自解释为毫米误差。
来源证据100段EgoDex累计210小时；首次4.3小时，技能复用2.2小时，资产复用13.1分钟。 图4；V-B ↗
我的解读整体均值2.1小时相对V2D3.7小时约降43.2%；17倍对应最后资产复用阶段，且重复物体刻意放末尾，存在顺序混淆。
来源证据第78样本库85技能168验证器；附录加任务样本后103技能188验证器。 图4；附录D、图8 ↗
我的解读是两个统计范围而非矛盾数字；库大小不等于已证明每个工具泛化。
来源证据附录开瓶例只观察到倾倒姿态，未清楚看到液体流或液面变化；抽屉行程称粗略视觉估计。 PDF附录B ↗
我的解读模型输出主动标出证据不足值得保留，但模拟器如果按错误意图建模仍可能通过自检。
开放情况与使用许可
两个作者项目网址均实际打开，均显示Code Coming Soon；公开演示、论文PDF和流程说明，未核实可运行工具库、策略权重或完整训练配置。
LICENSE论文与图2CC BY 4.0；尚无可核实本方法代码或权重发布许可。
我的判断
独立分析 · 未复现实验正方 · 为什么值得投入
十一种真机任务覆盖刚体、关节、绳索、工具和长序列，闭环策略测试比单纯好看重建更有说服力。
各方法后续共用扩增、视觉处理和策略模型，努力控制不同数据管线的下游差异。
预算耗尽未过验证时记失败；新技能用三个参数变体再测，并保留旧版而非直接覆盖。
反方 · 哪些结论还不够
回放任务成功定义是十次至少一次，不是每次成功；闭环每任务仅十次，未给置信区间或多训练种子。
最终13.1分钟来自重复资产复用，整个100段平均2.1小时；将15–17倍当作平均加速会夸大。
没有无验证器、固定库、独立验证器等充分因子消融，不能确定全部收益来自自进化或验证机制。
综合判断
将可复用程序和物理反馈组织成灵巧数据生产流程，有较广真机初步证据；仍需公开配置、盲测资产及独立验收，才能判断工具库在新物体上的可靠泛化与总体成本。
我会先做的验证
建议实验（尚未执行）：冻结独立验证器和未见物体分布，比较固定/增长工具库、技能复用/资产复用；记录失败尝试和全部API/仿真/微调耗时，扩大真机次数并测试摩擦、质量及关节限位偏差。