aiwillknow.AI 前沿观察每日 08:00 开始整理
本期研究 /

FIELD NOTES / 02

具身智能EMBODIED AI

从感知和推理,到机器人在真实环境中的行动与学习。

机器人VLA策略学习
RESEARCH SNAPSHOT收录概览
127项研究与重要更新
按来源核对开放状态
开源 / 开放35
闭源1
待开放 / 核实91

EXPLORE THE FIELD

全部已收录研究127

按工作日期排列 · 新 → 旧
127 项工作
具身智能论文公开 · 实现开放待核

SwapBot:换工具、传触觉,把夹爪变成厨房工具接口

低成本快换与工具匹配示教,能否提高长流程接触操作成功率?

通过磁吸快换、可传递关节扭矩的工具适配器和触觉传感,训练不同工具专用的扩散策略。豆腐烹饪整任务在20次测试中由35%到60%;工具选择依赖人工给定的子目标图,不是自主理解任意菜谱。

SwapBot 论文作者团队
阅读简报
具身智能论文公开 · 实现开放待核

OpenFlyV2:用动作分段记忆与运动先验做机载导航

一轮流匹配推理为什么能更快,仿真提升又有多少转到真实飞行?

1B视觉语言动作模型把历史压成动作分段记忆,并从运动原型开始生成航点。Jetson Orin NX实机10Hz运行,100次飞行总体成功48%;仿真与实机判据不同,不能把仿真成功率直接当真实无人机可靠性。

OpenFlyV2 论文作者团队
阅读简报
具身智能代码可见 · 许可与完整资源待核

LOGIV:动作做完了,前置条件还成立吗

怎样修复被后续动作破坏的旧条件,而不是从头重做整个任务?

LOGIV 给低层机器人策略加上符号计划与视觉核验。核心区别是把“这个动作执行过”与“它产生的条件仍然成立”分开,发现旧条件失效时只修复受影响的依赖部分。

LOGIV 作者团队
阅读简报
具身智能论文公开 · 硬件与实现开放待核

CuBot-STT:用外部搬运机器人重组无驱动方块

把驱动留在搬运器,结构模块能否同时轻量、承载和可重组?

CuBot-STT将120毫米、280克的无驱动立方模块与外部运输机器人组合。机械锁、触点供电和分层重配置规划共同设计;百模块结果主要属于规划测试,不能当作百模块实机演示。

CuBot-STT 作者团队
阅读简报
具身智能论文公开 · 开放边界见正文

PDRVLA:从中间视觉语言层提取物理动态 token

视频动态监督怎样进入动作专家,而无需推理时生成视频?

PDRVLA 为 VLA 增加57.3M参数的物理动态模块,从 Qwen3.5-4B 中间层提取50个token,与末层语义一起驱动动作专家。物理监督在训练时发生,部署并不运行视频世界模型。

北京大学、京东等
阅读简报
具身智能论文公开 · 开放边界见正文

SO-101 Bench:便宜机械臂上的空间操作评测

仿真排名一致,是否就说明成功率能迁移到实机?

该基准建立 SO-101 数字孪生,以四类空间操作、138个对象和可复用策略接口比较学习策略与工具智能体。它的实机检查保住了五种策略的排名,却也量化了明显的成功率高估。

Truman Hickok
阅读简报
具身智能论文公开 · 实现开放待核

ARC:只在将要失败时修正冻结机器人策略

少量人工干预如何分别回答何时、沿哪些方向、修正多少?

把机器人残差控制拆为干预时机门、低维修正子空间和自主强化学习。三个真机任务各12次测试平均成功率33.3%→75%;人工干预主要教门与方向,不是直接把所有人工动作塞进RL回放。

Adaptive Residual Correction 论文作者团队
阅读简报
具身智能项目与数据条目公开 · 代码许可待核

DexSuite:把灵巧手评测拆成可比较的交互阶段

跨机械臂、夹爪和灵巧手的任务,哪些差异能统一,哪些不能?

DexSuite在Genesis中统一任务接口、机器人配置和示范收集,提供30项任务与多种手臂末端组合。它的价值不仅在规模,而在于揭示:能抓起来与完成多阶段操作之间仍有很大落差。

DexSuite 作者团队
阅读简报
具身智能基准代码开放 · Apache-2.0

EmbodiedLab:机器人能不能亲手做出可信测量?

把操作、读数、推理和收拾实验台串成一次可核查实验

EmbodiedLab让智能体面对未知参数的实验装置,自己决定如何操作、读取和分析,覆盖30项实验与五个学科。成功不仅要求答案正确,还要有本轮真实操作产生的读数证据,并按任务要求恢复实验台。它是物理仿真实验室基准,不是真实湿实验室部署验证。

HexaFuture / 清华大学 / 新加坡国立大学 / 北京大学等
阅读简报
具身智能论文公开 · 开放边界见正文

RoboDoctor:冻结机器人策略外的诊断与纠偏

动作预览、实际执行和物体状态,如何分层核验?

RoboDoctor 不更新底层 WAM 权重,而在外部安排多模态诊断、短段放行和记忆修订。其价值在于区分“机器人到位”和“物体操作完成”,但报告来自回顾性运行档案,不是严格匹配预算的因果实验。

清华大学、纽约大学、西北大学等
阅读简报
具身智能代码与预训练权重开放 · 非即用控制策略

RynnVLA-Latent:先从视频学潜动作,再对齐机器人

三万小时异构视频如何转成带三维约束的策略预训练信号

人类和不同机器人的视频没有统一控制接口。RynnVLA-Latent先用三维视觉教师学习连续潜动作,再让VLA预测潜动作片段,最后用本体示范对齐真实控制。公开的第一阶段权重输出潜动作,不是下载即用的机器人策略。

香港具身智能实验室 / 香港中文大学 / 阿里达摩院等
阅读简报
具身智能论文公开 · 实现开放待核

HuGe:把第一视角经验接入人形机器人动作空间

统一动作 token 和伪本体状态,能否缩小人类视频到机器人的差距?

HuGe 使用SONIC动作空间连接人类第一视角数据、机器人遥操作和任务微调,在三种VLA结构上测试。论文的主要贡献是数据及表征接口;实机增益目前集中在取可乐这一任务。

Yang Liu 等
阅读简报
具身智能权重与推理脚本开放 · Apache-2.0

RoboJev:机器人成功裁判的域内收益与跨域代价

十帧加末帧多相机的终态判断,不能等同在线可靠性保障

RoboJev把任务描述、尝试视频的十帧及可用辅助相机末帧输入27B视觉语言模型,用一次前向输出成功概率。它在熟悉SO-101分布上明显改善原始JEV,但在未见实验室与机器人域上略低于基础模型,说明适配收益需要逐域核验。

Josef Chen / 独立研究者
阅读简报
具身智能代码与三类权重已公开

RynnUnify:先决定是否想象未来,再把世界表征接到机器人

统一推理与视频生成,在哪些任务上真正帮助动作规划?

RynnUnify将8B推理器和8B视频生成器组成16B统一模型,用场景记忆支持长程视觉规划;另训练分支路由Agent选择直接回答或调用生成,再扩展成世界—动作模型。真实机器人结果有提升,但视觉规划分数、问答分数与机器人成功率必须分开解读。

阿里巴巴达摩院等
全文深读执行与数据
阅读简报
具身智能论文公开 · 实现开放待核

Progress Probes:用 VLA 自身表征监测任务落后

只看成功示范学到的进度,能否提示机器人正在失败?

P² 从视觉语言动作模型的隐藏特征读出剩余任务进度,再与成功示范的正常进度比较。约两千参数的线性探针开销很低,不需要失败标签;但时间偏离并不天然等于危险,真机平均数的报告口径也存在待澄清之处。

卡内基梅隆大学、康奈尔大学
阅读简报
具身智能模拟实现公开 · 许可按组件核对

Echo:把停止与失败信号同动作一起预测

机器人能否在执行动作时知道任务结束,或需要恢复?

Echo给π0.5动作块加入停止与失败信号,用成功、失败、干预前和恢复轨迹共同监督,并通过异步去噪让信号影响动作。真实任务评分改善,但它既不是无标注训练,也尚未证明模拟中的失败监测和自动停止能力。

上海交通大学、Spirit AI、清华大学等
全文深读执行与数据
阅读简报
具身智能权重与示例公开 · 限非商业

FLORA:把操作视频变成时间段、动作描述和奖励标签

机器人数据引擎的质量、吞吐和非商业许可应如何同时审视?

FLORA由时间分割、动作描述和奖励三个专用模型组成,面向大规模机器人与人类操作视频。它把长视频切成可训练事件并给出结果、密集状态及自定义规则奖励;论文的低成本估算很醒目,但实际公开权重限定非商业研究,成本也不是本机或完整生产流水线的实测。

NVIDIA
全文深读执行与数据
阅读简报
具身智能评估代码公开 · MIT

S²:用运动邻居检查机器人表征是否有用

图像里看起来相近的片段,是否也对应相近的动作轨迹?

Sensorimotor Alignment 用离线演示衡量视觉语言表征与运动结构的邻域一致性,不需要为每个模型重新跑机器人。它与成功率相关,但相关强度受机器人形态、样本数和模型家族影响,不能替代部署测试。

Yunfei Xie 等 · Rice University / NVIDIA
阅读简报
具身智能论文公开 · 实现开放待核

DONIC:双手模仿,不能只看手指追得像不像

以物体运动、接触与片段内优势训练统一双手策略。

DONIC将多视角人类双手示范转成机器人参考轨迹,在仿真中训练统一双手跟踪策略。核心不是单纯扩大动作网络,而是让物体运动、每只手的接触贡献和同一片段内的策略改进共同决定学习信号。

Ropedia · Mingze Sun 等
阅读简报
具身智能论文公开 · 实现开放待核

SERA:改进机器人的执行规则,而非每次重训策略

开发阶段的规则演化,如何与测试时固定执行边界分开?

SERA在冻结VLA执行器外放置VLM规划器、任务上下文和可编辑规则,通过开发回放定位首个失败并修订规则。论文测试的是开发完成后固定的harness,不是机器人在测试中无限在线自我改写。

Tingwen Du 等 · SERA 研究团队
阅读简报
具身智能代码与预训练权重公开

AW-0:把技能代码接进视频与动作联合预测

默认代码用于指导动作;真正执行代码时还需要另一套门控。

AW-0用三个Transformer专家同步生成技能代码、未来视频和动作。代码为世界动作模型提供显式任务结构,另有混合模式调用控制原语。论文有真实双臂与灵巧手实验,但平均分采用分步骤奖励,并非完整任务成功率。

UC Berkeley / NVIDIA / University of Pennsylvania
阅读简报
具身智能代码及5B检查点Apache-2.0

FRED:把视频模型的未来表征蒸馏给动作模型

不完整生成未来视频,能否仍得到有用的动作条件?

通过视频模型的单次前向和未来表征自蒸馏,给动作扩散器提供低成本条件。真实机器人和仿真结果有提升,但真实任务多使用部分完成分,模型仍需多步生成动作。

FRED 作者团队
阅读简报
具身智能论文公开 · 实现开放待核

CausGround:先检索动作前提,再让机器人规划

怎样把交互经验变成“门未开就取不出物品”的可用知识?

CausGround 从受控交互中整理动作前提与效果,再把它们接到视觉语言规划器。相比只检索语义相似经验,反向追踪目标需要哪些前置动作更有效;但主证据来自模拟器的高层技能规划。

Yijun Shen 等
阅读简报
具身智能论文公开 · 实现开放待核

AdaDex:跟着人手学,再离开示范轨迹

把精细模仿与大范围目标探索混合训练,是否能得到可迁移的灵巧操作?

AdaDex 从短人手操作片段构造物体与手的参考运动,交替训练紧跟示范和偏离示范的两类环境。它在单个物体的未见运动上提升明显,并展示跨模拟器及真实机械手迁移。这里的“短片学习”仍包含每策略数天仿真训练,不是拍几秒就得到通用灵巧手。

AdaDex · Yuxuan Kuang 等
阅读简报
具身智能论文公开 · 实现开放待核

UniWALM:让机器人把自己说过的话当记忆

语言、动作共同去噪之后,怎样防止“记得正确、执行错了”?

UniWALM 在视频骨干上增加从零训练的语言与动作专家,同步生成子任务、文本记忆和动作,并把文本带入下一次控制。真实找物任务中取得11/18成功,但记忆与执行的边界仍会出错;作者的按键案例表明,正确文字计数并不能保证正确物理次数。

Brown University、Amazon 等
阅读简报
具身智能代码与规划器权重公开

AgenticRoboRL:训练机器人的工具调用规划器

保持底层控制器冻结,用真实工具上下文和终局反馈训练上层模型。

AgenticRoboRL 将代码智能体的SFT与多轮RL用于机器人上层规划:模型可以调用冻结VLA技能,也可以生成控制代码。代理记录实际请求和概率,避免训练上下文与执行时不一致。在仿真中RL带来进一步提升,但大量增益已来自教师轨迹SFT,不能全部记在强化学习名下。

Xinxin Liu 等 · AgenticRoboRL
阅读简报
具身智能代码 MIT · 场景资产单独授权

HyperDrone:高吞吐视觉仿真与微型无人机迁移

百万帧吞吐怎样转化为机载视觉策略,又有哪些外部依赖?

HyperDrone 将光线追踪渲染、无人机动力学和强化学习训练集中在高吞吐环境中,再把视觉学生策略部署到微型无人机。百万帧是低分辨率大批量的总吞吐;实机展示主要是视觉偏航控制,位置估计仍依赖外部动捕,不能称为完整无外部定位自主飞行。

Jonas Eschmann、Giuseppe Loianno,UC Berkeley
阅读简报
具身智能论文与演示公开 · 实现权重未核实

PhysWord:用动作词组织未来视觉与触觉潜变量

“抓取”如何同时成为可读语义和接触动力学的预测接口

PhysWord把16种原子动作词与未来感觉潜变量联合监督:模型既预测pick、place等词,也让对应隐状态接近将来的视觉或触觉特征。随后动作生成器读取这些时间有序的预测。论文覆盖触觉仿真、LIBERO-Long和双臂真实操作;其贡献是组织预测表示,而不是用语言词汇直接替代连续控制。

Jiaming Liu 等 · NVIDIA / Peking University / UC Berkeley
阅读简报
具身智能MIT评测代码 · 测试集私有

RoboValue:机器人价值分数升高,真的代表任务在进展吗?

用反事实指令、倒放、重复动作和恢复失败,拆开看似优秀的价值评分

35项仿真与真实操作任务、2792条测试轨迹,将机器人价值模型拆成任务理解、时间进度、失败恢复与价值一致性。结果表明成功判断和正向进度可以很强,却不理解改写指令、重复次数或恢复是否奏效;不能用单个总分替代在线控制可靠性。

Shengbang Liu 等 / 清华、智元及合作团队
阅读简报
具身智能论文公开 · 实现未核实

CTR:让双臂学习任务约束,而非示范中的固定先后

一只手暂停时,另一只手为什么也跟着等

双臂示范往往把任务必需的配合和操作者偶然的先后顺序混在一起。CTR在保持每只手局部运动和必需跨臂约束的条件下重排时间,并合成对应视觉观测;新增等待帧用损失掩码处理。研究同时检验应独立时能否独立、必须配合时是否仍守约束。

Shuyuan Hu / Deng-Ke Wu 等 · 上海交通大学等
阅读简报
具身智能论文公开 · 完整实现未确认

CEL/FERT:96台机器人如何共享失败附近的成功经验

减少新增专家动作监督,是否等于不再需要人?

CEL从已完成专家初始化的策略出发,把机器人群体执行产生的成功片段汇入共享训练;失败轨迹用于找到应加强的相似成功片段。论文同时研究局部故障隔离,避免单机暂停拖住整个群体。

Tsinghua · AgiBot · Infinigence AI
阅读简报
具身智能部分实现公开 · 开放范围见文

ScaleNav:先从无动作视频学局部导航,再对齐机器人动作

视频预训练能否替代为互联网视频硬造伪动作?

ScaleNav先让视频模型学习第一视角运动与环境变化,再用少量模拟动作数据对齐动作头。目标是起始画面中可见物体的语言局部导航,并不是开放环境的长程探索。

Zhejiang University · Li Auto · Shenzhen University
阅读简报
具身智能论文公开 · 仓库尚无实现

TILDE:让教师策略在学生失误时自动接管

自动恢复示范比人工接管更省事,也更可靠吗?

用进度监控决定何时切换到强教师,只保留成功恢复轨迹,再配合知识蒸馏训练学生。真实部分评分提升明显,但本文主要验证单轮数据收集,恢复更快不等于恢复更成功。

TILDE 作者团队
阅读简报
具身智能代码与检查点可用 · 许可待明确

VLA-Rolling:复用未执行动作,按置信度去噪

上一次预测的动作尾部,能否省下下一轮控制计算?

VLA-Rolling 保留动作块中尚未执行的尾部,用轻量置信度估计器判断其在新观测下是否仍有效,再决定重新加噪和去噪步数。四模型乘四基准的16组实验都减少动作块推理时间,14组成功率上升;真机优势则只来自20次试验中的一次额外成功。

浙江大学 OmniAI 团队
阅读简报
具身智能几何组件 MIT · 策略开放范围有限

无视觉精密装配:从本体感觉中读出接触

看不见插孔以后,动作历史能提供多少装配信息?

研究用高精度碰撞几何和大量仿真训练,让机器人凭关节与运动历史完成接触后的插入。真实机械臂在八种插销上取得173/237次成功,但任务从插孔附近开始,不涵盖搜索零件、抓取与完整装配产线。

具身智能论文公开 · 实现开放待核

PRIME:沿可达演示路径衡量机器人进度

距离目标近,不一定代表操作真的向前推进

PRIME 把演示构造成由机器人状态和视觉相似性共同约束的图,以到成功节点的最短路径定义进度。它改善了精密装配演示的筛选和仿真奖励,但真实机器人部分是离线行为克隆,不是在线强化学习。

清华大学 BNRist
阅读简报
具身智能论文公开 · 实现开放待核

机器人元推理:什么时候该继续算,什么时候必须行动?

在世界不停变化时学习规划计算预算

这项工作让策略选择一次动作持续多久,并利用这段时间继续规划,从而把计算延迟纳入控制问题。导航与吊载飞行仿真显示明显收益,但 Push-T 中最好的固定预算与自适应方法相当,真实导航展示也缺少量化试验规模。

University of Cambridge、George Mason University
阅读简报
具身智能代码Apache-2.0 · 权重未核实

MambaAct:用小型状态空间动作头替换大Transformer

动作专家缩小十倍,整机控制真的能快十倍吗?

把动作专家从311.5M压到29.7M参数,用状态空间块和复用的上下文调制降低多步流匹配成本。收益集中于动作头,端到端加速小于参数压缩,扰动测试也有退步。

MambaAct 作者团队
阅读简报
具身智能实现代码Apache-2.0

Reflex Engine:把控制器切换移入实时循环

0.01毫秒切换,并不等于0.01毫秒消除碰撞力

研究将ROS 2通信端点和内存预先初始化,通过共享状态引用和无锁指针切换,让不同控制行为在1 kHz循环中接替。它改善的是反射介入与恢复的中间件路径;硬件初始冲击、停止距离和应用阈值仍须分别测量。

Jon Škerlj、Sami Haddadin;MBZUAI、TUM
阅读简报
具身智能实现公开 · 代码/数据许可待确定

DSP:让机器人先学会玩,再用世界模型选动作

少量无目标示范如何变成可重复采集的数据来源?

DSP先模仿人类无目标玩耍,随后用同一策略自主采集接触转移,训练动作条件世界模型。规划时由玩耍策略提出候选,由目标奖励挑选;本文版本的RGB表格、结论与正文存在不一致,因此将硬件效果保留为作者报告。

Amazon FAR、马里兰大学;Botao He 等
阅读简报
具身智能论文公开 · 实现开放待核

Spark-0:把触觉同时作为视觉监督和动作反馈

部署没有触觉时,触觉预训练还能带来什么?

Spark-0用1000小时HumanTouch触觉示范参与预训练:离线接触区域监督视觉token,在线触觉历史则仅进入动作专家。两条路径允许同一模型有触觉或纯视觉部署,但真实任务仅50次试验,且精细插管仍无完整成功。

Xspark AI、清华、港大、港科大广州、北大;Tianxing Chen 等
阅读简报
具身智能论文公开 · 实现开放待核

Mem4Act:先教记忆保留什么,再教动作真正使用历史

固定512个记忆token如何支持长程操作,历史交换实验又验证了什么?

把历史帧直接交给VLA未必能形成有用记忆。Mem4Act用多时间尺度读取、语义问答和过去关键帧重建训练记忆,再把它接入动作网络;真实机器人四项任务平均成功率81.5%,但保留历史有明确容量,不能理解成无限长程记忆。

UCLA、North Carolina State University
阅读简报
具身智能论文公开 · 实现开放待核

MOSS:在初始噪声里分开机器人动作模式

能否不向流网络直接输入模式标签,也让策略按指定分支执行?

MOSS把可选动作分支映射到不同的源噪声分布,并随观测估计分支强度;在共享接近轨迹与分叉动作之间调整模式分离。真实三任务平均目标模式成功率84.2%,但模式仍是预先定义的离散类别。

南洋理工大学、清华大学
阅读简报
具身智能论文公开 · 实现开放待核

Whole-Body Dexterity:把手臂和躯干变成搬运接触面

无需在线物体状态输入,如何在遥操作引导下完成抱持、换位和腋下携带?

研究先生成稳定全身抓持姿态,再训练位置转换专家,最后蒸馏为本体感知控制器。Unitree G1的50次实机任务完成45次,但长程货架到桌面任务为7/10,且全部由一位熟练操作员引导。

Amazon、UC San Diego、University of Michigan
阅读简报
具身智能论文公开 · 实现开放待核

LIBERO-PeRM:完成任务之外,机器人是否遵守你的偏好?

把动作、技能与用户习惯拆开测,成功率高并不等于偏好对齐。

机器人能把杯子放对地方,却可能忽略“慢一点”“使用指定动作”或“我习惯用红色杯子”。LIBERO-PeRM 用固定任务目标、可控偏好变化和组合冲突测试,揭示通用 VLA 在任务完成与个性化之间的缺口。它尤其值得作为家庭机器人验收补充,但还不是现实家庭长期个性化的证据。

Zhixu Li 等,UCR、Yale 等
阅读简报
具身智能代码开放 · 数据权重未完整确认

Value as Memory:让机器人记住“刚才进行到哪一步”

历史价值预测帮助区分外观相似、进度不同的操作状态。

一张图像未必能区分机器人正在开始任务、重试还是从失败中恢复。VaM 将过去价值网络的进度估计压缩成策略记忆,并通过在线数据和历史人工介入持续训练。三类真实操作显示明显收益,但其记忆有效性依赖价值估计,训练也并非全程无人。

上海交通大学、上海创新研究机构与 Noematrix 作者团队
阅读简报
具身智能论文公开 · 实现开放待核

CoDA:用失败诊断组织机器人的训练课程

把场景生成、失败因素和奖励塑形放进可复用记忆。

随机增加场景不一定补上机器人的真正短板。CoDA 让语言模型根据执行失败提出难点假设,再生成目标变化与对照场景,并记住哪些变化确实造成困难。它在仿真中提高分布外泛化,同时暴露出更高的生成与训练成本。

UIUC、香港中文大学(深圳)、Amazon 等
阅读简报
具身智能论文公开 · 实现开放待核

PolyMorph:用身体拓扑组织跨机器人运动策略

同一策略如何适配关节数、体重和可用腿数不同的机器人?

PolyMorph 将关节和连杆参数变成节点,按运动学连接限制注意力,再与共享循环状态结合生成逐关节目标角。统一奖励归一化和机器人采样减少训练偏置;实机展示集中于 Raibo,未见本体的大范围泛化仍主要来自仿真。

Hyunsik Oh、JeongHyun Lee、Moonkyu Jung、Jemin Hwangbo 等
阅读简报
具身智能论文公开 · 实现开放待核

Temporal Flow Policy:让机器人记忆按真实秒数演化

控制频率变化时,策略能否仍然知道已经等待多久?

Temporal Flow Policy 在扩散策略与π0.5动作头前增加轻量记忆:用真实时间间隔控制各通道的指数保留率,让长短时间信息以不同速度更新。实验把控制步数与物理时间分开干预,但不能把这种局部积分性质理解为任意采样频率下完全不变。

Yushen Liang、Yue Peng 等研究团队
阅读简报
具身智能论文公开 · 实现开放待核

世界模型接入VLA:预测什么、接在哪里,结论会翻转

未来预测监督为什么有时提高机器人成功率,有时却破坏原有策略?

研究把四种未来预测接入方式、六类表征及两类骨干放到共享训练协议下比较。DINOv3等语义表征较稳健,解耦未来专家常有优势,但加入世界模型不保证每项任务变好;这里预测的是演示轨迹下的未来视觉特征,不是任意反事实动作的完整模拟器。

中科院自动化所、国科大、阿里巴巴、FiveAges
阅读简报
具身智能论文公开 · 实现开放待核

TacitVLA:让动作不再等待当前推理文本

推理监督、历史记忆与当次文本输入,哪一部分真正帮助机器人行动?

TacitVLA保留推理文本的训练监督,却屏蔽动作专家对当次推理token的注意力。无需历史记忆时直接省去文本生成;需要记忆时在执行动作期间生成下一次调用要读的记录。四组受控实验支持这种拆分,但收益依赖训练标注和执行窗口,不等于完全无需推理或记忆。

Jack Lu 等 / NVIDIA、NYU、UC Berkeley、Johns Hopkins、Stanford
阅读简报
具身智能部分实现公开 · 开放范围见文

λ₀:把人类第一视角经验转成全身机器人动作

人类数据扩展之前,身体、相机和动力学差异怎么处理?

λ₀以HumanVerse穿戴采集数据训练人形机器人移动操作。贡献不只是500小时数据规模,还包括三层动作对齐与分阶段训练;数据量、劳动成本、任务迁移和完整零样本能力必须分别解释。

Alibaba Token Hub · Amap · Lambda-humanoid Team
阅读简报
具身智能评测代码MIT · 底座闭源API

全上下文 VLM 控制 RoboMME:92.1% 背后的接口与失败

冻结模型直接输出末端航点,究竟证明了记忆能力,还是一套更强的系统配置?

研究让冻结的 GPT-6-Astra 保留整段交互历史,在RoboMME中直接发出末端位姿和夹爪命令。800回合单次运行成功737次,但不同对照的动作接口、视觉采样和训练条件并不一致。论文主动披露测试集参与开发、延迟和失败审计,适合作为系统能力基线,而非“机器人记忆已解决”的证据。

Jack B. Jedlicki、Amish Sethi、Heng Yang / Harvard
阅读简报
具身智能论文公开 · 代码待发布

Chronos Policy:让机器人知道观察发生在何时、动作应该何时执行

时间戳与时间随机化互补,但小样本任务得分不等同完整成功率

同样两帧画面,间隔20毫秒与200毫秒代表不同速度;模型如果只知道帧的位置,就无法区分。Chronos把图像、力和本体状态的采集时刻,以及所请求动作的未来执行时刻,直接写进注意力的位置编码,用相对物理时间解释异步传感器与推理延迟。

Changhao Wang、Jaden Clark、Shuran Song · Stanford
异步传感机器人策略
阅读简报
具身智能论文公开 · 实现开放待核

Noise Space Learning:冻结VLA,只学习从哪里开始去噪

轻量噪声策略能重分配已有行为,但仿真最优算法未必适合实机

在流匹配VLA前放一个上下文条件噪声策略,以PPO、SAC或优势加权回归学习初始噪声,动作生成器完全冻结。文章的核心是对三种优化方式在交互、更新成本和实机执行条件下作比较。

Junjie Lu、Chuheng Zhang 等
阅读简报
具身智能论文公开 · 实现开放待核

Splat2Act:扫描部署房间,再为机器人生成抓取示范

楼宇级场景发现放置面,两阶段适配的收益取决于场景是否匹配

手机扫描提供3D高斯外观与碰撞网格,单图重建目标物体,几何规划器自动生成抓取示范。论文将适配真实部署环境作为主要目标,而不是证明机器人已能泛化到任意家庭。

Xiaomeng Ye、Zsolt Kira 等 / Georgia Tech、Waymo、TRI
阅读简报
具身智能演示公开;仓库目前为网页与说明

SpatialHarness:用同步虚拟视角补足精细操作的空间证据

冻结动作模型,代价转向CAD、位姿同步与交互回放

SpatialHarness保留原有摄像头和冻结的多模态动作模型,维护与真实机器人同步的仿真场景,从虚拟角度显示孔、插头和把手之间的关系。关键不是生成更漂亮的视图,而是按静止、持握和抓放转换分别纠正场景;若几何状态错误,额外视角也会误导决策。

Jiayu Wang等 · 复旦大学、新加坡管理大学
虚拟视角数字孪生
阅读简报
具身智能代码已公开 · 官方权重待发布

PLaW-VLA:预测未来表征,再让动作读取它

三专家策略把视频预训练、未来监督和动作条件分开检验;真实机器人报告的是任务进度

PLaW-VLA在冻结的V-JEPA 2表征空间预测未来,避免先生成完整视频再解码动作。语义、世界模型和动作三个专家通过结构化注意力交换信息。它在RoboTwin困难长任务上有明显改善,但噪声和相机变化仍是弱项;公开代码可训练,不等于已获得论文预训练策略。

吉林大学、Astribot、哈工大深圳、香港理工大学、东京大学
VLA预测表征
阅读简报
具身智能论文与演示公开 · 实现待发布

VersaCamVLA:换相机时,让策略仍读同样大小的场景表示

固定的辅助token接口缓解视角变化,仍依赖标定与原生视觉输入

VersaCamVLA把数量可变、带内外参的RGB视图压成固定场景token,再作为π0.5的辅助视觉条件。训练时利用腕部相机运动和目标视图的RGB、语义、边缘监督学习表示;部署时丢弃渲染解码器。主要收益出现在改变相机位姿的测试,不能推成对任意未标定相机通用。

香港中文大学(深圳)、深圳河套学院、哈尔滨工业大学(深圳)
VLA多相机
阅读简报
具身智能论文公开 · 实现未核实

HT-Policies:生成策略的优势,也可能来自怎样处理训练误差

把MSE换成带输入相关尺度的Student-t回归,单次前向逼近多步采样表现

这项研究重新检查回归与生成机器人策略的差距:大误差样本可能因MSE的梯度权重而主导训练,未必只是动作多模态导致均值失效。HT-Policies用观测相关尺度和Student-t厚尾损失平衡贡献,保留单次前向动作预测。在多种骨干上有竞争力,但不能显式表示多个行动模式,也有明显逐任务回退。

宾夕法尼亚大学、清华大学、加州大学圣迭戈分校
机器人策略稳健回归
阅读简报
具身智能论文与项目公开 · 代码标注即将发布

SGS:百万并行机器人训练,关键还在把样本分给“快学会”的任务

成功率驱动的重置采样提升难任务学习,近目标覆盖与真机工程仍不可省

Success Guided Sampling维护固定任务配置最近的成功率,把更多重置分给成功率适中的配置,同时保留所有配置的非零采样机会。在百万并行环境中,它改善复杂地形和螺母装配的学习;视觉策略蒸馏后完成三项真机装配,但最难任务仍有明显仿真到真实差距。

华盛顿大学、NVIDIA
强化学习课程采样
阅读简报
具身智能论文与项目公开 · 代码和权重待发布

VioLA:让人类动作直接监督人形机器人的身体与手部潜在动作

冻结控制器承担关节协调,任务策略学选动作;零样本不等于未见任务类型

VioLA把高层策略的输出改成身体与手部各64维的共享动作表示,由冻结控制器执行。配套编码器把人类和机器人动作映射到同一空间,人类原始图像与指令因而能直接监督部署时使用的动作输出。真实G1无需任务专门微调即可完成多类动作,但抓持和行走的组合仍明显受限。

Vesoma、ETH Zürich、MPI-IS、图宾根大学、ELLIS Institute
人形机器人人类示范
阅读简报
具身智能技术报告公开;完整代码库与许可未确认

Embodied Turing Machines:把机器人策略写成可复用的状态程序

COAP将模型推理移到离线开发;高仿真成绩依赖几何先验与任务级代码

COAP让代码从RGB和本体感知测量、保存环境及任务状态,调用共享抓取、运动和感知库执行任务。编码代理在离线开发中调试分支并按验证成绩合并;测试时冻结程序,无VLM/VLA在线调用。RoboDojo仿真42任务总体成功率70.24%,但这不是未知任务零样本机器人,也没有真实机器人实验。

南洋理工大学、Ropedia · Kairui Hu、Siyuan Hu 等
代码策略显式状态
阅读简报
具身智能Apache-2.0代码公开;依赖外部模型与机器人环境

RoboRSI:机器人失败之后,应当修改技能树的哪一层?

自上而下归因与发布门槛组织技能积累;在线改进成绩必须与冻结迁移区分

RoboRSI将任务拆成有输入输出与后置条件的技能层级,让规划、执行、诊断和发布分别承担责任。执行失败时找到最早不满足后置条件的节点,仅修改所属分支,经过测试和历史回放才释放给下一轮;稳定动作序列再合并为参数化代码技能。论文支持技能复用和部分迁移收益,但多数主表是在评测任务上在线积累技能,不能当作冻结策略泛化成绩。

Zimo Wen、Yijin Chen、Chuan Wen、Cewu Lu等;NOEMATRIX项目
机器人技能失败归因
阅读简报
具身智能论文与演示公开;代码模型数据待发布

Arc:让机器人策略学会使用“为什么要做这一步”的语言条件

75K旧演示重标注,外部VLM持续提供推理;减少去噪步数不是端到端十倍提速

Arc把已有DROID演示重新标注成状态、原因、预期效果、动作、禁止效果与完成状态,再微调π0.5和Cosmos3-Nano,让动作生成真正依赖这些语言条件。部署时推理仍由额外视觉语言模型异步提供,原策略负责连续动作。多个零样本任务有明显收益,但额外标注、训练与推理成本不可忽略,强语言依赖也会把错误或过时推理传入机器人动作。

UIUC、Stanford、NVIDIA、University of Sydney、Proception
语言动作接地推理轨迹
阅读简报
具身智能论文与任务演示公开;未确认训练代码或权重

REACT:让同一动作块经历多次新观察,而不是反复重画短计划

滚动去噪加异步调度;主配置3Hz视觉更新、30Hz动作输出

REACT维护一个50动作的持续缓冲区,分成五个10动作块,越接近执行噪声越少。每轮用最新可用观测对整个缓冲区去噪一步,执行前块、左移后块并补入新噪声。动作因而在执行前被多次观察修正,同时保留长时上下文。异步视觉编码恢复连续动作输出,但也引入旧条件:普通任务中同步版本略胜,倒米和反应任务才更体现完整调度的价值。

上海交通大学、PrimeBot、浙江大学、上海科技大学、新加坡国立大学
VLA滚动去噪
阅读简报
具身智能论文与演示公开;代码Coming soon

Dex-One2Many:把一次人类演示变成关系约束,再让灵巧手自己学动作

分阶段重置缓解探索,但单视频不意味着低仿真成本或无需资产先验

Dex-One2Many不追踪演示者的手轨迹,而把抓住、接触、放入等关系提取成阶段场景图,再按图生成不同物体位置与抓法的训练初态。每阶段1万个物理筛选重置加上谓词密集奖励,使PPO能直接练习后半段任务。UR3加Wuji 1实机五任务未见配置平均成功75%,但这是任务内位置和抓法变化,依赖RGB-D感知、仿真资产、部分CAD替代和大规模并行训练。

首尔大学、马里兰大学、KAIST等
灵巧操作单次演示
阅读简报
具身智能论文公开;官方代码仍为Coming Soon

SkillWeave:把遥操作与手把手示教接成灵巧长任务

掩码处理人手遮挡,候选动作筛选处理技能交接;87%组合效率仍对应约27%整任务成功

SkillWeave为伸手和搬运采遥操作,为旋转、拧螺母和按钮接触采动觉示教。物体掩码引导视觉注意力,减轻训练中示教者手臂、部署时无人手的分布变化;技能结束时从前驱策略采多个动作块,选择接近后继示范起始状态的候选。三项真实任务各20次,有引导45%/15%/20%,无引导10%/0%/5%。

卡内基梅隆大学、庆应义塾大学、加州大学伯克利分校、Bosch
灵巧操作动觉示教
阅读简报
具身智能论文公开;官方GitHub仓库为空

RESETTLE:策略连续犹豫时,用同任务示范纠正一个动作

分歧监测、视觉检索与受限残差;短纠正不等于无碰撞保障

RESETTLE冻结原机器人策略,用同条件两个随机动作提议的持续分歧触发干预;V-JEPA2检索同任务成功示范,将机器人状态差形成伺服先验,再叠加受方向和幅度约束的视觉残差。每次只执行一个控制tick后交回原策略。LIBERO-Plus三策略平均成绩分别提升8.7、3.7、4.4个百分点,但一致地做错事可能完全不触发,局部纠正也无法保证解开物体卡住的状态。

香港科技大学、香港中文大学、思谋、哈尔滨工业大学深圳及深圳河套研究院
机器人恢复分歧监测
阅读简报
具身智能论文及附属软件公开;未确认独立代码许可

PIER:在机器人执行前,记录证据是否足以放行动作

有限逻辑测试全通过仍不代表物理安全;再观察能减少误拒绝,也能增加误放行

PIER把视觉/接触/滑移分数、过载标记和证据ID放进显式执行门控,按阶段最多请求一次再观察,返回放行、再观察或停止,并记录原因。1600个有限阈值格点测试无声明不变量违例,但1200条合成压力轨迹显示:噪声下再观察把有效状态误拒从57/120降至18/120,也把无效状态误放从5/120升至7/120。它是可审计软件接口研究,尚无通过验收的真实插入任务。

华盛顿大学、浙江大学伊利诺伊大学厄巴纳香槟校区联合学院、独立研究者
执行接口证据记录
阅读简报
具身智能论文公开;数据下载与实现待核实

ManiUnit:把长程机器人任务拆成可诊断的技能测试

局部操作78.7%不等于完整任务78.7%;组合系统完整成功率仍为18%

ManiUnit从BEHAVIOR-1K的50类活动整理137899个操作片段,用明确子任务指令消除阶段歧义,并恢复中间仿真状态独立测试21种技能。1260个测试实例对比原始、底座扰动和关节扰动起点,揭示相近总分下不同技能短板,以及起始姿态变化导致的明显退化。两活动的策略组合把完整任务成功从4%提升至18%,仍远低于局部操作分数。

南京理工大学、西北工业大学、Intellifusion
技能评测长程操作
阅读简报
具身智能代码与局部控制权重公开;采用PRL注册许可

SuperNav:让通用多模态模型通过工具指挥导航

视觉指点、技能说明和执行反馈形成闭环;强几何后端与评测成功条件决定结果边界

SuperNav让预训练多模态模型解释任务、在四向图像上选择目的点,并调用几何或学习控制器执行移动,再依据反馈搜索、复查与恢复。无需导航专项微调高层模型,单物体150任务成功率78%,多物体仅34%;结果体现完整系统能力,不能脱离几何资源、强模型和宽松到达规则解读为任意任务都可完成。

浙江大学、深圳大学、Causa Robotics
具身智能体导航工具
阅读简报
具身智能论文与展示公开;代码权重待录用后发布

CAPABLE:关节失效后,用动作执行历史修正冻结的VLA

共享关节编码与实时雅可比帮助迁移到未见故障关节;实机是软件锁定,仍有故障类型无法受益

CAPABLE不先识别故障名称,而从过去16步命令与实际运动估计各关节剩余能力,再给冻结的OpenVLA-OFT加有界动作修正。28个筛选后的LIBERO任务中,未在故障训练出现的j2锁定成功率由24.8%到59.3%,比等参数全局历史编码器高17.4个百分点;部分效能下降和行程限制上却落后于该基线。

不来梅大学、北得克萨斯大学、Toyota Motor North America
故障恢复残差强化学习
阅读简报
具身智能论文与演示公开;代码硬件数据计划发布

TACROSS:对齐人类与机器人接触事件,而非触觉通道数值

低成本手套扩充示范;机器人动作仍是真值,硬件和数据尚待发布

TACROSS 用压阻手套采人类接触,以有效性掩码、分传感器适配和共享时序编码,对齐电容机器人手的接触阶段与相对强度。人类示范用于触觉表示和带置信度的手部伪标签,执行过的机器人动作仍是唯一真值监督。四任务显示可用少量机器人示范结合大量人类数据,但不支持完全免机器人训练。

香港大学、香港中文大学(深圳)、INFIFORCE等
跨传感器触觉人类示范
阅读简报
具身智能全文公开;完整数据、代码、权重未核实发布

OmniDex:把孤立物体抓取种子扩展成杂乱场景抓取库

2.6百万场景与4亿标签,需分清仿真稳定、施力技巧和真实可执行性

先为单物体生成自由空间抓取,再把它们变换到沉降稳定的桌面、箱体和货架场景并筛除碰撞,降低逐场景优化成本。模型融合RGB-D、目标mask与相机参数,用Soft-WTA保持多种抓取模式、接触几何损失改善精度,推理时从64候选按物理代价选一个。

ACE Robotics、CUHK MMLab、CPII及合作高校
灵巧抓取杂乱场景
阅读简报
具身智能过滤实现公开 · Apache-2.0

CSF:同一段挥拳动作,能否由现场对象决定是否放行?

冻结动作生成器,用语义参考轨迹约束采样,并在执行中重接安全延续

CSF用生成器自身产生的安全与危险参考定义仿射语义边界,再由指令和视觉对象选择激活的规则。小规模QP在采样中修改动作估计;现场情况变化时,执行期屏障只改尚未执行的轨迹。

Lizhi Yang、Yiling Hou 等 · Caltech、NYU
运动生成语义安全
阅读简报
具身智能论文公开;实现开放范围待核

FAITH:安全已不可行时,让机器人减少预计伤害

把安全过滤与任务奖励分开训练;实测安全率不构成形式化保证

FAITH学习状态—动作的峰值伤害价值,用前馈残差网络代替在线投影,再让PPO在过滤后的环境中优化原任务回报。没有动作满足学到的安全条件时,同一过滤器转而优先减少预测峰值伤害。

Songyuan Zhang、Baljeet Singh、Sarthak Ranjeet Kaingade、Chuchu Fan、Bryan Trinh · MIT、Amazon
安全强化学习可行性
阅读简报
具身智能论文公开;实现开放范围待核

GNR:从已解出的机器人轨迹学习,减少每次重定向的搜索

条件流匹配预测IK残差;长时精细任务仍需要MPC闭环修正

GNR学习MPC成功轨迹相对IK参考的残差分布,把单次轨迹优化变成带人类动作与物体条件的多次生成。候选需在仿真中通过接触、穿透和物体跟踪检查;困难任务可用生成结果初始化MPC。

Dechen Gao、Yue Yang 等 · Meta Reality Labs及合作高校
灵巧手流匹配
阅读简报
具身智能实现与部分权重公开 · 权重许可待澄清

Long-WAM:机器人不仅要存下历史,还要学会用历史预测下一步

自回归视频预训练与异步执行协同,但更长记忆有延迟和数据覆盖代价

Long-WAM先进行无动作标签的机器人视频自回归预训练,再用相同因果结构接上动作专家:先预测带噪未来latent,再据此生成动作。历史长度增加能帮助部分长任务,但每种长度分别训练;19.2秒历史的收益伴随更高计算时间,不能写成免费扩充同一策略的记忆。

NVIDIA、MIT、香港大学、UC San Diego
世界动作模型视觉历史
阅读简报
具身智能论文与项目展示公开;实现和数据未核实发布

OpenViTac:把视觉触觉策略放进成对仿真与真机任务比较

历史触觉早期融入π₀.₅有收益,但每任务单独训练且精密插装仍困难

OpenViTac把接触能力拆为物性、易损交互、接触操作和精密操作,提供11个仿真与8个配对真机任务。OpenVTLA用AnyTouch2编码触觉历史,将压缩token投影后前置到π₀.₅的视觉序列。它改善所测任务平均成功率,但仍是每任务独立策略;配对仿真也不等于精确触觉物理孪生。

复旦大学、上海创智学院、合肥工业大学、Neote AI、中国联通
触觉历史仿真真机基准
阅读简报
具身智能代码已发布;100小时数据受限开放,完整数据待发布

TouchScale:统一硬件采500小时人类视觉与触觉,先训练触觉预测再适配机器人

代码可见,当前数据页仅100小时;机器人收益仍需真机示范

TouchScale以同一代头部RGB-D、双腕RGB和每手880触点手套,采集500小时、约87000段交互。人类数据无需动作重定向,只训练未来触觉变化,再用每任务50条机器人示范后训练。四任务平均成功从22.5%到57.5%,但数据规模曲线只覆盖一个平台,不能推广为免机器人数据的通用操控。

Texas A&M、Google DeepMind、CMU、斯坦福等;Overfit Lab与Noitom参与数据采集
人类触觉数据动作无关中间训练
阅读简报
具身智能论文公开 · 实现开放待核

iAm.md:让机器人先查清自己能做什么

机器人的结构说明、现场物体记忆和实时接口,如何约束智能体生成的控制代码?

iAm.md 把部署现场可确认的机器人事实写成结构化 Markdown,并将未知项显式保留。智能体结合语义地图和实时ROS 2接口生成、执行、修订代码。论文提供一个仿真个案:有自描述的系统完成工具构建,无文档系统在预算内未完成;这说明部署证据可能有价值,尚不证明跨机器人可靠泛化。

Vincenzo Guarino 等 / Sapienza University of Rome
阅读简报
具身智能论文与演示公开;代码尚未发布

Workhorse:从五点人体示范学习全身搬运、踢箱与攀爬

视觉规划与全身跟踪分别学习,再用互相模拟的误差增强接成闭环

Workhorse把躯干、双腕、双脚的位姿作为共同接口:5Hz视觉规划器生成1.16秒目标片段,50Hz跟踪器输出关节目标。两个策略都从同一人体示范分别学习,用输入漂移与重规划跳变增强应对闭环误差。G1展示搬箱、接箱和推倒后攀爬行李箱,但论文成功率只来自仿真。

加州大学伯克利分校 · Hybrid Robotics
人形机器人全身操作
阅读简报
具身智能实现公开 · 权重与数据待发布

StairVLA:缓存半成品动作,让小模型用新画面接着修正

把流匹配的中间轨迹作为层级接口;节省推理不能无限延长旧计划

StairVLA让高层VLA低频产生长时域的部分去噪动作,小型refiner再按最新图像修正短片段。两层通过动作生成过程的中间状态衔接,减少重复运行昂贵视觉语言骨干;论文同时显示,缓存计划过长、相机分布改变和复杂多物体排序仍会削弱表现。

密歇根州立大学 · Shangyuan Yuan等
层级控制流匹配
阅读简报
具身智能论文公开 · 本研究实现未核实

Encoded but Not in Control:机器人记住了新指令,手却仍伸向旧目标

固定场景的目标替换,比原任务成功率更直接检验语言是否控制动作

研究在固定场景中把合法抓取目标换成另一件可见物体,发现四种VLA/世界动作策略仍主要选择原目标。与此同时,指令变化会影响内部动作预测,线性探针也能读出新目标。语言敏感、信息可解码、真正按新意图行动因此是三种不同能力。

香港大学、香港中文大学(深圳)等联合团队
指令遵循反事实评测
阅读简报
具身智能论文与演示公开 · 实现未核实

EAPN:让机器人重规划的随机噪声跟着实际执行进度走

跨动作块保留相关性,减少反复换策略;它需要训练,且真机领先只有少量试次

异步动作块生成时,即使前缀接得上,每次重新抽噪声仍可能让后半段切换到另一种行为。EAPN用跨调用共享、按实际执行步数平移的随机轨迹,加上块内时间相关噪声和历史条件,帮助新动作块延续当前模式。

Magiclab Robotics、东南大学
异步控制动作分块
阅读简报
具身智能论文公开 · 代码和检查点待发布

FLEX-WAM:让机器人世界动作模型真正响应动作,而非只续写流畅视频

随机分块因果注意力与动作敏感度反馈;80%规划成功只在想象中验收

FLEX-WAM用一个联合流模型生成状态和动作,通过可变块大小支持逐帧低延迟或整块高吞吐。训练先学动作条件动力学,再用梯度校准和动作敏感度反馈保住模拟能力;机器人案例展示预测与现实不符的样本收集,尚未证明闭环执行想象计划或持续学习收益。

纽约大学 CREO、NVIDIA、ENS-PSL、ANITI
世界动作模型动作响应
阅读简报
具身智能论文公开;实现与数据未核实发布

数字孪生遥操作:把接触力和遮挡手指显示给操作者

力箭头减少纸杯变形但未显著提高完成率;透明显示的箱体结果仍是小样本描述

这套裸手双臂遥操作界面将指尖触觉信号显示为颜色或箭头,并用可选虚拟视角或局部透明数字孪生揭示遮挡手指。15人纸杯任务证明主观负荷降低,14人箱体任务中透明显示加力箭头成功率最高。它研究人类如何更好采示范,尚未检验这些数据训练出的自主策略。

DGIST、首尔大学
遥操作视觉力反馈
阅读简报
具身智能论文和演示公开;代码标注Soon

PatternDex:先学交互模式,再适配不同灵巧手

手腕与接触共同指导PPO,跨手迁移仍需微调和策略训练

PatternDex从人类演示提取物体与手腕的相对运动模式,再结合目标手的结构预测手腕轨迹和接触位置,指导强化学习执行铰接物体操作。它避免直接照搬人的手腕位置,却仍依赖重定向监督与仿真训练;真实验证目前是单个微波炉任务。

David Minkwan Kim等 · UC San Diego
灵巧手接触指导
阅读简报
具身智能论文与演示公开;官方代码Coming Soon

GOTT:用一个跨手接触基元连接物体轨迹与灵巧执行

到达、建立接触、再跟踪;跨手复用不等于无需模型和规划

GOTT把任务拆成Reach–Acquire–Move:上游给物体轨迹与大致接近姿态,共享闭环策略修正手指和手腕以建立稳定接触,之后按物体位姿误差跟踪。21关键点和26关节槽映射支持多手联合训练,把局部接触技能与手臂可达性规划分离。

Amazon FAR、UC San Diego、University of Chicago、UC Berkeley
跨具身控制灵巧手
阅读简报
具身智能MIT训练实现公开;动作数据与MANO另行获取

FlashDexRetarget:让多段人手示范共享训练,批量生成灵巧手轨迹

成功数字统计训练中曾经通过的轨迹;两种手分别训练,实机展示是轨迹回放而非闭环策略部署

FlashDexRetarget把逐动作优化改为多参考联合训练,以物体表面、手物距离、未来10帧和分手奖励配合FlashSAC复用经验。新版论文中XHand以29 GPU小时收集到90%的宽松指标成功轨迹,Sharpa以44小时达86%。这些是已见参考的累计转化率,不是新动作泛化或最后检查点的稳定执行率。

KAIST AI、Holiday Robotics
灵巧手动作重定向
阅读简报
具身智能论文与演示公开;代码待发布

DexAgent:让视频到机器人数据流程积累可复用工具

分阶段重建、轨迹优化与验证;11种任务的63.6%闭环成功率不等于11/11回放全成功

DexAgent从一段第一视角人类视频和任务说明出发,让VLM按物体性质选择或编写重建工具、轨迹技能与验证函数,逐阶段迭代通过后再扩增成机器人训练数据。双手真机十一任务平均63.6%,明显高于所比较数据管线;但自动验证仍可能遗漏物理错误,工具库复用提速也依赖重复物体和实验次序。

斯坦福大学、哥伦比亚大学
灵巧操作视频到仿真
阅读简报
具身智能论文公开 · 实现未确认

RIVET:先生成共用表示,再让机器人复用程序

视觉模型离线写四个模块,运行时换目标;已知网格和人工执行器仍不可少

RIVET用对象身份、网格和SE(3)位姿连接感知、关系、渲染与规划,让视觉语言模型离线生成能互相调用的程序。新起点和目标由这些冻结程序处理,减少每次在线调用大模型;它证明了同任务家族中的程序复用,但仍依赖人工设计表示、已知资产和执行器。

Ruixiao Yang、Mingxin Yu、Chuchu Fan · MIT
程序生成几何表示
阅读简报
具身智能论文公开 · 代码与权重待发布

Rolling-WAM:让未来动作分几轮逐渐去噪

保留滚动想象降低稳态重规划延迟,突变环境仍可能使旧未来过时

普通联合世界动作模型每次重规划都重新生成整段视频和动作。Rolling-WAM保留一个噪声程度错开的未来窗口,只把最近动作去噪完成,执行后接入新观察、移动窗口并补入噪声,从而把计算分摊到多个控制周期。

Yinghua Zhou、Junjie Ye 等 · USC / Brown / Toyota Research Institute
世界动作模型滚动去噪
阅读简报
具身智能论文公开 · 实现未确认

Self-Adaptive VLA:从失败轨迹推断硬件偏差

补偿常量偏移需要多次尝试,80%恢复比例不是单次成功率

机器人关节偏差会让原本可靠的策略突然失效。这项工作用有意注入的硬件偏移收集失败上下文,并把原专家示范预补偿为正确目标;部署时把过去试验压缩成上下文token,调整下一次动作,而不现场更新模型梯度。

Hongxin Zhang、Chunru Lin 等 · UMass Amherst / Genesis AI
硬件适应上下文记忆
阅读简报
具身智能实验代码与记录公开 · 许可待确认

机器人用Astra:经验记录能减少试探,但成功口径要读清

实机12次试验以人工确认接触为成功,不能写成已可靠按下电梯按钮

研究向固定GPT-6-Astra逐步提供机器人结构、相机和同步动作经验,观察完成电梯按钮任务的时间变化。结果支持可复用经验减少试探;但任务和试验数很小,局部技能经过研究者整理,实机成功定义只是接触,尚不是通用自主机器人系统。

Sida He、Lingxi Xie 等 · 华为
通用模型控制经验复用
阅读简报
具身智能论文公开 · 实现未确认

优势引导 VLA 后训练:先估计,再校准,再加权

固定离线数据,拆解真机收益来自哪里

论文把机器人后训练拆成优势估计、不同阶段间的分数校准与训练样本加权,先用人工接管和进度对照诊断,再在四项真机任务中验证。连续加权优于直接丢弃低分样本,但结论基于固定离线数据与有限真机次数。

上海交通大学、小米等
VLA离线强化学习
阅读简报
具身智能论文公开 · 实现未确认

CFM 策略蒸馏:把多个专家的速度场合成一个策略

真实动作锚点与教师引导必须同时保留

研究先为各任务训练流匹配专家,再让一个学生同时学习专家速度场与真实演示动作。它在八项 RLBench 任务上超过直接混合数据训练,但训练仍需多个专家,单一任务也可能退步。

弗赖堡大学
策略蒸馏流匹配
阅读简报
具身智能推理代码与权重可用 · 许可有边界

LeWAM:在 JEPA 特征里同时学习动作与未来

推理只生成动作,0.4B 是可训练参数量

LeWAM 以冻结 I-JEPA 特征为视觉输入,让一个 Transformer 联合学习动作流与未来视觉嵌入。结构化注意力防止演示动作泄漏,随后以与演示的距离排序候选做偏好训练;上线时不再生成未来画面或执行搜索。

浙江大学、西湖大学、百度
世界动作模型JEPA
阅读简报
具身智能代码与基准可用 · 数据非商业

EMem-Bench:机器人记忆要保留什么、覆盖什么、何时检索

场景、最新空间状态与事件经验的三层记忆

EMem-Bench 用 2554 个仿真任务检验历史信息是否真正支持后续操作,并提供三层记忆系统 EMem。关键不只是存得更多,而是区分场景身份、可覆盖的当前状态和需保留顺序的历史事件,再按当前任务取回。

浙江大学 OmniAI
具身记忆长期任务
阅读简报
具身智能论文公开 · 实现未确认

CMA:记忆改变了动作,是否也把机器人带向正确目标?

固定当前观测,用两段合法过去做反事实审计

CMA 构造当前看起来完全相同、但过去线索要求不同动作的成对任务。它先冻结机器人产生的动作,再交叉放入两种评估世界打分,从而把记忆敏感性、目标方向与真实任务收益分开,避免把“动得不一样”当成“记对了”。

Jiajie Zhang 等
机器人记忆反事实评估
阅读简报
具身智能论文公开 · 实现未确认

LEAP-CBF:用“最少破坏努力”衡量机器人安全余量

允许短时强扰动,但约束整段扰动的累计代价

LEAP-CBF 不只问每一瞬间扰动有多大,而是估计在固定后备策略下,把系统推向失败至少需要多少累计努力。这个值可指导切换和安全滤波;理论保证依赖精确势函数,学习到的近似值不能自动继承严格证书。

Oswin So、Eric Yu、Chuchu Fan
安全控制累计扰动预算
阅读简报
具身智能论文与演示公开;代码待发布

Morphometric Imitation:先改变人手形态,再找回接触并训练机器人

三类手的运动学与动力学验证,Sharpa真机268/300;接触位置与接触手指数是不同约束

方法先将MANO按目标手掌和手指比例变形,再恢复原人手在物体表面的接触位置,最后把骨架转成机器人关节轨迹。残差强化学习负责物理可执行性,点云学生策略再迁移真机。结果有明确跨手参考收益,但真实部署仍是每类别单策略、单种硬件,并非任意视频到通用灵巧操作。

加州大学伯克利分校
灵巧手接触重定向
阅读简报
具身智能论文与记录公开 · 平台代码未发布

本地编程智能体操作机械臂:代码能力如何变成动作

45 次真机试验,也暴露了人工技能与安全边界

研究让本地 Qwen3.8-27B 通过工具调用和临时脚本操作 UR3e。45 次试验有 30 次无需介入完成;无需任务微调并不意味着无需机器人知识,系统依赖人工手册、六份技能和底层保护。

Ghent University、imec
本地模型机器人编程
阅读简报
具身智能论文公开 · 实现未确认

Controller-Shaped Curriculum:让触觉反射先改善机器人示范

采集质量、学生策略和部署仲裁器需要分别评估

脆薄塑料杯既容易滑落也容易被捏变形。研究用 25Hz 触觉反射帮助操作者采集处于可行抓握区间的轨迹,再训练只读 RGB 与机器人状态的学生;部署时还可让仲裁器把夹爪控制交还给触觉反射。

Ziyan Feng 等
触觉示范数据效率
阅读简报
具身智能论文公开 · 实现未确认

Gaussian Is Enough:动作先验更接近目标,为何未必更好

七种先验的大规模对照,把关注点转回微调表示与真实闭环

把扩散或流策略从高斯噪声改为预训练动作、检索结果或条件分布,直觉上似乎能更快到达正确动作。论文发现:充分微调后,多数更接近目标的先验并未稳定提高闭环成功率;在极少示范时仍有例外,编码器更新也可能比先验设计更关键。

Chen Xu 等 · Toyota Research Institute / Cornell
流策略动作先验
阅读简报
具身智能代码与权重可见 · 权重许可待明确

THAW:把世界模型特征蒸馏进 0.8B 机器人策略

教师离线缓存,部署图不变;收益不等于免费获得物理推理

THAW 用冻结世界模型的中间视觉特征监督紧凑 VLA,训练后丢弃投影器,部署无需运行教师。相同学生的对照显示仿真和小规模真机收益,但缓存、训练成本仍存在,较难操作中的改善也没有消除接触失败。

Wisconsin–Madison、UIUC
VLA 蒸馏端侧机器人
阅读简报
具身智能论文与演示公开 · 实现未确认

DexTacWAM:把指尖触觉写进世界动作模型

触觉压缩、预测表示与策略头的作用要分别验证

DexTacWAM 将双手光学触觉压成两个潜在视图,与视频共同预测,再用中间特征生成动作。主表 70.6 分混合了二元和分步得分,不应直接写成 70.6% 任务成功率。

UIUC、UC Berkeley、Northwestern University
视触觉灵巧手
阅读简报
具身智能评测接口代码公开 · 模型权重未开放

LLM-as-Policy:Astra 直接选择机器人运动目标的能力与边界

独立评测中的仿真成绩,不等于可靠的真实机器人控制

研究将冻结语言模型放进动作闭环,让它读取图像与机器人状态、输出末端执行器目标,再由非学习式运动模块转成可执行命令。Astra 在 RoboDojo 仿真中明显强于同接口语言模型,但整体成功率仍低,真机试验还因设备损坏提前停止。

Wenbo Zhang 等
直接控制机器人评测
阅读简报
具身智能论文公开 · 实现未确认

ARPS:让世界动作模型只传递对动作有用的预测状态

32个状态token、两种未来目标,较大收益出现在分布偏移测试

预测视频容易不等于表示适合控制。ARPS 先诊断不同教师表示能读出多少动作信息,再用 V-JEPA2 的未来绝对状态与变化量监督紧凑接口;部署只看当前观察,不需要生成未来视频或运行教师。

Qiwen Gu 等 · Alibaba DreamX
预测表示仿真泛化
阅读简报
具身智能论文公开 · 实现未确认

VLA-Scope:机器人失败预警,先识别变化再看动作历史

53 维轻量风险模型的有效信号与连续误报代价

VLA-Scope 给冻结的 OpenVLA 加上两级监测:先判断初始输入是否发生已知类型的变化,再从动作前缀与隐藏状态预测最终失败。它是风险读出器,尚未验证自动停止或恢复;把单个时刻误报率当成整段运行误报率,会明显低估干预成本。

Texas Tech、Purdue
VLA 监测分布变化
阅读简报
具身智能论文公开 · 实现待核实

WM-VS:训练机器人判断动作是否真正接近目标

世界模型用于训练动作后果,部署时仍是实时闭环策略

WM-VS 不以视频逼真度训练世界模型,而把动作之后的视觉变化对齐到目标误差。冻结该模型后,策略通过短程想象学习误差收缩。真实机械臂的证据重点是到达目标后能否保持,而不是最好一帧有多准。

上海交通大学、中国矿业大学等
视觉伺服世界模型辅助控制
阅读简报
具身智能代码与权重开放

ActiveScale

机器人先换个角度看,再决定怎样抓

把历史画面与相机位姿监督加入 VLA,联合预测观察和操作动作。重点是遮挡下如何主动获取信息,而非只提高单帧识别精度。

CMU · 香港科技大学(广州)
主动感知VLA
阅读简报
具身智能论文公开 · 实现未核实

ViLoMan

从人类关门动作到只靠机载观察的全身策略

把人类与门的交互动作补成完整可执行轨迹,再将带特权信息的教师蒸馏成机载视觉策略。部署时用深度图和本体感觉直接输出关节动作。

中科院计算所 · 中国科学院大学 · 北京智源
全身控制人形机器人
阅读简报
具身智能论文公开 · 实现未核实

PASSAGE:让人形机器人组合穿越动作

看见地面、侧面和头顶障碍,再规划能实际执行的身体动作

将场景对齐的人体示范、局部三层高程图、流匹配规划器和感知式全身跟踪器连接起来,让机器人根据目的地组合跨越、侧身和低头动作。

Yuxuan Ma、Zicheng Zeng 等 · PASSAGE 团队
人形机器人闭环控制
阅读简报
具身智能论文公开;研究工件未发布

Collision Mesh Poisoning

机器人资产验收:看得见的形状,与实际参与碰撞的形状。

论文检查可视网格与碰撞网格分离带来的训练风险:仿真中通过的策略,换回正常几何后可能失败。重点在资产物理语义与验证条件,不是新的机器人基础模型。

香港科技大学、浙江大学
资产管线碰撞几何
阅读简报
具身智能实现公开可见 · 许可待明确

语言监督触觉:从传感器图像学习材料表征

冻结语言教师、蒸馏触觉编码器,再用少量标签适配分类

这项研究用材料文字描述监督视觉触觉编码器,使部署时只看触觉图像也能识别材料。其跨传感器结果值得关注,但实验包含目标传感器适配,且部分跨传感器类别已在蒸馏阶段见过,不能都称为零样本泛化。

Khalifa University · Mashood M. Mohsan 等
触觉感知跨传感器
阅读简报
具身智能论文公开 · 实现未确认

CHOREO:用统一轨迹接口把人形技能接起来

回顾补收:兼容性检查、过渡轨迹与固定跟踪器的分工

CHOREO 把动作库、强化学习和生成模型的技能统一成可检查的轨迹,再按语义计划进行边界对齐与桥接。其贡献是组合已有技能的接口和验证流程,主实验全部在仿真中使用固定跟踪器,不是在线学会任意新动作。

中国海洋大学、中科院等
人形技能动作组合
阅读简报
具身智能论文公开 · 实现未确认

Agent as Policy:通用编程智能体直接参与机器人执行

无需任务策略训练,但标定、控制器与运行预算仍不可省略

AGP 让通用智能体在执行期间反复看图、计算几何、写程序、请求动作并根据物理结果修正,而不只是预先写一段程序或选择已有技能。真实机械臂实验显示这种流程可完成多种桌面任务,同时暴露了时间成本与小样本可靠性的限制。

Mengzhao Jia 等
真实机器人运行时编程
阅读简报
具身智能论文公开 · 实现未确认

MaP-WAM:把长时记忆留给规划,把固定计划交给执行

语言与视觉计划结合进度校准,执行器上下文不随历史增长

机器人记住按钮颜色或已经按过几次,不一定需要每次动作都重读全部视频。MaP-WAM 保存完成段的稀疏真实画面,先生成下一段语言和视觉计划,再让固定上下文的 WAP 模型预测动作及进度,以视觉对齐修正进度漂移。

Sizhe Zhao 等
长时记忆世界动作模型
阅读简报
具身智能代码与检查点公开 · 数据增强不完整

Dex-X补收:从人类视频借轨迹,从仿真补接触力

视觉触觉融合改善抓取,已知网格与动作参考仍是部署条件

Dex-X先从人类视频恢复手和物体轨迹,在仿真中训练带触觉的特权教师,再蒸馏到点云与触觉融合的学生策略。9月7日首发,今天补收v2;关键贡献是用仿真补视频缺失的接触信息,不能解释为仅看任意视频就能自主操作未知物体。

Ruoqu Chen 等 · 清华大学等
灵巧操作视觉触觉
阅读简报
具身智能实现代码可用 · 数据与权重待发布

TacPAC:预测接触之后,随触觉修正尚未执行的动作

复用触觉—动作缓存,让快速修正不必重跑整个世界动作模型

慢速世界动作模型可以预估未来接触,却来不及为每次触觉变化重生成整段动作。TacPAC 先联合预测视觉、触觉和动作,再缓存触觉—动作表示,用轻量专家将当前触觉与预期接触比较,只修正仍未执行的动作后缀。

Zipei Ma 等
触觉闭环世界动作模型
阅读简报
具身智能检索代码公开 · 权重限非商业研究

RoboTok:按手的运动检索视频,而不是只匹配画面

回顾补收:从人体轨迹到仿真灵巧操作奖励

RoboTok 将人的手部轨迹压成可检索表示,再把相似动作变为机器人训练的引导。本文解读 09-02 的 v1;当前项目页另含后续展示,不能将不同版本的指标和真机演示直接拼入 v1 实验。

Rice University、NVIDIA
动作检索灵巧操作
阅读简报
具身智能代码 + 权重

VLAct

在固定机器人数据预算下,把表示学得更好

保护 VLM 已有知识,用多个动作头共同监督,并只统一物理意义相容的动作维度,训练更可迁移的机器人底座。研究强调固定数据与微调预算下的表示质量,而不只是扩充采集量。

StarVLA · Senqiao Yang 等
表示学习数据效率
阅读简报
具身智能闭源 · 合作伙伴访问

Gemini Robotics 2

从桌面操作走向全身控制与多机协作

将全身动作、具身推理与本地运行拆成配套模型:VLA 负责运动控制,ER 2 负责理解和长程规划,On-Device 2 适配低延迟部署。不同模型的访问范围和能力需要分别看。

Google DeepMind
VLA全身控制
阅读简报
具身智能代码 + 权重

Xiaomi-Robotics-U0

用世界基础模型合成具身数据

38B 多模态自回归模型联合学习图像生成、编辑与具身场景和视频合成,面向多视角一致的机器人训练数据。作者还报告合成数据对真实策略的收益,而不只比较图像观感。

小米机器人实验室
合成数据世界模型
阅读简报
具身智能代码 + 权重

LingBot-VLA 2.0

从双臂操作扩展到全身与跨机器人控制

用约 6 万小时预训练数据覆盖多类机器人与第一视角人类视频,统一更多身体自由度,并加入未来预测监督。研究重点是模型如何适应不同硬件,而不是仅提高一个仿真榜单分数。

Robbyant · 蚂蚁灵波
跨本体动作空间
阅读简报