aiwillknow.AI 前沿观察每日 08:00 开始整理
具身智能全文深读与原图讲解

OpenFlyV2:用动作分段记忆与运动先验做机载导航

一轮流匹配推理为什么能更快,仿真提升又有多少转到真实飞行?

IN A NUTSHELL

1B视觉语言动作模型把历史压成动作分段记忆,并从运动原型开始生成航点。Jetson Orin NX实机10Hz运行,100次飞行总体成功48%;仿真与实机判据不同,不能把仿真成功率直接当真实无人机可靠性。

01

图解主要方法

一轮流匹配推理为什么能更快,仿真提升又有多少转到真实飞行?

一轮流匹配推理为什么能更快,仿真提升又有多少转到真实飞行?
图6|动作分段记忆MAM与结构化运动先验MSP查看大图 ↗
OpenFlyV2 论文作者团队,arXiv:2610.39287v1。引用方法讲解所需原图;原始插图以 PNG 格式呈现,图中内容未改动。 · 原始来源与图注 ↗ · 论文及原图 CC BY 4.0;代码与权重许可另列
  1. 1

    图6A:语言视觉主干连接航点专家

    约0.8B的Qwen3.5-VL与约0.2B动作专家组成1B模型,输入当前图、历史和指令,输出12个机体坐标系XYZ增量及停止信号。12是动作块长度,不是去噪次数;动作块再交给飞控执行。

  2. 2

    图6B:按动作变化形成记忆事件

    MAM根据已发生动作的变化因果分段,保留每段起止图像,用学习到的动作查询跨注意力提取视觉内容,并附加年龄信息。受限的M段、P个token预算让记忆跟随事件而不是机械堆叠帧;已完成事件可缓存,避免重复编码。

  3. 3

    图6C:从运动结构先验开始流匹配

    MSP把归一化轨迹聚成四类原型,按条件预测原型及长度、偏航等,围绕原型均值加相关噪声,流模型再把它变成动作。停止信号另设噪声;先验减少需要纠正的随机性,使少步生成可用,但不是证明一切运动都只需一步。

  4. 4

    训练、缓存与异步执行各司其职

    先两轮VLN/VQA训练,再三轮MAM/MSP,随后仅更新动作专家的RL;训练轨迹使用两步流推理,部署一步。前缀缓存、已完成事件缓存与生成执行重叠降低等待;这些系统改动与先验收益需要分项评估。

02

实验与证据

已阅读全文正文、仿真与实机实验,核对实验条件与原图;未独立复现。

来源证据72352导航与60006问答样本来自13环境,9训练4留出;800已见、300未见测试,显式停止且距目标25m内算成功,分别62.88%/52.67%。RL前一步基础49.82→MAM53.45→再加MSP57.09;两步下MAM59.45反高于组合57.73。 仿真划分与消融 ↗

我的解读我的解读:先验收益依赖推理预算,不能说所有步数都更好。数据是渲染仿真,人工审核约接受60%的模型标注,不是十三个实地采集环境。

来源证据输入446→218 token、去噪部分80→20ms;Jetson Orin NX 10Hz。四处地点、两处已见两处未见,50单目标加50双目标实机试次总体48%,人工判定接近地标。 效率与真实飞行 ↗

我的解读我的解读:局部去噪4倍加速不等于端到端4倍;实机判据不是仿真的25m球,超过一半任务仍未成功,不能只展示顺利飞行视频。

03

开放情况与使用许可

Ideal-ljl/AeroBrain仓库当前仅README与图片,代码/权重待发布。Hugging Face的Ideallll/AeroBrain有真实parquet等文件清单,未下载全量;未查到明确数据许可,且README说明两个废墟场景不公开。数据、实现、权重分别判断,不标整套已开源。

LICENSE论文及原图 CC BY 4.0;代码与权重许可另列

04

我的判断

独立分析 · 未复现实验

正方 · 为什么值得投入

我的判断:把历史记忆和动作生成的计算预算一起优化,比仅压缩视觉主干更贴近机载资源限制;实机100次记录提供了重要的迁移边界。

反方 · 哪些结论还不够

环境和指令规模仍有限,真实48%不足以支撑无人值守。原型先验可能压低罕见但必要的机动;记忆分段错误和地标歧义需要单独诊断。

综合判断

适合机载VLA架构研究;真实环境部署仍需更严格的闭环失败分析,数据可见也不代表许可已经清楚。

我会先做的验证

未执行的验证方案:在同一飞控、传感器和终止判据下,固定100组路线分别关闭MAM、MSP和异步缓存,记录碰撞/迷航/误停、端到端时延分布及电耗;追加陌生地标与重复绕行测试。

继续探索具身智能