OpenFlyV2:用动作分段记忆与运动先验做机载导航
一轮流匹配推理为什么能更快,仿真提升又有多少转到真实飞行?
1B视觉语言动作模型把历史压成动作分段记忆,并从运动原型开始生成航点。Jetson Orin NX实机10Hz运行,100次飞行总体成功48%;仿真与实机判据不同,不能把仿真成功率直接当真实无人机可靠性。
图解主要方法
一轮流匹配推理为什么能更快,仿真提升又有多少转到真实飞行?

- 1
图6A:语言视觉主干连接航点专家
约0.8B的Qwen3.5-VL与约0.2B动作专家组成1B模型,输入当前图、历史和指令,输出12个机体坐标系XYZ增量及停止信号。12是动作块长度,不是去噪次数;动作块再交给飞控执行。
- 2
图6B:按动作变化形成记忆事件
MAM根据已发生动作的变化因果分段,保留每段起止图像,用学习到的动作查询跨注意力提取视觉内容,并附加年龄信息。受限的M段、P个token预算让记忆跟随事件而不是机械堆叠帧;已完成事件可缓存,避免重复编码。
- 3
图6C:从运动结构先验开始流匹配
MSP把归一化轨迹聚成四类原型,按条件预测原型及长度、偏航等,围绕原型均值加相关噪声,流模型再把它变成动作。停止信号另设噪声;先验减少需要纠正的随机性,使少步生成可用,但不是证明一切运动都只需一步。
- 4
训练、缓存与异步执行各司其职
先两轮VLN/VQA训练,再三轮MAM/MSP,随后仅更新动作专家的RL;训练轨迹使用两步流推理,部署一步。前缀缓存、已完成事件缓存与生成执行重叠降低等待;这些系统改动与先验收益需要分项评估。
实验与证据
已阅读全文正文、仿真与实机实验,核对实验条件与原图;未独立复现。
来源证据72352导航与60006问答样本来自13环境,9训练4留出;800已见、300未见测试,显式停止且距目标25m内算成功,分别62.88%/52.67%。RL前一步基础49.82→MAM53.45→再加MSP57.09;两步下MAM59.45反高于组合57.73。 仿真划分与消融 ↗
我的解读我的解读:先验收益依赖推理预算,不能说所有步数都更好。数据是渲染仿真,人工审核约接受60%的模型标注,不是十三个实地采集环境。
来源证据输入446→218 token、去噪部分80→20ms;Jetson Orin NX 10Hz。四处地点、两处已见两处未见,50单目标加50双目标实机试次总体48%,人工判定接近地标。 效率与真实飞行 ↗
我的解读我的解读:局部去噪4倍加速不等于端到端4倍;实机判据不是仿真的25m球,超过一半任务仍未成功,不能只展示顺利飞行视频。
开放情况与使用许可
Ideal-ljl/AeroBrain仓库当前仅README与图片,代码/权重待发布。Hugging Face的Ideallll/AeroBrain有真实parquet等文件清单,未下载全量;未查到明确数据许可,且README说明两个废墟场景不公开。数据、实现、权重分别判断,不标整套已开源。
LICENSE论文及原图 CC BY 4.0;代码与权重许可另列
我的判断
独立分析 · 未复现实验正方 · 为什么值得投入
我的判断:把历史记忆和动作生成的计算预算一起优化,比仅压缩视觉主干更贴近机载资源限制;实机100次记录提供了重要的迁移边界。
反方 · 哪些结论还不够
环境和指令规模仍有限,真实48%不足以支撑无人值守。原型先验可能压低罕见但必要的机动;记忆分段错误和地标歧义需要单独诊断。
综合判断
适合机载VLA架构研究;真实环境部署仍需更严格的闭环失败分析,数据可见也不代表许可已经清楚。
我会先做的验证
未执行的验证方案:在同一飞控、传感器和终止判据下,固定100组路线分别关闭MAM、MSP和异步缓存,记录碰撞/迷航/误停、端到端时延分布及电耗;追加陌生地标与重复绕行测试。