DK-VLM：让几何决定注意力，而不替换语义位置编码
怎样在保留预训练视觉语言能力的同时，学习跨视角位置和连续转向？
DK-VLM在Qwen视觉语言骨干选定层并行加入几何注意力，用场景点和相机姿态调制token关系，再用门控融合。参考系组合监督教模型逐步更新朝向。其证据支持空间问答提升，但不是机器人闭环控制或可编辑3D资产生成系统。
图解主要方法
怎样在保留预训练视觉语言能力的同时，学习跨视角位置和连续转向？
- 1
对齐几何而非拼接重建特征
冻结前端从RGB估计点和相机姿态，处理裁剪、缩放和padding后对齐视觉token；过滤深度置信度较低的点并插值。点与相机平移共同归一化到首帧坐标系，使几何接口不依赖前端隐向量。推理不需要真值深度，但仍依赖估计几何质量。
- 2
并行保留语义与几何两条关系计算
图2右保留原生Q/K/V和mRoPE的语义核；独立几何投影把每头128通道分为48点、24相机、56剩余通道。四维块变换使注意力显式包含点位移与相对相机旋转；几何有效视觉token之间全注意力，文字和无效几何token不进入该支路。
- 3
门控融合并直接监督几何
每个注入层的标量门从0.5起学习混合比例；有效视觉位置共用新增输出投影，无效位置走原生语义投影。训练从每样本抽256个有序点对，用Huber对数距离损失加0.5倍方向余弦损失约束融合前表示；训练用预测头推理时移除。
- 4
把单步标注串成参考系更新
RC从VSI与SPAR原有关系构造2/3步训练链，验证角度闭合与场景分割。VSI到达后朝向与“面向上个地标”相反，第二步起需180度修正；SPAR只用yaw，没有这项修正。约160万候选中取15万训练条目，四步留作外推测试；验证是标注代数一致性，并非重新用图像和真值3D审核。
实验与证据
已阅读正文及附录A.1–A.12（几何对齐、RC规则、损失、算力与完整消融），核对实验条件与原图；未独立复现。
来源证据Qwen2.5-VL-7B/Qwen3-VL-8B，冻结视觉编码器和VGGT-Ω；五层几何核及rank64 LoRA。约180万原指令加15万RC，一轮训练，32张H200约11/10天。8B训练参数338.22M（3.86%），不含冻结几何前端。 §4.1、附录A.6–A.8：条件 ↗
我的解读少量可训练参数不等于低训练成本；32帧推理也需要几何前端。
来源证据8B的VSI=74.33、ReVSI-32=58.28，六基准均值64.09；加入RC后VSI路线规划51.21→60.31、ReVSI路线43.48→47.67。 表1–3：空间任务 ↗
我的解读优于表内对手并非全部子任务领先，MMSI和CV-Bench仍有更高对照分数；这里是离线问答而非执行成功率。
来源证据未见四步链248例，其中动作类型仅8例，其余三类各80；完整链准确率从0到20.6%，首错前进度35.4%，数值角度容差10度。 表4、附录A.8：组合外推 ↗
我的解读有外推增益但大部分四步链仍失败；自建评测和类别不平衡限制泛化结论。
来源证据同时去掉点/相机变换但保留支路容量，VSI降至70.02；10%数据下双核62.78，而五层单核替换39.14并出现乱码。换几何前端得72.99–73.91，32帧74.33到128帧75.32。 表6、附录A.10/A.12：机制与成本边界 ↗
我的解读对照支持保留语义通路的重要性，但注入策略比较是10%训练子集，不能与全量74.33混算；增加帧数收益递减，文中未给完整部署延迟。
开放情况与使用许可
已打开作者项目页、GitHub根目录、LICENSE、THIRD_PARTY和HF模型/数据卡：代码含推理目录，原创贡献MIT；HF模型与RC数据当前文件列表都只有README和.gitattributes、usedStorage=0，尚未核实可下载权重或标注。VGGT-Ω预处理与权重遵循上游非商业研究条款，MIT不覆盖原始媒体和上游材料。
LICENSE作者版权；arXiv非独占托管许可
我的判断
独立分析 · 未复现实验正方 · 为什么值得投入
明确控制新增容量、直接替换位置编码和RC监督，让性能变化能部分归因于几何关系建模；兼容不同前端的坐标接口也便于工程替换。
反方 · 哪些结论还不够
RC只处理平面朝向与标注关系，不包含任意三维旋转和闭环动作验证；几何估计误差仍会传播。四步完整正确率仅20.6%。原图/论文非独占托管；MIT只覆盖作者原创增量，VGGT-Ω相关部分仍受非商业研究条件约束。
综合判断
可关注其双核空间推理设计，但当前开放资源和许可证边界尚不能支持“完整可商用开源空间模型”的说法；应先核对实际权重和训练数据文件。
我会先做的验证
未执行的验证方案：待权重实际发布后，在固定32帧和相同训练数据下复测点/姿态扰动、无效深度比例及四步不同类别表现，记录前端和VLM分别的时延、显存，并验证场景级去重。