世界模型全文深读与原图讲解

LidarVerse：以时间与空间双缓存生成激光雷达世界

跨任务的LiDAR生成如何做到长时滚动，已发布权重又覆盖哪些传感器？

Henry Che、Xuanchi Ren 等｜NVIDIA、UIUC预印本首发 · 近30日补收 2026.10.13

代码开放 · PAI权重可见 · 许可待澄清

IN A NUTSHELL

用统一距离图tokenizer、条件扩散和持久空间缓存，把LiDAR生成、预测与重仿真放进同一框架。四步因果学生在H100约11FPS；当前公开PAI权重不包含论文的强度与跨传感器检查点，也未证明驾驶闭环收益。

图解主要方法

跨任务的LiDAR生成如何做到长时滚动，已发布权重又覆盖哪些传感器？

1
图2左：将激光扫描变成有几何意义的token
输入距离与有效性掩码，必要时加反射强度；保留标定射线和近回波。空间局部注意力使用5×35邻域及水平环绕，时间因果且不做时间下采样，空间压缩8×8、64通道。不同扫描网格通过共同表示进入生成器，而非直接当普通RGB视频。
2
图2中：统一教师的条件接口
2B扩散教师按任务接收历史LiDAR、HD地图/参与者布局、持久几何缓存与可选文本，并在训练中独立丢弃条件。如此可以生成、预报或重仿真；教师的双向时间注意力不能直接用于实时滚动，需要后续因果化与蒸馏。
3
图2右：四步学生与短期KV缓存
先训练双向教师，再因果初始化和self-forcing蒸馏；学生每次四帧、四步SDE采样，保留九帧时间KV缓存。训练面对自己的生成历史，减轻只用真值历史导致的误差累积，但不消除长期漂移。
4
持久空间缓存只吸收过去证据
论文PSC以0.15m世界坐标体素积累几何，至少三次观测确认，连续两次可见射线矛盾再删除，距离容忍约0.75m。只在完成当前块后更新，避免未来泄漏；已发布PAI快速示例改用0.10m体素，不能把示例参数误当论文原设定。

已阅读全文正文及官方代码说明、模型卡；近30日补收，核对实验条件与原图；未独立复现。

来源证据主评测798训练、202验证片段，约160K扫描、4.4小时；129帧生成在H100为11.18/11.30FPS。HDMap条件FUD25.01对重实现基线37.96；预测30历史/30未来的L1为1.768对Uno重实现2.208。 Waymo生成与预测 ↗

我的解读我的解读：多数指标改善支持统一框架，但不是全部指标领先；例如个别动态相关指标仍有更优基线，重实现结果应按本文协议理解。

来源证据全202验证片段重仿真L1/CD为1.405/.285，LiDARRT为1.247/.256；远位移子集优势更明显。论文32/64/128线、天气与强度实验使用额外微调的双向教师。重仿真及能力边界 ↗

我的解读我的解读：无需逐场景优化是优势，但不能把跨传感器教师能力和11FPS因果学生合成一个已验证万能模型，更未做端到端闭环驾驶测试。

来源证据现有权重为range-only PAI，128×1024、10Hz、2.5–100m；无强度与跨传感器检查点。模型卡许可元数据openmdw-1.1，正文链接NVIDIA Open Model License；训练架构文字与论文也有版本差异。模型卡与论文差异 ↗

我的解读我的解读：应把当前发布包单独复现，许可冲突与版本差异需作者澄清，不宣称复现包等同论文全部实验或无条件商用。

官方仓库有diffusion、tokenizer、scripts等实现，代码Apache-2.0；HF有三阶段EMA及tokenizer的.pt文件。已核模型卡与文件清单，未执行权重。卡片许可元数据与正文链接不一致；公开范围仅PAI距离模型，不包括论文全部传感器与强度版本。

LICENSE作者版权；arXiv非独占托管许可

独立分析 · 未复现实验

我的判断：时间缓存处理近邻运动，空间缓存处理重访几何，二者分工比无限堆长视频上下文更合理；统一条件接口有助于传感器仿真数据生产。

依赖姿态、布局或参与者标注，传感器覆盖与发布包不一致；生成逼真不代表规划器安全，持久缓存仍可能把错误表面固化。

适合LiDAR仿真与重访一致性研究；以PAI发布包为起点，独立核验版本和许可，不能直接拿来宣称驾驶闭环已成熟。

未执行的验证方案：在统一传感器与远近位移分层下关闭PSC、缩短KV、替换真值参与者框，测试几何漂移、移动物体残影和下游检测召回；再做隔离仿真中的规划闭环，单独报告碰撞与接管。