aiwillknow.AI 前沿观察每日 08:00 开始整理
世界模型全文深读与原图讲解

VGC:给生成视频增加后处理几何校正器

画面更连贯,是否也意味着几何更真实?

IN A NUTSHELL

从真实带位姿视频制造失真对,训练独立视频扩散校正器修复生成序列。重投影指标有所改善,但若干感知指标下降,且公开版本与主实验架构不同。

01

图解主要方法

画面更连贯,是否也意味着几何更真实?

画面更连贯,是否也意味着几何更真实?
图3|配对失真构造与几何校正流程查看大图 ↗
VGC 作者团队,arXiv:2610.23856v1。原图未改动,仅引用方法讲解所需图。 · 原始来源与图注 ↗ · 作者版权;arXiv非独占托管许可
  1. 1

    按相机运动构造配对训练数据

    图3从DL3DV和SpatialVID抽取带相机位姿片段,依据运动预算和转折点选关键帧;使用Wan2.1-Fun-InP在关键帧之间生成失真视频,以真实原片作为校正目标。

  2. 2

    训练独立校正扩散器

    主实验采用Wan 1.3B,不改原始视频生成器。训练81帧、832×480,最多4个运动分段、120度与10米预算、最小15帧;DL3DV约9k训练保留1k,SpatialVID约63k,32张H100、10k步、batch64。

  3. 3

    用可选光流提示局部运动

    SEA-RAFT光流按通道作为条件,帮助保留运动关系。相机位姿用于数据构造;图中的三维重建是可视化评估,并非推理时必须执行的三维修复管线。

  4. 4

    跨生成器测试并核对发布变体

    校正器可以接多个视频模型,但公开推理版换成Wan2.2 14B MoE、720p且不使用光流。必须把该实现与论文1.3B、带光流结果分开,不能直接继承全部指标。

02

实验与证据

已阅读正文与全部公开附录,核对实验条件与原图;未独立复现。

来源证据RE100的DFoT结果PSNR从13.61到14.87,重投影误差RVE从184.2到168.9;光流消融PSNR14.76到14.87、RVE169.4到168.9。 几何指标 ↗

我的解读校正确有帮助,但光流本身边际收益小,不能把整体提升都归给显式运动约束。

来源证据表2中I2V SSIM由0.5543降至0.5456,3D一致性指标0.7944到0.8121变差;三个比较的LPIPS分别0.5285→0.5733、0.5449→0.5936、0.576→0.6284,均变差。 感知质量反例 ↗

我的解读正文的概括性正面措辞不能代替逐列结果:几何校正可能牺牲纹理和感知接近度。

来源证据200条DL3DV的自由生成使用DepthAnything3重建后自一致性,而非真实几何;14B还同时从480p升到720p。100条动态SpatialVID没有配对真值;Hunyuan的DOVER10.10降至9.30,美学0.5133降至0.4849。 无真值与升级模型条件 ↗

我的解读预测深度自一致性不等于真实世界正确,超分辨率也混入模型升级比较;不应把所有输出称为物理正确。

03

开放情况与使用许可

weijielyu/VGC已有实际推理脚本和Apache-2.0许可证;README公开的是Wan2.2 14B无光流版本并给出wlyu/VGC权重链接。未独立完成权重许可核验,不把代码许可扩大到所有基础权重。

LICENSE作者版权;arXiv非独占托管许可

04

我的判断

独立分析 · 未复现实验

正方 · 为什么值得投入

独立后处理使方法能服务不同生成器,配对失真训练为跨帧修正提供了可操作途径。

反方 · 哪些结论还不够

几何、纹理和审美存在权衡;自估深度评测、升分辨率和发布版本差异限制了结论外推。

综合判断

适合用作生成视频的几何修正候选,尚未证明可直接生产度量可靠的世界模型或三维资产。

我会先做的验证

未执行的验证方案:在固定分辨率、同一生成序列上对比有无光流;使用真实相机与深度真值测轨迹、结构和遮挡,同时做盲测纹理损伤与运动保持。

继续探索世界模型