aiwillknow.AI 前沿观察每日 08:00 开始整理
3D 生成全文深读与原图讲解

DirectUV:让 UV 纹理注意力按三维表面坐标关联

跨岛接缝不再只靠二维邻居;环境三维距离仍不等于曲面测地距离

IN A NUTSHELL

DirectUV 在 FLUX 风格潜在 UV 空间生成纹理,把 UV 像素对应的三维坐标写进 RoPE,并把粗到细的子块坐标分配给不同注意力头。输入单张参考图和已有带 UV 网格;多视图投影只提供可被纠正的软条件。GSO 的图像指标和消融支持接缝关联更稳,但没有单独接缝测量或完整 PBR 输出。

01

图解主要方法

二维UV岛切断了表面邻接,能否直接改变注意力的位置参照恢复纹理关联?

上方以参考图、粗UV、目标UV与CCM训练;下方仍先生成多视图粗条件,再以表面位置编码去噪UV;右侧显示AdaLN和带SAPE的联合注意力。
图1|DirectUV训练与推理管线查看大图 ↗
香港科技大学(广州)、香港科技大学、knowin.ai,arXiv:2609.34651v2。原图未改动,仅用于方法评论。 · 原始来源与图注 ↗ · 版权归作者;arXiv非独占托管许可不等于图片再分发许可
  1. 1

    建立表面坐标图

    已有网格及UV展开栅格化为1024² CCM,每像素保存对应三维坐标。它只进入SAPE,不作为额外生成目标;原始UV质量会影响下采样后的代表坐标。

  2. 2

    把外观与粗UV作为软条件

    CLIP全局向量调制AdaLN,DINOv2局部token进入联合注意力;粗UV经冻结VAE编码,与噪声目标逐位置拼接。目标从噪声生成,允许推翻错误投影颜色。

  3. 3

    按三维坐标旋转查询和键

    把每头维度分成xyz三组RoPE,以相对三维偏移关联跨UV岛区域。这里是环境三维坐标,不是沿曲面计算的测地路径,也不禁止空间相近但拓扑分离的面互相影响。

  4. 4

    把不同细分坐标分给24个头

    3层细分、4组各6头,层级预算4:4:16;每头只读一个粒度的坐标,注意力后再混合。没有额外可学习几何分支,但仍需要CCM预处理与有效UV。

  5. 5

    流匹配训练,28步生成纹理

    训练粗UV随机用0/1/2/4视图并混合光照与albedo。推理用Kiss3dGen生成多视图并投影,然后28次Euler去噪、VAE解码贴回原网格;并未取消条件构造中的多视图。

02

实验与证据

v1全文46401字符及附录A–E读完,v2全文差异核对(作者信息);图1原图视觉检查,日期、许可和资源检索核实。

来源证据约100K网格来自论文列出的TexVerse、PartNext、Objaverse,过滤面数、碎片UV及无效监督;1024²UV,四视图方位0/90/180/270度、仰角5度。 4.1 ↗

我的解读训练有质量筛选,泛化不能覆盖任意坏UV。TexVerse对应参考文献实际列Objaverse-XL,数据构成需要发布清单再核实。

来源证据6 MMDiT+12单流块,24头每头120维;8张A800、每卡batch16、170K步,8bit AdamW学习率1e-5。 4.2 ↗

我的解读不是仅安装一个位置编码即可免训练使用;训练成本与模型发布状态需分开。

来源证据完整GSO作为域外测试,同网格/参考图,评价albedo渲染含顶底视角;PSNR25.13、SSIM0.9527、FID39.17、KID30.03。 4.3;表1 ↗

我的解读这是渲染级评价,未报告单独接缝误差或隐藏面正确性。KID按论文原数值引用,不自行推定缩放。

来源证据Hunyuan3D-2.1为24.74/0.9450/39.872/33.34;UniTEX为24.23/0.9504/42.11/39.21。 表1 ↗

我的解读表中该设置均值领先,但没有多种子误差条,不能宣称所有物体显著优于。

来源证据去SAPE时PSNR23.82、FID58.42;单层SAPE24.36、40.86;多层25.13、39.17。 表2;图4 ↗

我的解读支持表面编码与多层粒度各有作用,仍缺等计算预算和接缝专项验证。

来源证据附录A展示键盘底面错误白色条件被纠正;B展示0/1/2/4视图,C用于Tripo/Rodin网格,D报告碎片UV串色模糊。 附录A–E ↗

我的解读前三项主要为定性案例;空条件可出合理纹理不代表背面真实,失败例更接近生产资产需验收的边界。

03

开放情况与使用许可

论文可访问,未核实作者发布代码、训练权重或可运行模型卡;检索到论文索引不能据此标为开源。

LICENSEarXiv非独占托管许可;图1版权归作者,仅用于方法评论。依赖FLUX.1-dev VAE不自动赋予本方法或输出商业许可。

04

我的判断

独立分析 · 未复现实验

正方 · 为什么值得投入

用同一结构替换位置编码,消融较直接地支持SAPE贡献。

GSO与训练资产集分离,评价含顶底视角,避免只看参考正面。

附录给出空粗UV、生成网格及碎片UV失败案例。

反方 · 哪些结论还不够

注意力还依赖内容向量;三维位置编码不是硬邻接约束或无接缝保证。

无接缝专项指标、置信区间及端到端时延,不能由渲染PSNR推导工程稳定性。

过滤碎片UV后训练,再于这类输入失败,说明覆盖与表示限制同时存在,不能完全归因外部网格。

综合判断

对直接UV生成的几何关联给出清晰可检验改动;证据支持渲染质量提升,距离复杂生产网格的接缝、去光照和PBR验收仍有缺口。

我会先做的验证

建议实验(尚未执行):固定网格与参考图重排UV岛,比较接缝两侧颜色/梯度与薄壳串色;控制纹理分辨率和投影器,加入扫描噪声及重光照测试,报告含多视图生成的总耗时。

继续探索3D 生成