DirectUV:让 UV 纹理注意力按三维表面坐标关联
跨岛接缝不再只靠二维邻居;环境三维距离仍不等于曲面测地距离
DirectUV 在 FLUX 风格潜在 UV 空间生成纹理,把 UV 像素对应的三维坐标写进 RoPE,并把粗到细的子块坐标分配给不同注意力头。输入单张参考图和已有带 UV 网格;多视图投影只提供可被纠正的软条件。GSO 的图像指标和消融支持接缝关联更稳,但没有单独接缝测量或完整 PBR 输出。
图解主要方法
二维UV岛切断了表面邻接,能否直接改变注意力的位置参照恢复纹理关联?

- 1
建立表面坐标图
已有网格及UV展开栅格化为1024² CCM,每像素保存对应三维坐标。它只进入SAPE,不作为额外生成目标;原始UV质量会影响下采样后的代表坐标。
- 2
把外观与粗UV作为软条件
CLIP全局向量调制AdaLN,DINOv2局部token进入联合注意力;粗UV经冻结VAE编码,与噪声目标逐位置拼接。目标从噪声生成,允许推翻错误投影颜色。
- 3
按三维坐标旋转查询和键
把每头维度分成xyz三组RoPE,以相对三维偏移关联跨UV岛区域。这里是环境三维坐标,不是沿曲面计算的测地路径,也不禁止空间相近但拓扑分离的面互相影响。
- 4
把不同细分坐标分给24个头
3层细分、4组各6头,层级预算4:4:16;每头只读一个粒度的坐标,注意力后再混合。没有额外可学习几何分支,但仍需要CCM预处理与有效UV。
- 5
流匹配训练,28步生成纹理
训练粗UV随机用0/1/2/4视图并混合光照与albedo。推理用Kiss3dGen生成多视图并投影,然后28次Euler去噪、VAE解码贴回原网格;并未取消条件构造中的多视图。
实验与证据
v1全文46401字符及附录A–E读完,v2全文差异核对(作者信息);图1原图视觉检查,日期、许可和资源检索核实。
来源证据约100K网格来自论文列出的TexVerse、PartNext、Objaverse,过滤面数、碎片UV及无效监督;1024²UV,四视图方位0/90/180/270度、仰角5度。 4.1 ↗
我的解读训练有质量筛选,泛化不能覆盖任意坏UV。TexVerse对应参考文献实际列Objaverse-XL,数据构成需要发布清单再核实。
来源证据6 MMDiT+12单流块,24头每头120维;8张A800、每卡batch16、170K步,8bit AdamW学习率1e-5。 4.2 ↗
我的解读不是仅安装一个位置编码即可免训练使用;训练成本与模型发布状态需分开。
来源证据完整GSO作为域外测试,同网格/参考图,评价albedo渲染含顶底视角;PSNR25.13、SSIM0.9527、FID39.17、KID30.03。 4.3;表1 ↗
我的解读这是渲染级评价,未报告单独接缝误差或隐藏面正确性。KID按论文原数值引用,不自行推定缩放。
来源证据Hunyuan3D-2.1为24.74/0.9450/39.872/33.34;UniTEX为24.23/0.9504/42.11/39.21。 表1 ↗
我的解读表中该设置均值领先,但没有多种子误差条,不能宣称所有物体显著优于。
来源证据去SAPE时PSNR23.82、FID58.42;单层SAPE24.36、40.86;多层25.13、39.17。 表2;图4 ↗
我的解读支持表面编码与多层粒度各有作用,仍缺等计算预算和接缝专项验证。
来源证据附录A展示键盘底面错误白色条件被纠正;B展示0/1/2/4视图,C用于Tripo/Rodin网格,D报告碎片UV串色模糊。 附录A–E ↗
我的解读前三项主要为定性案例;空条件可出合理纹理不代表背面真实,失败例更接近生产资产需验收的边界。
开放情况与使用许可
论文可访问,未核实作者发布代码、训练权重或可运行模型卡;检索到论文索引不能据此标为开源。
LICENSEarXiv非独占托管许可;图1版权归作者,仅用于方法评论。依赖FLUX.1-dev VAE不自动赋予本方法或输出商业许可。
我的判断
独立分析 · 未复现实验正方 · 为什么值得投入
用同一结构替换位置编码,消融较直接地支持SAPE贡献。
GSO与训练资产集分离,评价含顶底视角,避免只看参考正面。
附录给出空粗UV、生成网格及碎片UV失败案例。
反方 · 哪些结论还不够
注意力还依赖内容向量;三维位置编码不是硬邻接约束或无接缝保证。
无接缝专项指标、置信区间及端到端时延,不能由渲染PSNR推导工程稳定性。
过滤碎片UV后训练,再于这类输入失败,说明覆盖与表示限制同时存在,不能完全归因外部网格。
综合判断
对直接UV生成的几何关联给出清晰可检验改动;证据支持渲染质量提升,距离复杂生产网格的接缝、去光照和PBR验收仍有缺口。
我会先做的验证
建议实验(尚未执行):固定网格与参考图重排UV岛,比较接缝两侧颜色/梯度与薄壳串色;控制纹理分辨率和投影器,加入扫描噪声及重光照测试,报告含多视图生成的总耗时。