aiwillknow.AI 前沿观察每日 08:00 开始整理
3D 生成全文深读与原图讲解

OmniFabric:直接在服装纸样 UV 上修复纹理

去投影畸变与烘焙阴影,保留可缝合的资产结构

IN A NUTSHELL

OmniFabric 从单张服装参考图出发,先预测可缝合纸样、投影多视图粗纹理,再在规范 UV 域用扩散模型恢复连贯图案。它把纹理交给可模拟服装资产,但生成的是规范化 RGB,不是具有完整物理参数的 PBR 材质。

01

图解主要方法

图 3 的粗纹理初始化与 UV 归一化分别解决什么问题?

原论文图 3:粗 UV 初始化与位置条件纹理归一化
原论文图 3:粗 UV 初始化与位置条件纹理归一化查看大图 ↗
Ding-Jiun Huang 等,arXiv 2609.30234v1;原图内容未改动。 · 原始来源与图注 ↗ · CC BY 4.0
  1. 1

    先建立可缝合的纸样与服装几何

    ChatGarment 从参考图预测 GarmentCode 纸样,缝合并模拟为标准姿态网格。UV 沿纸样布片组织,因此纹理能回到生产编辑使用的二维面板;几何预测错误仍会传到后面,纹理模块不负责修好版型或拓扑。

  2. 2

    生成四视图,投影为粗纹理

    使用 Nano Banana Pro 调整姿态,再由 Veo 3 生成旋转视图,选前后左右四帧。前后视图优先,侧视图填剩余未覆盖区;这提供完整但可能带阴影、褶皱和投影畸变的初始化,不是多视图真实测量。

  3. 3

    把粗 UV、正面图和三维位置一起送入 DiT

    图右侧将粗纹理、正面渲染和 UV 对应三维位置作为条件,以共享位置编码帮助跨布片对应,正面图使用独立位置组织。1024 分辨率 LoRA 训练的 DiT 在 UV 域生成干净纹理,从而避免在每个视角单独修补造成不一致。

  4. 4

    用合成退化教会归一化,再回到服装模拟

    数据管线约 3000 种款式、30000 组纹理,用 TPS 形变、Warp 褶皱与随机照明合成退化,对应干净纹理监督。输出贴回纸样再缝合模拟;粗糙度、金属度和法线在展示中来自 CLO Fabric Matte 等默认设置,模型没有反演完整 PBR。

02

实验与证据

以下为作者报告;已阅读 v1 全文及可用附录,本站未独立执行研究实验。实验条件与编辑解读分别列出。

来源证据【合成评测】报告 LPIPS 0.092,Hunyuan 对照 0.223;另有 13 人对十张真实输入的偏好评估,平均名次 1.09。 量化表与用户研究 ↗

我的解读我的解读:支持纹理外观更接近参考,但小规模人工偏好不能证明材质物理准确;款式层面的训练/测试隔离仍需更清楚。

来源证据【生成器替代】将依赖的闭源生成环节替换为 FLUX.2 和 Ministral 组合,LPIPS 为 0.114,对照原流程 0.092。 替代生成先验实验 ↗

我的解读我的解读:说明存在替代路线,但质量有差距;依赖可替换不等于整套训练、权重与数据已经开放。

来源证据【边界与成本】流程约五分钟且含外部 Gemini 服务;附录展示跨布片连续性,也保留真实缝合边界,强反光材质及不可见区域仍失败。 实现细节及局限附录 ↗

我的解读我的解读:“去光照”在这里是学习到的规范化 RGB,未证明得到真实反照率;不能据展示图宣称所有接缝消失或任意重光照正确。

03

开放情况与使用许可

已打开官方项目、仓库实际文件树和 README;当前只有 README 与展示图,明确写代码和预训练模型准备发布。尚不标为代码、模型或合成数据开放,外部生成服务条款另计。

LICENSE论文 CC BY 4.0;项目代码、权重与数据尚未确认发布许可。

04

我的判断

独立分析 · 未复现实验

正方 · 为什么值得投入

输出位于纸样 UV 而非只生成漂亮渲染,能直接服务服装改版、缝合与模拟,资产流程价值明确。

反方 · 哪些结论还不够

隐藏区域依赖生成先验,版型错误无法靠纹理修复;缺少完整 PBR 分解、定量重光照及工业接缝验收。

综合判断

适合服装概念到可编辑纹理的辅助流程;生产使用前应把 RGB 纹理、缝合结构和物理材质参数分别验收。

我会先做的验证

未执行的验证方案:选用有实测反照率与粗糙度的服装,覆盖亮片、格纹和跨袖缝图案;测 UV 畸变、接缝两侧连续误差,再在旋转光源下比较高光和阴影,单列几何误差与不可见区幻觉。

继续探索3D 生成