3D 生成论文图解

ControlTile

让参考纹理按指定尺度、方向和频率铺进场景

CityUHK · Junrong Huang 等发布于 2026.06.22

公开代码 · 许可待核实

IN A NUTSHELL

给定参考纹理和场景图像，控制图案的重复频率、旋转方向与尺度，同时尽量保留场景光照和几何。通过变换扩散 Transformer 的位置编码实现控制，避免先扭曲参考图损伤细节。

图解主要方法

“把墙变成木头”不足以表达设计要求：木纹方向、板宽和重复频率也需要控制。ControlTile 把控制放到位置编码里。图 2 的核心在右下角：改变参考 token 的坐标，并限制哪些区域可以相互读取。

1
左侧：明确改哪里、参考什么
源图、编辑掩码、深度与光照线索、参考纹理一起编码。掩码解决空间范围，参考图提供细节身份。只保留文字标签很容易生成“另一种木纹”，而非用户给定的图案。
2
中下：改变坐标，不先重采样纹理
仿射变换进入参考 token 的 RoPE 坐标，目标位置据此读取参考特征。好处在于避免为了缩放旋转先把图案缩小、再放大造成的细节损失；但它仍是图像空间的近似控制，不是完整曲面参数化。
3
右下：让信息有方向地流动
注意力矩阵中，参考只读自身，背景不读参考，编辑区可以读参考与场景。这样既保持参考特征独立，又让待编辑区域结合原有光照。不能把这个矩阵简单说成“所有区域互相隔离”。
4
右上：输出仍是一张编辑后的图像
墙面出现符合方向和尺度要求的纹理，不代表已经输出 UV、粗糙度或可重光照材质。这个方法首先服务外观设计预览；若用于多视角 3D，跨视图一致性是新增的研究任务。

论文将空间控制、纹理保真和主观偏好分开评估，并消融坐标变换方式及注意力掩码。比起“效果更好”的结论，这些对照更能帮助定位模块为何有效。

论文证据合成数据表 2 中，完整方法 LPIPS 为 0.1143；移除分离注意力掩码后为 0.1337，局部显式变换为 0.1242。表 2 ↗

我的解读这些差异支持坐标注入与信息隔离在作者设置中的作用，但不能直接证明任意曲面上的尺寸都准确。还应单独测图案周期和方向，而不只用整体图像相似度。

论文证据限制部分指出，压缩潜空间仍会使密集平铺出现混叠，且缺少显式材质贴图时镜面反射难以控制。 §5 ↗

我的解读“不先扭曲参考像素”不等于整条生成链路无损。最终细节仍受 VAE、生成分辨率和外观先验限制，这也解释了它与真正材质生产之间的距离。

训练和测试代码已公开，并提供数据、预训练模型下载入口；未确认明确的软件及数据授权条款。

LICENSE仓库未发现明确 LICENSE；使用范围需向作者确认

独立分析 · 未复现实验

我看好把用户的可解释控制量直接接入注意力几何，而不是反复调提示词。这种设计让方向、缩放等约束有明确入口，也便于做连续控制实验。

分区注意力解决的不是一般意义上的“增强模型”，而是参考特征被污染和背景被误改。任务约束能够落实到信息流，这一点比单独堆模型容量更值得借鉴。

单幅图像中的仿射控制无法完整描述强透视或曲面上的真实铺设。同一图案的物理尺度、接缝和跨面延续，不能仅凭单张预览保证。

感知指标改善与精确设计要求也可能冲突：一幅更自然的图，可能少了一个重复单元。对于需要精确图案或品牌标识的任务，应把结构误差单独作为失败标准。

这是值得借鉴的条件控制方法，尤其适合材质方案预览。对真正的 3D 纹理生成，我会把它视为可扩展的部件，先解决多视图对应，再考虑全流程集成。

用已知周期的棋盘、细条纹和文字图案，连续改变缩放与角度，测周期误差、方向误差和非编辑区变化；再给同一物体两个视角，检查共享表面上的图案是否一致。