aiwillknow.AI 前沿观察每日 08:00 开始整理
本期研究 /

FIELD NOTES / 04

3D 生成3D GENERATION

重点追踪生成表示、几何质量、部件控制与资产生产流程。

几何材质可编辑资产
RESEARCH SNAPSHOT收录概览
12项研究与重要更新
按来源核对开放状态
开源 / 开放5
闭源2
待开放 / 核实5

EXPLORE THE FIELD

全部已收录研究12

按工作日期排列 · 新 → 旧
12 项工作
3D 生成论文 · 实现待发布

SceneHI

整场景贴图:多视角一致、高分辨率与可控阴影

输入无纹理场景和文字描述,把多个视角的扩散去噪同步到共享 UV 潜空间;再补齐遮挡面、增强细节,并可选烘焙阴影。它解决的是整场景贴图,尚不能当作完整的可重光照 PBR 生成器。

University of Glasgow 等
场景纹理多视角一致性
阅读简报
3D 生成代码 · MIT

Heat Kernel Textures

把纹理定义在网格表面,绕开 UV 接缝

HKTex 用沿三角网格表面传播的各向异性热核表示外观,核的位置、密度和优化都受表面约束。可从现有纹理或多视角图像拟合,并接入物理渲染器;这是纹理表示与重建方法。

Imperial College London
纹理表示无UV
阅读简报
3D 生成公开代码 · 使用受限

Block3D

以分块扩散降低文本到 3D 的生成成本

把离散形状 token 划分为顺序生成的块,块内并行扩散,并在提交前修正低置信度 token。作者在 TRELLIS-500K 留出集上报告约 5.15 倍加速,针对的是质量与推理成本的折中。

浙江大学 / Monash / Adelaide
文本到3D扩散
阅读简报
3D 生成待核实 · 论文公开

MultiCube

把部件语义与空间布局交给创作者

输入全局描述、部件清单及各部件包围盒,先生成布局一致的整体形状,再同时分解成独立网格。它把“部件是什么”和“部件放哪里”变成显式控制,适合研究可编辑资产。

Roblox / CMU / Stanford
部件生成布局控制
阅读简报
3D 生成待开放 · 论文公开

SCULPT

通过逐步拆分,让部件边界与整体一致

从完整物体的结构化潜表示出发,每次共同生成取出的部件与剩余部分,通过连续拆分形成可编辑资产。重点是保持共享边界与组装后的整体形状,而非先单独生成零件再拼合。

上海交通大学 / 华为
部件生成结构一致性
阅读简报
3D 生成闭源 · 在线服务

Meshy 7

从“像一张图”到几何结构更一致

聚焦生成网格与输入图像的几何对齐,官方分别评估整体比例、空间分布和形状细节,并区分单图、多图及 Ultra 模式。结果主要来自厂商自建评测,不能直接当作生产资产质量排名。

Meshy
图像到3D几何质量
阅读简报
3D 生成待开放 · 技术报告

Meshy T2

直接生成原生网格,走向交互式建模

每个顶点对应一个连续潜 token,解码器同时恢复顶点、边连接和面的绕序;再用两阶段 flow matching 从图像生成网格。支持顶点预算控制与多部件连接,论文报告中位端到端约 6 秒。

Meshy
原生网格Flow Matching
阅读简报
3D 生成闭源 · API / 在线服务

Meshy 原生 8K 纹理

8K 基础颜色与 4K PBR 通道需要分开看

Meshy 为图像、多图到 3D、文本精化和重贴图接口加入纹理分辨率选择。8K 档输出的是基础颜色贴图,PBR 贴图为 4K,且不生成自发光贴图;这比“全套 8K 材质”的概括更准确。

Meshy
纹理生成重贴图
阅读简报
3D 生成开放权重 · 代码待发布

VideoNeuMat

从视频生成模型里提取可重光照的神经材质

先让视频模型在受控相机和光照轨迹下“观察”一种材质,再从这些视频帧重建可重用的神经材质。7 月发表于 SIGGRAPH;预印本首发于 2 月,本期按会议正式发表补充收录。

University of Manchester · NVIDIA · UCSB
神经材质视频先验
阅读简报
3D 生成论文 · 代码与数据待开放

Richer Material Generation

用程序化数据增强突破简单 PBR 的表达上限

把常见的单层高光材质扩展成包含清漆、灰尘和分层散射的训练数据,再学习神经材质生成。7 月发表于 SIGGRAPH,预印本首发为 6 月 12 日;关注点是材质数据的表达能力。

Cornell University · NVIDIA
PBR材质分层反射
阅读简报
3D 生成核心编解码代码

Mesh BDF

把网格连接关系变成连续表面信号

Barycentric Dominance Field 将三角网格的离散拓扑编码成连续表面属性,让扩散模型也能学习顶点连接关系;论文展示原生网格与 PBR 纹理的联合生成,现已开放核心编解码器。

HKU · Tencent Hunyuan 3D · NTU 等
原生网格联合PBR
阅读简报
3D 生成公开代码 · 许可待核实

ControlTile

让参考纹理按指定尺度、方向和频率铺进场景

给定参考纹理和场景图像,控制图案的重复频率、旋转方向与尺度,同时尽量保留场景光照和几何。通过变换扩散 Transformer 的位置编码实现控制,避免先扭曲参考图损伤细节。

CityUHK · Junrong Huang 等
纹理控制参考图
阅读简报