aiwillknow.AI 前沿观察每日 08:00 开始整理
本期研究 /

FIELD NOTES / 04

3D 生成3D GENERATION

追踪几何、材质、可编辑资产,以及图像生成与编辑在视觉资产流程中的进展。

几何材质可编辑资产
RESEARCH SNAPSHOT收录概览
137项研究与重要更新
按来源核对开放状态
开源 / 开放41
闭源4
待开放 / 核实92

EXPLORE THE FIELD

全部已收录研究137

按工作日期排列 · 新 → 旧
137 项工作
3D 生成代码与自有权重 Apache-2.0

HairDeck:从角色图生成带UV与弹簧骨骼的可编辑发片

几何发片如何接入动画资产管线,纹理与碰撞又还缺什么?

将每张风格化实体发片压成一个token,集合扩散生成发型,再生成弹簧骨骼并蒙皮导出GLB/VRM。它确实提供逐片UV和可编辑结构,但不生成纹理/PBR,演示也没有配置碰撞体,不能把动画展示等同生产验收。

Yuze He、Yixiang Wei 等|清华、CMU、香港中文大学
阅读简报
3D 生成论文公开 · 实现开放待核

PhysInsert:让图像插入同时改变物体与周围光影

反事实渲染和几何分支怎样约束阴影、遮挡与摆放?

以相同场景有物体/无物体的重渲染对训练图像编辑器,联合几何特征、物体/环境影响图和空间语言对齐。改善位置与光影整合,但输出仍是二维合成图;逼真阴影不是可重光照的PBR材质或可编辑三维物体。

PhysInsert 论文作者团队
阅读简报
3D 生成代码MIT · 权重可见但许可待核

SpecSlot:让低频负责全局,高频留在局部

像素扩散的注意力计算,能否按频率职责重新分配?

SpecSlot在每个空间位置分配不同频率职责的token槽,只让低频槽承担全局通信,高频槽保留局部建模。它关注图像生成计算效率,适合作为视觉资产和纹理概念生产的上游研究;论文不生成UV贴图或物理材质。

SpecSlot 作者团队
阅读简报
3D 生成论文公开 · 系统与数据开放待核

EditAgent:多步图像编辑,先比较候选再继续

当“删掉火焰”同时删掉烛芯,编辑智能体怎样识别这种副作用?

EditAgent将编辑拆成规划、工具路由、并行候选与带局部证据的判定。它把保留原内容也作为检验对象,适合视觉资产迭代流程;输出仍是二维图像,不等于三维材质编辑或物理正确重光照。

EditAgent 作者团队
阅读简报
3D 生成论文公开 · 开放边界见正文

LociArt:把局部风格写进空间遮罩

如何让多个区域拥有不同风格,同时保留未编辑内容?

LociArt用极坐标风格编码将“编辑哪里”与“变成何种风格”绑定,再结合压缩mask特征和原始几何支撑。它属于二维视频资产编辑;没有生成可重光照PBR通道、UV或可编辑三维部件。

小米MiLM Plus、西安电子科技大学
阅读简报
3D 生成论文公开 · 实现开放待核

GraftRay:在Gaussian场景里补上物理阴影与反射

插入一个网格物体时,怎样让它参与原场景的近场光照?

GraftRay 给重建的3D Gaussian场景补充材质先验、面积光源和路径追踪,使插入网格产生遮挡、阴影与反射。它解决的是资产插入和光照整合,不是自动生成干净的可编辑场景网格。

Jinxin Ai、Matthias Niessner
阅读简报
3D 生成论文公开 · 实现开放待核

Know Then Draw:先学语义,再用扩散把它画出来

离散视觉知识与像素渲染分阶段训练,收益到底来自哪里?

先自回归学习离散语义token,再冻结主干训练像素扩散模块。约400M的受控比较支持语义表示优于纯重建表示;最终3B模型的高分包含提示改写与固定种子下的变体选择,不能只看GPU小时宣称通用成本优势。

Know Then Draw 论文作者团队
阅读简报
3D 生成论文公开 · 开放边界见正文

MatAnyone-E:先粗查,再精算高分辨率视频抠像

为何只细算少量位置,还必须同时筛掉不相关记忆?

在视觉资产流程中,稳定的alpha边界可支持合成、遮罩和后续局部编辑。MatAnyone-E用低分辨率匹配选择位置与记忆,再用轻量解码器输出完整alpha;这是二维视频抠像,不生成mesh、UV、纹理材质或重光照参数。

昆士兰大学、南洋理工大学S-Lab、阿德莱德大学
阅读简报
3D 生成论文公开 · 实现开放待核

OmniShowcase:把物体法线转台作为展示视频的几何条件

四张参考图能否让转动镜头中的物体保持同一结构?

OmniShowcase 用四视图重建的法线转台约束视频生成,减少物体在镜头转动时变形、长出多余部件的问题。它面向资产展示视频,输出并非可直接编辑的网格、UV或PBR材质包。

Junyeong Ahn 等 · KAIST / Inha / FLIPTION
阅读简报
3D 生成代码公开 · BSD-3-Clause

Texture Consolidation:先沿表面对齐,再消除纹理接缝

生成视图彼此错位时,怎样把它们落成一张可用的UV纹理?

该方法接受已有UV图集的三角网格、已知相机和少量生成视图,在曲面上估计非刚性光流,再做梯度域拼接。它直接处理多视图重影与接缝,是资产纹理后处理方法,而不是从零生成几何。

Hongyi Liu、Yifan Wang、Vladimir G. Kim、Misha Kazhdan
阅读简报
3D 生成论文公开 · 实现开放待核

PhysCreator:把外观几何和可仿真的物理属性一起生成

共享三维潜表示输出高斯与空间变化材料参数,但物理标签主要来自语义估计

普通3D资产只有外观与形状,未必能进入物理仿真。PhysCreator从单图或多视图构造共享三维潜表示,同时解码高斯外观以及逐体素弹性、密度等参数,允许文本调整软硬或轻重;关键局限是这些物理属性主要来自视觉语言伪标签而非实测。

PhysCreator 研究团队
阅读简报
3D 生成9B权重可下载 · 仅非商业研究许可

Qwen-Image-PE:增强提示词,也需要图像级训练信号

从好图反推设计意图,再用同种子图像组优化提示重写

Qwen-Image-PE并非另一个直接画图模型,而是把短请求改写为详细图像提示与宽高比的前置模型。它从优质图像反推描述学习设计,再由冻结图像生成器给重写结果提供组内奖励;归入视觉资产流程,但输出不包含网格、UV或PBR材质。

Qwen 团队 / 阿里巴巴
阅读简报
3D 生成论文公开 · 实现开放待核

Easy-3Dfy:让独立生成的网格找到场景中的位置

场景重建的改进究竟来自更好的资产,还是更准确的摆放?

Easy-3Dfy把物体补全、网格生成和场景布局分开,用RPF点云对应把完整物体配准到单图可见表面。在共享同一批网格的对照中,摆放指标改善;这不是生成器本身变强,也没有证明纹理、UV、PBR或接触物理均已解决。

浙江大学、腾讯
全文深读资产流程
阅读简报
3D 生成代码公开 · 许可分项说明

BrickWright:用连接器与物理检查生成可编辑积木资产

看起来像积木,与零件之间真正连接得上,还差哪些步骤?

BrickWright给代码agent提供真实零件目录、类型化连接器和验证回路,使生成结果由可定位、可修改的部件组成。其物理可行性是特定碰撞与悬空约束,不包含所有稳定性和装配顺序问题。

Carnegie Mellon · Stanford · Independent Research
阅读简报
3D 生成论文公开 · 实现开放待核

FilmFlow:在已有3D场景里生成可执行的镜头计划

轨道、升降和构图锁定能否同时执行,并在渲染后修正?

FilmFlow把语言或参考视频转成Blender中的显式相机轨迹,用22种原子操作表达并发运镜,再通过渲染反馈修改时间与参数。它生成的是可编辑镜头而非新场景资产;评价需区分外部视觉分数、人类偏好和实际镜头行为通过率。

Cornell、上海交通大学、UCLA、上海人工智能实验室
全文深读资产流程
阅读简报
3D 生成论文公开 · 实现开放待核

HiP3R:把局部重建接成更一致的长序列资产

先优化分块布局,再让重叠帧共享相机位姿

前馈三维模型能重建短片段,却容易让长序列的尺度与坐标互相冲突。HiP3R冻结重建骨干,先用重叠与回环约束优化分块Sim(3)布局,再建立共享逐帧SE(3)位姿图消除分块重复相机;它是资产重建前段,不是纹理或网格生成器。

HiP3R 研究团队
阅读简报
3D 生成论文公开 · 完整实现未确认

RealMe:从稀疏拍摄补出跨视角一致的2K体积视频

生成的细节更清晰,是否也能约束一个统一的4D场景?

RealMe先重建粗4DGS,再同时增强新视角与局部细节视频,最后把生成视图和原始拍摄共同用于重建。核心是跨时间、跨相机的生成一致性,而非从几张照片直接得到可重光照的材质资产。

Zhejiang University · 4DV.ai
阅读简报
3D 生成代码与 LoRA 公开 · 分项许可

SolarRenderer:从灰盒结构到四步视频渲染

对齐每帧结构并蒸馏加速,能否让不同3D工具共用一个生成渲染器?

SolarRenderer以灰盒、深度、骨架或语义视频为结构条件,用冻结MiniMax-H3 33B加控制/加速LoRA生成外观。它对预演和资产展示管线有用,但输出仍是视频,不会自动生成可重光照材质或UV。四步全片生成与多GPU实时流式是两种配置,不能混成单卡实时。

NUS、LIGHTSPEED、CUHK(SZ)、SLAI、HKUST(GZ)
阅读简报
3D 生成论文公开 · 实现开放待核

JCA:把生成视频里的动作交还给3D骨骼

同时生成任意拓扑rig的运动与视频,再估计相机把动作放回场景。

Joints, Camera, Action!让独立骨骼运动模型与视频模型通过双向注意力共同去噪,输出可驱动现成资产的关节轨迹,再用二维关节定位拟合相机。它把“视频里动得好看”推进到“资产能回放动作”,但当前只支持单rig与静态相机配准,不保证脚底接触或物体不穿透。

NVIDIA、Technion、Bar-Ilan University
阅读简报
3D 生成推理代码 MIT · 权重许可未明确

RLSplat:先给场景分配 Gaussian 预算,再重建

显存预算固定时,应该把有限的 Gaussian 放在哪里?

RLSplat 从稀疏未标定图像前馈重建Gaussian场景,把总Gaussian数量作为显式预算,由策略分配给几何锚点,再用局部解码细化。它能改善小预算新视角质量,但优化对象仍是渲染表示,不是原生网格、UV或可重光照PBR资产。

KAIST、韩国高丽大学
阅读简报
3D 生成MIT框架公开 · 46任务基准未发布

FunCAD:生成的机械结构真的能反复工作吗?

把功能要求绑定到独立物理测试,再用失败证据修订可编辑CAD

FunCAD-Harness让编码代理交付CAD源码、STEP几何与物理声明,由独立测试代理绑定载荷、控制和测量。46类机构上,完整流程明显优于只给要求或仿真工具;但测试条件可调整,打印验证仅覆盖选例,不能把仿真通过当成工程可靠性认证。

Wenqian Zhang 等 / CUHK、CUHK-Shenzhen
阅读简报
3D 生成论文与演示公开 · 实现待发布

InfiniDream:用受约束的程序编辑扩展3D资产工厂

如何把现成程序化几何改造成新资产,并在场景中可靠摆放

InfiniDream不直接从噪声生成三角网格,而让视觉语言模型检索并修改Infinigen程序化资产工厂。系统明确哪些模块能改、哪些基础设施只读,再经渲染反馈修复;场景阶段将语义计划交给确定性的视锥与表面约束放置器。价值在于保留程序、随机种子和可编辑结构,但漂亮渲染尚不等于通过UV、PBR和重光照验收的生产资产。

Yi-Chuan Huang 等 · Alaya Lab / NYCU / NTU
阅读简报
3D 生成论文公开 · 实现权重未核实

Open-Form:把几何风格迁移到陌生草图

学会一种设计语言,如何避免顺带记住原来的字形

这项研究处理二维图像生成:从字体或图标样例学习笔画、连接、曲率等几何设计语言,再迁移到异类草图。通用几何LoRA先学结构,风格LoRA在其冻结条件下适配。按本站图像生成纳入3D相关领域的口径收录,应用关系是图形资产与纹理图案设计;论文并不输出三维网格、UV或PBR材质。

Adar Elad 等 · Tel Aviv University / Shenzhen University
阅读简报
3D 生成部分代码与检查点可用 · 许可待明确

PhysSkin++:用神经蒙皮子空间驱动物理动画

静态资产能否无需逐物体训练,就获得可控弹性与接触响应?

PhysSkin++ 从静态形状预测连续神经蒙皮场,以少量仿射控制量做降维物理模拟,并扩展交互约束、接触、骨架补充形变和3D Gaussian动画。它关注已有资产的运动化,而非生成新几何或材质;低维条件数优良也不等于物理轨迹准确。

浙江大学、蚂蚁集团等
阅读简报
3D 生成代码与检查点公开 · 依赖条款另核

Holo4D:用持续三维轨迹约束动态视频换视角

几何轨迹怎样进入视频扩散模型,哪里仍会出现不可见区域幻觉?

Holo4D从源视频提取持续三维轨迹,投影到目标相机后作为视频生成条件。它生成的是新视角RGB视频,不输出可编辑网格、UV或PBR材质;几何约束减少不一致,但不会自动补出真实的遮挡背面。

Holo4D 作者团队
阅读简报
3D 生成论文公开 · 实现开放待核

LayerEditor:把图像编辑结果拆成可复用 RGBA 图层

画布改对之后,文字、物体和背景还能独立调整吗?

LayerEditor 同时生成编辑后的整张画布与有序RGBA图层,用合成一致性蒸馏把两者对齐。它属于二维视觉资产流程,可服务贴花、概念设计与后续合成;输出不是三维几何、UV或PBR材质,图层可移动也不等于三维部件可编辑。

华南理工大学、清华大学、中国科学技术大学、鹏城实验室、京东
阅读简报
3D 生成推理与权重公开 · 非商业许可

视频扩散数字人:分开控制表情与视角

视频看起来像三维,不代表已经得到可编辑头像资产

研究借助视频扩散模型进行单图数字人驱动,分离表情与相机并提升新视角一致性。它与三维资产流程的关系是生成多视角外观与运动参考;输出主要仍是视频,没有直接交付带 UV、独立材质或可重光照的三维头像。

慕尼黑工业大学、Toyota Research Institute
阅读简报
3D 生成论文公开 · 实现开放待核

FlexPart:用语言指定三维网格怎样拆成部件

部件标签能否随编辑意图改变,而不是只有固定分类?

FlexPart 在已有网格上预测语言指定的部件标签,可调整粗细粒度、只选部分组件或改变划分名称。它直接关联局部编辑与材质分配,但不生成新的几何内部面,也不自动完成 UV、接缝和 PBR 纹理处理。

香港大学、腾讯混元、香港中文大学(深圳)
阅读简报
3D 生成论文公开 · 实现开放待核

MTEdit:一次画出四个编辑状态,减少反复修改的漂移

把多轮视觉资产编辑做成共同上下文中的训练轨迹。

MTEdit把四轮编辑结果同时放进2×2画布生成,再拆成训练轨迹,降低逐轮重画导致的画质漂移。本期归入3D相关视觉资产流程:它支持图像外观迭代,但没有证明UV、接缝或PBR材质一致性。

商汤 / HKUST MMLab / Stanford / 清华AIR
阅读简报
3D 生成代码与权重可见 · 代码许可待核

LILIE:用语言塑造图像损失,同时保留可逆信息

生成模型的训练距离,能否更接近语义而不丢像素?

LILIE训练可逆图像编码器,让其特征支持描述生成,再把冻结特征距离用作扩散训练损失。它属于图像与资产外观生成基础研究,不输出3D网格或PBR贴图;语义改善与细节、计数之间仍存在取舍。

Stanford · Suchir Agarwal 等
阅读简报
3D 生成论文公开 · 实现开放待核

MFlow:用连续频谱参数化补回像素生成的高频

更锐利的生成纹理,是否真的包含更多正确细节?

在固定patch PCA基底中学习连续目标参数化,并用轻量后处理恢复高频。归入3D资产流程的图像/纹理研究:它改善候选图像频谱,尚不生成UV、PBR或几何。

MFlow 作者团队
阅读简报
3D 生成代码与已核权重Apache-2.0

MOSS-Image:把长文字与版式变成可控图像条件

海报和标牌生成,离可编辑资产还有多远?

5B图像扩散骨干联合多粒度描述、文字框和规划代理,面向长文字与复杂版式。适合作为场景标牌、贴花和界面资产候选,但长文本召回不是逐字正确率,代理也不包含在5B规模中。

OpenMOSS 团队
阅读简报
3D 生成代码可见 · 统一许可未明确

FlashReFocus:先恢复全清晰图,再快速改变景深

快速重对焦能恢复真实材质细节,还是只是生成得像?

一次生成式全清晰恢复,再由轻量渲染器反复生成景深效果。可服务资产摄影和展示预览,但被遮挡内容不可恢复,单目深度、幻觉细节及测试选择都会影响结论。

FlashReFocus 作者团队
阅读简报
3D 生成实现Apache-2.0 · 数据CC BY 4.0

RoboCloth:用500种实测织物学习反射先验

布料的细小起伏与各向异性,怎样进入可重光照的材质表示?

RoboCloth 用机器人采集500种织物的多光照、多视角HDR反射,学习共享神经BRDF,再为新样本优化空间纹理和细微视差。它针对材质捕获与重光照,不是从文字直接生成衣服,也不直接输出通用金属度/粗糙度贴图。

Zhen Colin Li、Haoran Qin 等 / RoboCloth 团队
阅读简报
3D 生成展示仓库 · 权重清单可见、许可待核

SUPRA-Tex:先解释可见材质,再补全整个表面

单张参考图的颜色、金属度与粗糙度,如何成为可重光照资产?

SUPRA-Tex 先从图像估计可见PBR属性,再投影到给定网格,以只读观测条件引导完整表面生成。其关键是分开图像去光照与三维补全,避免把一张图上的阴影直接固化为纹理;背面仍是生成假设。

Chen Yang、Jiemin Fang 等 / SUPRA-Tex 团队
阅读简报
3D 生成论文公开 · 代码待发布

CF-Splat:固定网格上的外观拟合可以解成线性系统

不再联合优化几何,能否快速得到多视角一致的表面颜色?

CF-Splat 给定三角网格和标定图像,只拟合顶点的视角相关球谐颜色。光栅化像素对系数呈线性,使外观问题可写成带正则的全局最小二乘,并用矩阵自由PCG高效求解;它不是从零重建网格或PBR材质。

Yixin Fang、Liang Zhao / 爱丁堡大学
阅读简报
3D 生成推理代码可见 · 权重未确认公开

StructParts:同一个形状潜变量,在部件与整件坐标间交替推理

怎样复用整体3D先验,而不让小部件细节或装配结构失真?

StructParts给粗网格附上面级分割,让同一潜变量交替接受部件局部与整件全局位置编码。它减少适配训练成本并支持合并、拆分部件;但自然粗网格错误仍会传递,也没有验证纹理、UV和PBR资产交付。

香港大学、Transengram、腾讯、深圳河套学院
阅读简报
3D 生成基准数据已发布 · 代码待开放

3DVerifier:三维资产看起来合理,不代表满足要求

把判断、拒绝理由和反事实一致性拆开,能否找到可用的自动验收器?

3DVerifierBench用2581个十任务样本,检查模型是否能发现数量、部件、材质外观、抓持、身份和运动问题。最强模型仍明显落后人工;候选选择和人工递归修改显示潜力,但不能当成自动闭环已经解决。

东南大学、香港科技大学、深圳河套学院
阅读简报
3D 生成代码开放 · 数据非商业许可

3DCodeVerse:把3D内容写成代码,再用几何检查推动修订

规模统计、执行成功和资产质量为什么必须分开看?

3DCodeVerse整理可执行三维程序,并用规划、构建、测量、渲染和修订形成反馈流程。附录明确“2M”是约203万导出行,目录约27万个唯一程序;训练提高可执行率,但运行成功仍不是可交付资产质量。

USC、Yale、Rochester、UC San Diego、Google DeepMind 等
阅读简报
3D 生成论文公开 · 实现开放待核

Q-MAGIC:先编码奇异点,让四边形网格序列更短

拓扑遍历顺序能否改善可编辑四边形网格生成?

Q-MAGIC 从点云生成四边形网格,核心贡献是网格token化:先围绕非四价顶点组织patch,再压缩相邻顶点的局部位移。它改善的是几何与拓扑生成,不涉及纹理、UV展开或完整PBR资产交付。

大连理工大学、里昂中央理工学院 Yuming Zhao 等
阅读简报
3D 生成论文公开 · 实现开放待核

VisibilitySplat:冻结几何,用可见性分离材质与光照

快速3DGS预览如何与较慢的物理重光照共存?

VisibilitySplat 将传统3D Gaussian Splatting保留下来,先拟合几何与法线,再冻结它们,通过高斯可见性追踪估计反照率、粗糙度及环境光。论文强调小规模合成对象上的逆渲染,不能把实时外观预览误写成实时物理重光照。

罗斯托克大学 Sven Kluge、Oliver Staadt
阅读简报
3D 生成代码与权重可见 · 项目登记许可

InfiniSplat v2:冻结几何,用高斯属性学习改善新视角

降低渲染伪影是否意味着几何和材质也变得可靠?

InfiniSplat v2从多视图重建高斯场景,冻结深度与相机分支,仅学习颜色、尺度、旋转和不透明度。六数据集感知指标改善,但固定中心无法修复严重几何错误,输出也不是具备UV和PBR分解的网格资产。

浙江大学、Hello TransTech、深圳大学、Causa Robotics
阅读简报
3D 生成论文公开 · 实现开放待核

ESC:新视角生成的几何一致性如何自查?

用双向重投影筛选图像,同时保留深度估计的误差边界

ESC 联合生成目标图像与逆深度,并用源视图和生成视图之间的几何冲突选择候选。它有助于三维资产流程前端的多视角质检,但检查依赖深度、相机和可见覆盖;隐藏区域与镜面材质仍不能被几何分数自动认证。

Meta FAIR、Mila
阅读简报
3D 生成代码公开 · 许可分项说明

BlenderWorld:验收3D agent,不能只看它选的那张图

可编辑工程、内部结构和多角度效果,如何一起打分?

该基准用223个现实制作请求评估13个agent,要求提交可编辑.blend与指定媒体。新视图、场景内部检查和冻结评分准则共同揭露“正面看似正确、侧面却消失”的二维捷径。

Zhejiang University · Alibaba Token Hub · CUHK 等
阅读简报
3D 生成论文公开 · 实现开放待核

Cepheid:把稀疏网格运动的尺度与结构分开学习

少数顶点的位移,怎样跨动物、人、机械臂与布料补成整片表面运动?

Cepheid先用无学习的调和延拓补出基础运动,再学习无量纲残差,并从可观测位移估计其物理幅度。统一模型在五类几何的汇总误差上优于基础解,但极稀疏腿式物体仍出现负迁移;真实视频展示没有不可见表面的真值,不能当成准确性证明。

Chih-Hai Su、Tsung-Wei Ke、Yu-Lun Liu / 阳明交通大学、台湾大学
阅读简报
3D 生成论文公开 · 实现开放待核

WorldRecon:把无位姿多视图重建接到分块PBR网格生成

生成补全能否保住整屋布局,并减少几何与材质的块间接缝?

WorldRecon先用VGGT-Ω恢复粗点云与相机,再以TRELLIS.2逐块生成稀疏结构、几何和PBR材质。相邻块通过潜变量修补、轨迹钳制与加权融合共享上下文。它改善单层室内场景的完整性,但“合理补全”不等于恢复不可见区域的真实结构。

Mengchen Zhang 等 / 浙江大学、腾讯混元、复旦大学
阅读简报
3D 生成实现代码MIT · 复现材料部分公开

TextureMatcher:纹理插值首先要决定谁与谁混合

把裂纹与毛发按外观匹配,能否优于同位置特征叠加?

研究固定预训练编码器与解码器,仅改变纹理局部特征的配对。外观软匹配改善中间纹理的分布统计,但会压缩特征方差,路径有方向性,末端未必复原目标;它是RGB纹理外观工具,不是已经完成的3D材质混合管线。

特拉维夫大学、斯坦福大学 Ido Madar、Gal Oren、Shai Avidan
阅读简报
3D 生成论文公开 · 实现与数据待发布

看得见的物体,也应该参与镜面里的世界

直接多视角监督约束近场反射,独立颜色分支避免两种观察互相拉扯

从多视角图像重建主、次两组2D高斯,反射光线同时与两组相交。主场景已有的直接几何监督帮助定位镜面里的近处物体,再以三平面与球谐共同表达反射外观。

Yiming Liang、Tianyu Xiao、Hiroshi Ishikawa
近场反射2DGS
阅读简报
3D 生成论文公开 · 实现开放待核

Make It Flow:把静态高斯里的瀑布变成循环动画

由二维流先验融合三维速度场,追求可控观感而非物理流体模拟

输入已有3DGS、带位姿图像与人工三维流向提示,分割水面并预测各视角流场,再用重投影融合体素速度场。高斯沿该场变形,以前后两组轨迹和透明度互补实现循环。

Kjell Keune、Florian Hahlbohm、Jannis Möller 等
阅读简报
3D 生成代码公开 · 第三方资产许可独立

Artisan:把关节资产的碰撞和可操作性带入生成循环

设计、编码与独立审查分工,物理通过仍不等于示范管线可用

输入文字和可选参考图,生成可编辑程序、部件网格、关节层级、质量、PBR参数及交互标注。物理模拟反馈用于修复碰撞与倾倒,独立审查再检查功能是否被修复过程牺牲。

Xudong Cai、Ruijie Zhu 等 / NTU、ETH、Oxford、Cambridge、Microsoft
阅读简报
3D 生成论文公开 · 实现开放待核

MeshRepair:只生成删面与补面操作,保留已有网格布局

拓扑修复能否分辨错误孔洞和艺术家有意保留的开口?

MeshRepair把完整草稿网格编码为双向可读前缀,再自回归预测删面和补面。它在两类生成草稿上提高拓扑F1,但主要收益来自删除;输入使用参考顶点,尚未证明能处理任意几何漂移或交付完整材质资产。

南洋理工大学、SparcAI、得克萨斯大学奥斯汀分校
阅读简报
3D 生成论文公开 · 实现开放待核

CompactSplat:把更多高斯留给复杂区域

纹理驱动的空间分配如何减少冗余,又会漏掉什么?

CompactSplat从稀疏视图前馈预测高斯场景,按图像局部变化自适应分配高斯数量。它面向可渲染场景压缩;较少高斯不等于闭合网格,也没有直接提供UV、部件结构或PBR材质。

Bing He、Jingnan Gao、Yunuo Chen 等
阅读简报
3D 生成论文公开 · 实现开放待核

SliderEdit++:把图像编辑的强度滑杆变得更可预测

连续调材质外观与光照参考图,为什么只约束两个端点不够?

SliderEdit++在LoRA编辑强度的中间轨迹上加入速度、语义和谱范数约束,并限制多滑杆串扰。它适合资产外观与照明参考图迭代,因此收录于3D资产流程;输出仍是二维图片,没有多视图一致性、网格、UV或物理材质参数保证。

Adobe Research、University of Maryland
全文深读资产流程
阅读简报
3D 生成代码公开 · PartField依赖限非商业

SpaceFlow:哪些部件必须保形,哪些部件可以自由生成?

以局部几何约束与外观路由连接草模和纹理,控制力提升伴随细节损失

SpaceFlow给草模中的每个超二次曲面部件指定几何约束强弱,再将生成结构分成语义区域,把文字或参考图外观条件路由到相应区域。它不重新训练TRELLIS,但在推理中做重采样和潜变量优化;固定几何下更忠于局部提示,却没有全面提升纹理细节。

ETH Zürich、Stanford University、Microsoft
局部可编辑性几何约束
阅读简报
3D 生成论文公开;代码与模型许可未确认

3DTexMOR:先统一纹理坐标,再从高斯场景中移除多个物体

共享平面纹理、反射分解与几何约束;漫反射辐射仍包含光照

3DTexMOR针对重建高斯场景中的多物体删除:将不同视角看到的背景投到同一支撑平面纹理空间,统一补全漫反射辐射、菲涅尔反射率和粗糙度,再投回各相机监督新增高斯。共享纹理减少视角间冲突,平面、锚点和尺度约束抑制几何漂移;核心限制是待补区域必须近似共面。

南京大学、南开大学 · Kunxin Guang、Yonghao Zhao 等
场景编辑纹理空间补洞
阅读简报
3D 生成论文与交互展示公开;代码待发布

GATOR:先生成有场景位姿的资产,再让代理修补几何与纹理

局部多模态对齐接上Blender编辑;外观改善不能替代材质恢复与几何验证

GATOR从随手拍的多视图、目标掩码和深度生成完整、带场景相对位姿的物体,再让代理在Blender中基于输入图像修补部件、孔洞、UV和材质。核心不是凭空让语言模型建模,而是先提供生成资产作为几何与坐标支架。多数基准支持这一组合,但代理修补不保证几何单调改善,PBR输出也不代表已经识别出真实去光照材质。

NVIDIA、Simon Fraser University
资产重建多模态对齐
阅读简报
3D 生成代码与视频数据公开;完整管线限非商业研究

OuroWorld:用周期形变让静态高斯场景持续循环运动

傅里叶表示保证时间闭合,参考视角约束防止漂移分支吞掉动作;无掩码仍需人工选视点与旋转中心

OuroWorld从静态3DGS生成参考视频,再补全多个视角,将动态拟合到周期4D高斯表示。独立漂移分支吸收生成视角之间的不一致,并在推理时去除。它能从表示上保证循环,但评测只覆盖选定中心附近±20°视角,生成的光照变化也不是可物理重光照的PBR材质。

阳明交通大学、Alaya Lab
4D高斯循环动画
阅读简报
3D 生成实现与权重公开;许可未明确

FreeInpaint:无相机标定的三维场景移除与补全

可学习掩码保护跨视图对应,扩散支持图修补盲区;输出高斯场而非可重光照网格资产

FreeInpaint把DA3改成输入一个干净参考图和多个无位姿掩码视图、直接输出相机与3D高斯的补全网络。逐层可学习的注意力偏置防止被遮挡区域污染对应,低透明度区域再用扩散生成的支持token补强。公开代码可导出高斯PLY,但补出的内容只是合理猜测,尚不提供UV、PBR材质或真实隐藏几何恢复。

香港科技大学(广州)、香港科技大学
3D修补无位姿重建
阅读简报
3D 生成论文公开;实现开放范围待核

Fresco++:先稳定粗结构,再用跨视角共识恢复头像细节

从Fresco的UV一致性扩展到规范表面分组;收益发生在训练阶段

Fresco++为头像重建加入低到高频训练日程,以及Canonical Group Consensus。同步视角通过FLAME表面局部结构建立对应,过滤不可靠观察后,用真实图像特征共识监督当前渲染。

Shikun Zhang、Yong Li、Yiqun Wang、Qiuhong Ke、Cunjian Chen · Monash、重庆大学
头像重建跨视角一致性
阅读简报
3D 生成论文公开;实现开放范围待核

GenIA:在推理时把生成的三维资产重新对齐输入

保留SAM3D先验,用深度、可见性和渲染梯度修正位置与外观

GenIA在冻结SAM3D上加入深度约束的平移尺度估计、可见性注意力、跨观察融合和渲染引导。可选100步对象级细化优化外观latent、低秩解码适配器和位姿;动态场景依赖外部时序几何。

Stefano Esposito、Naama Pearl 等 · 图宾根AI中心、Meta Reality Labs
生成式重建资产对齐
阅读简报
3D 生成论文公开;实现开放范围待核

PAM-ToD:给既有高斯场景增加昼夜外观插件

少量有位姿锚图学习颜色变换,不能视为恢复可重光照PBR材质

冻结已有3DGS,在球谐颜色求值后加入分层乘性增益与非负亮度项。全局、空间网格和单高斯残差共同适配目标时段,并用语义与平滑约束减少稀疏锚图造成的视角间色差。

Kota Shimomura、Sungho Moon 等 · 中部大学、Elith、DGIST、KAIST
3DGS昼夜外观
阅读简报
3D 生成论文公开 · 实现开放待核

SubDGuide:用受约束的规划和验证恢复细分曲面控制笼

多模态规划在哪些环节真正改变几何,增益有多大?

SubDGuide从六视图证据选择控制笼密度和曲线角色,再由确定性工具拟合并验证。20个精选形状上几何误差降低,但主要提升来自拟合;反馈只在6例改善,不能视为任意拓扑重建能力。

Mercedes-Benz、达姆施塔特工业大学
阅读简报
3D 生成论文公开 · 实现开放待核

Hi3D 3.0:铭文和细缝真的进入网格了吗?

Twinkle3D 追求对象级几何忠实度,报告哪些证据支持,哪些实现仍未交代?

Hi3D 3.0把单图几何生成推进到2048³表示,重点是薄壁、细缝、重复结构与铭文能否成为真实网格。报告的OCR与几何比较有吸引力,但33输入的小基准、姿态筛选和未公开实现限制结论。它解决的是形状忠实度,不应把它当作完成UV、PBR与低面数交付的全资产系统。

Hi3D / Twinkle3D 团队
阅读简报
3D 生成论文和演示公开;实现未核实

NeRFifyMesh:直接从带纹理网格训练可组合的神经场

省去训练视图渲染,以几何监督换取可提取表面;动力学仍由PyBullet提供

NeRFifyMesh从已有网格采样颜色、法线与内外占据标签,分别训练颜色、法线和稀疏哈希占据网络,不依赖多视图图像训练。得到的逐物体神经表示可以组合、附加光照并提取碰撞网格,但假设不透明且外观与视角无关。

多伦多大学 · 多伦多都会大学 · 伦敦大学学院
网格转神经场资产转换
阅读简报
3D 生成论文与附录公开;代码权重未核实

MeshCarve:分别压缩顶点与连边,快速生成接近手工布局的网格

0.13 token/面缩短两阶段流序列,但非流形连接仍是明显短板

MeshCarve以稠密点云为条件,先预测粗顶点锚点,再分别用流匹配生成顶点与连边的压缩潜变量。顶点邻接用相对位置的傅里叶特征求和编码,解码后将三角环直接变成面;形状指标较好,但这种组面方式没有流形约束。

南洋理工大学 · SparAI · 得克萨斯大学奥斯汀分校
网格生成拓扑
阅读简报
3D 生成论文与演示公开;代码、权重未确认

Position Forcing:让几何潜变量逐步告诉模型自己在哪里

单阶段位置自条件生成;训练真值坐标与推理预测坐标的差异是关键

Position Forcing 在单阶段图生3D中为无序几何 token 增加位置解码器。生成时先从速度预测得到干净潜变量估计,再恢复坐标、由粗到细量化,并通过3D RoPE反馈给下一步。它避免另训结构生成模型,但仍需联合训练位置感知VAE和图像条件DiT;现有证据主要覆盖几何重建与语义相似度。

南开大学 VCIP、腾讯混元、港中文 MMLab 等
图生3D空间自条件
阅读简报
3D 生成论文公开;官方代码入口标注SOON

Tetris3D:让生成物体按支撑关系彼此贴合

邻近表面与物理关系进入每个体素;学到的接触先验仍不是硬约束

从一张图重建多物体场景,难点常藏在被遮住的接触面。Tetris3D按支撑依赖顺序生成对象,把已生成邻居的表面距离、方向、法向及堆叠/倚靠/容纳关系注入TRELLIS.2体素;不可见区域另从可见token交叉注意力补全。ComOb用约40万目标物体与12种基元构造120万稳定场景。实验支持更少穿透和更稳的布局,但真实深度、估计深度与自由场景推理必须分开看。

KAIST AI
场景生成物体交互
阅读简报
3D 生成推理代码与增量权重公开;限非商业用途

BuildRome:自适应分块,把单张照片扩成室内外场景网格

近处细、远处粗,并将已见表面与遮挡区分开;输出仍无纹理且依赖估计深度

BuildRome在TRELLIS.2上添加深度对齐条件和LoRA,按距离、局部高度分配不同物理尺寸的场景块,再复用重叠潜变量逐块补全。单图能生成包含遮挡部分的场景几何,但隐藏区域只是合理假设,米制尺度继承单目深度误差,尚不生成纹理或PBR材质。

Applied Intuition · Purdue · UIUC · UC Berkeley
单图场景自适应分块
阅读简报
3D 生成全文公开;未确认官方代码

View Matters:先选可靠视角,再编辑三维高斯场景

关键帧单向指导其他视角;23组场景提示的提升尚不能证明资产级材质一致性

View Matters认为不同视角给二维编辑器的证据并不等价:先以几何可见性、语义独特性和编辑相关性选关键帧,再让关键帧单向指导其他视角,最后在3DGS优化中提高关键帧损失权重。8个场景、23个编辑任务上报告较好的CLIP指标和约4分钟编辑,但跨视角一致性只有两个代表案例分析。

Kaizhe Zhang 等,西安交通大学
3DGS编辑视角选择
阅读简报
3D 生成注意力内核及H3集成公开 · 3D模型内部

MC-Sparse:高分辨率3D生成怎样减少注意力计算,又保住细结构?

精确挑选token、相似查询分组与跨步残差补偿;2.32倍仅指去噪阶段

MC-Sparse将稀疏注意力的误差拆成分组限制、选择不准和丢弃尾部贡献三部分。在少量锚点步做精确选择与密集/稀疏差值计算,后续步复用索引及残差、重新计算当前QKV。它在内部3D生成模型上更接近密集注意力输出,但没有验证整个纹理或资产管线的加速。

复旦大学、腾讯混元、上海创智学院、香港中文大学 等
3D生成加速稀疏注意力
阅读简报
3D 生成论文公开 · 代码与预处理数据拟接收后发布

AnchorGen:降阻优化也要保留设计意图,让草图持续约束3D车身

联合形状与草图流模型,把风格保持、尺寸编辑和物理目标放进同一优化过程

AnchorGen联合学习车身与草图潜在表示的无条件分布,在推理时优化流的中间状态:一项损失降低阻力代理预测,另一项把草图表示拉向目标设计。它试图解决传统形状先验虽能纠正无效几何,却把设计推向常见车型、丢失原有风格的问题。

EPFL CVLab
可控3D生成草图编辑
阅读简报
3D 生成论文与项目页公开;代码链接仍为占位

ElasticFit:让生成物体适配场景空隙,而不只是找放置位置

结构化支撑点与目标盒连接生成、缩放和物理落定;elastic只是轴向缩放

ElasticFit从已有带实例标注的3D场景和语言指令中推断支撑点、目标盒、朝向及适配模式,按盒子比例生成2D物体并用TRELLIS转成网格,再做刚性、统一或各向异性缩放及PyBullet落定。固定资产放置的空间关系分数69.7%、支撑率91.7%;完整生成适配在60个更难任务上是60.8%和83.3%,不能混为同一成绩。

代尔夫特理工大学
场景插入几何适配
阅读简报
3D 生成MIT代码与评测记录公开;原始资产需分别获取

AffordCraft:复用可动部件库,把单图变成可验收的仿真资产

85.15%物理通过率衡量可用替代物,并不证明照片级重建;复杂场景学习策略仅完成11%的任务

AffordCraft从已有资产库选择机制合适的对象,整体缩放、放置并保留部件和关节,经碰撞、惯性、支撑和运动检查后导出。2000张完整照片中1703件通过,但物理门槛不核验外观重建准确性或完整任务成功。其价值是把资产工程变成带失败反馈的可复用流程。

清华大学、重庆大学、华中科技大学、新加坡国立大学
仿真资产部件关节
阅读简报
3D 生成论文公开 · 实现开放待核

Casual Flash Lighting:用非配对闪光照片拆开材质与光照

普通室内拍摄如何为高斯场景恢复反照率、粗糙度与可重光照外观?

方法联合不同视角的闪光与非闪光图像,在2D高斯表示中估计几何与PBR属性。核心不是简单做图像相减,而是用世界坐标上的漫反射场约束高斯混合产生的视角漂移,让闪光残差真正约束材质。五个合成场景给出定量结果,三个实拍场景主要展示定性效果。

Jiamin Xu 等 / 杭州电子科技大学、华北电力大学、Brown、浙江大学
阅读简报
3D 生成实现代码公开;基础模型另有条款

DynaMesh:固定网格,让纹理随时间演化

把时序一致性加到静态3D生成器中,但每个效果仍需单独拟合

输入已有网格和效果描述,DynaMesh把单视角视频中的苔藓、锈蚀、裂纹等外观变化带到三维表面。它共用几何编码,用邻帧条件融合减少闪烁,再用逐效果LoRA恢复细节,输出固定网格和逐帧纹理;不生成真实形变,也不能仅凭画面连贯推断材质物理正确。

Raj Hansini、Guan Chen、Rana Hanocka、Itai Lang · 芝加哥大学
动态纹理固定拓扑
阅读简报
3D 生成实际代码与数据入口公开;未见明确仓库许可

ArticuTable:从桌面照片恢复能开合的物体和可加载场景

关节拟合、语义行程与逐级配准如何接成资产管线

ArticuTable把单图桌面重建拆为实例资产、关节恢复和场景配准。GRAM用几何接触提出关节候选,再由多模态模型校正轴与枢轴、推断物体自身行程;PSGSR按点云、合成俯视图、原视图逐级缩小姿态和尺度搜索。最终输出URDF及自包含USDZ,而非只有可观看的网格。完整附录区分了100场景的加载检查、425个候选资产的人工审核和代表场景的动态演示。

武汉大学、EPFL、北得克萨斯大学、澳大利亚国立大学
关节资产URDF
阅读简报
3D 生成论文及示例资产公开;实现与权重待发布

DistScene:让环境与独立物体在同一三维坐标系中生成

联合布局再局部细化;公开的是展示资产,代码、权重和训练集仍待发布

DistScene把房间或户外环境也当作可生成组件,与独立物体共同预测稀疏结构和几何,再将每个物体移到局部空间细化。训练场景由TRELLIS.2生成的环境与物体组合而成。室内外几何指标改善,但训练视图要求所有物体可见,室内数据常缺天花板,输出仍可能有孔洞;展示场景可下载并不代表模型已开源。

香港科技大学、TeleAI 中国电信
组合场景独立组件
阅读简报
3D 生成论文公开 · 代码和权重未核实

OuroReward:几何和纹理奖励互相牵制时,先决定优化顺序

依赖图调度与动态提示选择有互补收益,模型引用和成本披露仍有缺口

OuroReward不在每一步平均所有三维质量奖励,而用短预热估计奖励之间的有向依赖,选择兼容性最高的环,再展开为一次顺序优化。配套AdaSelect从提示池中挑选与当前能力相近、组内结果有区分度且较少被重复选中的样本。

上海交通大学、京东
文本生成三维多奖励优化
阅读简报
3D 生成论文公开;代码与模型未核实发布

Verifier-Guided Human Shape:先筛身体比例,再用局部PCA扩充扩散训练

提高验收与新颖度的折中,不等于学到了更广泛真实人群

研究先将DFAUST人体表面对齐,按弹性距离发现六个局部模式,用局部PCA生成候选,再按骨架比例、部件凸包体积和臂截面积代理筛选。接受的合成表面与真实样本混合,从零训练扩散模型。局部提案比自生成回灌更能扩大所测PCA空间,但判据与数据都局限于少量身体和动作。

南卡罗来纳大学、北卡罗来纳大学教堂山分校、莫道克大学、约翰斯·霍普金斯大学
人体几何合成数据筛选
阅读简报
3D 生成全文公开;未核实实现发布

MeshQuery:让智能体用查询和程序规划 UV 接缝

减少 UV 岛与可见接缝,代价是迭代预算及部分畸变指标的退步

MeshQuery把网格属性存进关系数据库,让视觉语言模型通过SQL查询和边选择DSL编写接缝计划,再按展开质量反复修订。它主要面向四边形制作网格,降低碎片化并允许加入美术偏好;生成的是接缝及UV布局,不是几何、纹理或PBR材质。

Adobe Research
UV展开接缝规划
阅读简报
3D 生成论文公开 · 实现与权重未核实

SILSA:用384个重叠切片潜变量保护孔洞与细支撑

切片拓扑监督与三轴共享网格有效,但不等于完整三维拓扑保证

SILSA把表面点云沿三个坐标轴压成固定长度的重叠切片序列,用共享三维网格交换轴间信息,再生成高分辨率几何。持久同调与相邻切片连通数监督帮助保留孔洞、细杆和分支;输出是几何网格,论文没有验证UV、纹理或PBR资产管线。

UIUC PLAN Lab 等
几何生成切片潜变量
阅读简报
3D 生成论文公开 · 实现与权重未核实

Flow3D-Pro:把低分几何的流轨迹引向配对的高分形状

动态归航优于简单排斥,但理论收敛依赖理想速度场,收益尚未覆盖材质资产

Flow3D-Pro在Hunyuan3D 2.1几何骨干上提出动态归航优化DHO:同一图像生成一组网格,由视觉语言模型打分,再用一对一最小代价匹配为低分结果指定高分终点。训练将负样本路径上的速度改向正样本,而推理仍使用普通流积分和冻结的LATTICE细化。

腾讯混元、上海交通大学、中国传媒大学
三维几何流匹配后训练
阅读简报
3D 生成论文与演示公开;代码、权重、数据集待发布

StepCAD:让CAD代码每做一步都看几何,再用搜索修正

从网格到可执行建模程序;高IoU、有效实体与可用设计约束不是同一件事

StepCAD先用目标点云与当前实体共同条件化Qwen2.5-Coder,逐步生成并执行CadQuery操作,再用几何重合度指导局部搜索。搜索不只调半径和深度,还会替换截面、补切多余材料、删去有害操作。配套ARCADE-1.5M提供150万合成程序及1,250万中间状态;困难形状重建提升明显,但优化的目标是形状相似,尚不保证原始特征历史、参数语义或制造约束恢复。

MIT
Mesh-to-CAD参数化建模
阅读简报
3D 生成实现和权重公开;第三方组件许可需分别核对

OctLLM:用稀疏八叉树让语言模型读写几何

冻结语言通路、增加三维分支;纹理仍依赖TRELLIS,几何理解不包含材质理解

OctLLM把八叉树占据压成字节token,用坐标和深度标记位置,在冻结Qwen2.5-VL旁添加专用三维分支。它能生成稀疏几何并描述输入形状,再由补全网络和TRELLIS输出带纹理网格。Toys4K图生三维FID较ShapeLLM-Omni降低17.4%,但专用TRELLIS仍明显领先,IFEval也未完全保持基础模型水平。

北京大学、独立研究者
八叉树三维语言模型
阅读简报
3D 生成数据引擎与完整数据已发布

EditHero:连续改三维部件时,如何识别“没改好”和“改坏了别处”

457条可重放编辑链;代码代理更能保住未修改部分,但新几何精度、耗时和材质评测仍有限

EditHero以部件装配日志生成逐轮精确目标,包含252个宿主、457条链和2755次增删、替换、重贴图。每一步接着方法自己的输出做,分别衡量本轮完成的改变和未编辑区域的保留。在55条共享比较链中,六个语言/视觉代理更善于保留原资产,多数更遵从指令,但新增形状仍粗糙,每次编辑约1.5–6分钟。

Alaya Lab、东京大学、东京科学大学、加州大学默塞德分校
部件编辑多轮评测
阅读简报
3D 生成论文与展示公开;代码和数据待发布

OptimusMesh:16个潜在支点驱动低面数网格生成

压缩的是几何条件序列;128倍压缩不等于128倍生成提速

OptimusMesh把2048个带法线的点编码成16个48维潜在支点,再分别自回归生成顶点和三角面索引。它明确以不超过800面的紧凑几何为目标,平均249面;低面数和部分距离指标较好,但F1、分布覆盖与速度并非全面最佳,也没有纹理、UV或PBR输出。

大阪大学、大阪电气通信大学
点云到网格低面数
阅读简报
3D 生成论文和展示公开;仓库仅说明与素材

MeshOctave:按空间分辨率分裂顶点、重连网格

层内并行的原生拓扑生成,连接矩阵仍有短程自回归

MeshOctave不按一次边坍缩定义一个生成步骤,而把空间网格分辨率逐次减半建立确定层级。逆过程对每个父面预测子顶点占据与内外连接,再用掩码提案和均匀噪声修正迭代生成下一层。这样能够并行细化层内各面,但逐层依赖和局部连接解码仍存在,粗拓扑错误也无法回退。

华中科技大学、Meshy AI、慕尼黑工业大学等
原生网格分辨率层级
阅读简报
3D 生成代码开放 · 范围见说明

MatLoom:把生成材质保存为可以修改的层程序

纹理图之外,能否保留图案、颜色与浮雕之间的依赖?

补收9月30日研究。MatLoom让语言模型输出紧凑分层程序,再导出PBR贴图,保留共享字段、图层参数和噪声种子。它将资产可编辑性放在源表示中,但当前评测主要证明提示匹配,尚未证明自动编辑成功率。

香港中文大学
阅读简报
3D 生成论文及演示公开,未核实代码或权重开放

Texture Space Material Diffusion:直接在UV空间生成可重光照材质

把视频DiT的时间维改作多视角条件,分别检查底色、粗糙度与金属度

给定带UV的已知网格,模型把有位姿照片、文本或低分辨率材质转为底色和打包PBR贴图。统一纹理空间避免为同一表面点分别生成多个视角的颜色;三维位置编码协助跨UV岛联系。重光照测试支持其资产价值,但需要准确几何与相机,且8K多视角推理代价明显。

Jacob Munkberg、Peter Kocsis、Jon Hasselgren · NVIDIA
UVPBR
阅读简报
3D 生成论文与项目介绍公开;无实现或权重

Tex-Zero:把二维图像折成训练样本,学习原生三维纹理

合成几何负责邻域与遮挡,图像负责颜色;既定几何仍是必要输入

Tex-Zero把图像分块、随机旋转并聚拢成带颜色的稀疏三维表面,用这些样本从零训练VAE和条件DiT。共享VAE编码参考视图与目标纹理,使二维细节能迁移到真实几何表面;输出RGB颜色,不生成几何,也未证明能分离光照或恢复PBR材质。

香港中文大学 MMLab · 腾讯混元等
原生纹理合成训练数据
阅读简报
3D 生成论文与交互展示公开;代码权重未核实

TaoTex:从图中文字与图案恢复更细致的原生 PBR 材质

合成高频资产、多层视觉特征和像素监督共同改善纹理,四视图仍依赖方向约定

TaoTex在给定几何上生成反照率、粗糙度和金属度,以5万合成高频纹理资产补充数据,融合DINOv2浅深层特征,再从潜空间损失切换到材质渲染损失。可学习视角嵌入支持最多四张参考图,重点解决平滑表面的文字和图案错位。

阿里巴巴集团
PBR材质文字纹理
阅读简报
3D 生成论文公开;代码与权重未核实发布

DirectUV:让 UV 纹理注意力按三维表面坐标关联

跨岛接缝不再只靠二维邻居;环境三维距离仍不等于曲面测地距离

DirectUV 在 FLUX 风格潜在 UV 空间生成纹理,把 UV 像素对应的三维坐标写进 RoPE,并把粗到细的子块坐标分配给不同注意力头。输入单张参考图和已有带 UV 网格;多视图投影只提供可被纠正的软条件。GSO 的图像指标和消融支持接缝关联更稳,但没有单独接缝测量或完整 PBR 输出。

香港科技大学(广州)、香港科技大学、knowin.ai
UV纹理表面位置编码
阅读简报
3D 生成论文与展示公开 · 代码权重待发布

OmniFabric:直接在服装纸样 UV 上修复纹理

去投影畸变与烘焙阴影,保留可缝合的资产结构

OmniFabric 从单张服装参考图出发,先预测可缝合纸样、投影多视图粗纹理,再在规范 UV 域用扩散模型恢复连贯图案。它把纹理交给可模拟服装资产,但生成的是规范化 RGB,不是具有完整物理参数的 PBR 材质。

CMU、华盛顿大学、Texas A&M、Google
UV纹理服装资产
阅读简报
3D 生成论文公开 · 实现未确认

AdaTex4D:把动态纹理容量分给真正需要的高斯

纹理存储减半的同时,训练更慢、渲染也略慢

给每个4D高斯都配同样大的局部纹理,容易把容量浪费在简单或不可见区域。AdaTex4D冻结已有动态高斯骨干,以跨时间的可见梯度需求和形变尺度决定三平面纹理沿哪一轴增长,在相近画质下减少存储;它优化动态外观,不输出网格UV或PBR材质。

De Jiang 等 · 清华大学深圳国际研究生院
动态高斯纹理容量
阅读简报
3D 生成论文与演示公开 · 制品待发布

CODA:先补完整场景,再把对象从网格中分出来

RGB-D 几何补全、对象编码与资产分解

CODA 将单帧 RGB-D 场景先补成统一网格,再利用纹理分支写入对象身份编码进行拆分。它保留对象之间的几何关系,但这些“纹理通道”被用于身份标记,不是给对象生成了真实 PBR 材料。

KAIST、Samsung Heavy Industries
场景补全对象分解
阅读简报
3D 生成论文公开 · 实现未核实

SeamFlow:让 UV 接缝沿着结构生成

纹理连续性不仅取决于贴图模型,也取决于表面怎样被切开

输入已有网格,为每条边联合预测成为接缝的概率,再展开为 UV。它改进的是纹理生成的上游布局,不直接生成颜色或 PBR 材质。

香港城市大学 · Meshy AI · Bambu Lab · 南洋理工大学
UV展开接缝
阅读简报
3D 生成论文公开 · 实现未确认

SAMIRA:表情和光照分开学,头像能否真正重光照

语义区域残差、UV 采样与受限材质分解

SAMIRA 从单目视频拟合绑定 FLAME 网格的高斯头像,用面部语义区域分别建模运动残差与光照响应。它改善了所测头像重建与动画,但重光照主要是定性展示;单目材质—照明歧义、投射阴影和极端光照仍没有被完整解决。

中科院等 · Jiankuo Zhao 等
可重光照头像UV 残差
阅读简报
3D 生成权重与推理实现公开 · 非商用研究许可

Qwen-Image-2.1:让图像生成进入透明图层与资产编辑流程

从混合粒度注意力、潜空间压缩到偏好训练:哪些已由 2.1 实现证实,哪些仍只是前代背景

Qwen-Image-2.1 将生成、编辑和透明输出统一起来。本文结合新版架构图与代码,以及 2.0、VAE-2.0、2.0-RL 三份报告,解释缓存为何成立、压缩如何影响细节、偏好训练怎样权衡任务,并明确版本与证据边界。

阿里巴巴 · Qwen 团队
图像生成图像编辑
阅读简报
3D 生成论文与演示公开 · 实现待发布

TexF:把纹理放回三维表面,压缩可以绕开 UV 吗

同一表面纹理场,两种成本口径:传输码率与显存占用

TexF 把纹理存进由网格表面决定的稀疏体素,分别面向传输压缩和 GPU 按需解码。它减少 UV 切割造成的相关性损失,但并不免除几何、训练和渲染成本;近邻薄表面可能串色,进入现有资产工具时仍常需要烘焙回 UV。

CityU、上海交通大学、Texas A&M
纹理压缩无 UV 表示
阅读简报
3D 生成论文与演示公开 · 实现待发布

UltraTex:把计算集中到前景,生成六视图 2K 反照率

高分辨率纹理提速,与完整 PBR 生成仍有距离

UltraTex 给定网格和参考图,以前景 token 裁减、块稀疏注意力和适配 VAE 生成六视图 2K 反照率,再投影回网格。主实验的粗糙度与金属度是固定值,不能把结果写成完整物理材质生成。

吉林大学、上海创智学院、香港大学、同济、复旦、VAST
纹理生成稀疏注意力
阅读简报
3D 生成闭源服务

Meshy 7.1 · Ultra 4K

几何细节升级进入 API,评测也需要区分细节与噪声

9 月 18 日 API 加入 Meshy 7.1 和 geometry_resolution 参数。Ultra 4K 指几何分辨率,不能与 4K 纹理贴图混为一谈。

Meshy
几何生成表面细节
阅读简报
3D 生成产品计划 · 尚非新模型上线

Roblox 秋季创作路线图

新纹理工具与场景生成列入计划,材质能力分阶段推进

官方计划在 2026 年末推出改进的纹理生成和场景布局生成;PBR 分层与材质响应改进列在 2027 年中。这些是开发计划,尚不是新方法的效果证据。

Roblox
纹理生成PBR
阅读简报
3D 生成部分部署实现公开 · 翻译器发布待核实

The Weight Is Over:让图像生成更接近本地交互

小文本编码器、量化和权重流式加载各解决不同瓶颈

论文以 FLUX.2-klein 为例,组合小编码器加翻译器、低比特计算和按层权重流式加载,降低本地图像生成成本。它属于视觉资产流程的基础能力;重点要区分编码耗时、首轮预览和完整成图,以及显存节省与质量损失。

Adobe、NVIDIA · Frieder Ganz、Maximilian Müller
图像生成端侧部署
阅读简报
3D 生成论文公开 · 实现未核实

GS-PI:从高斯重建中分离 PBR 材质

生成可重光照属性,也要分清材质准确与几何准确

把已有高斯资产转换成点云,在固定几何上生成反照率、粗糙度和金属度,再蒸馏回高斯表示。目标是去除原光照的烘焙痕迹,而非从文字直接生成完整物体。

浙江大学 CAD&CG 国家重点实验室
PBR材质分解
阅读简报
3D 生成论文公开 · 代码待发布

在潜空间做渲染:更快得到特征,为何更慢得到图片

改写渲染方程、逐场景优化与解码器成本必须一起看

这项工作直接渲染 SD3.5 VAE 的 16 通道潜变量,再解码成图像,以连接传统三维场景与生成模型。它要求已知场景并逐场景拟合,不是从一张照片自动重建未知世界;同误差下潜变量生成较快,但最终 RGB 路径反而受解码器拖累。

Trinity College Dublin、ÉTS 等
潜空间渲染可微渲染
阅读简报
3D 生成编辑推理代码可用 · 依赖上游权重

RefineEdit:让生成中的二进制潜变量只在需要处改变

回顾补收:共享生成起点、位路由与短期编辑权限

RefineEdit 利用 GRN 的逐步二进制细化过程:从已有生成轨迹分出编辑支路,只允许特定位置和 bit 采用新提示的更新。它不用额外训练或外部分割,但需要源图的生成过程;这与直接编辑任意上传照片不同。

Yulong Chen 等
图像编辑生成式细化
阅读简报
3D 生成闭源服务

Meshy Auto Split:带纹理输入

可以直接拆件,但输出仍会失去原材质

Auto Split 开始接受带纹理任务作为输入,省去先生成无纹理版本的绕路。但拆分结果仍是每部件单色,原纹理不会继承。

Meshy
部件分解纹理保留
阅读简报
3D 生成论文与演示公开 · 实现待发布

KaiNinja:把原生三维生成器拆成两个部件体积

回顾补收 v2:接触面、双流继承与部件粒度的代价

KaiNinja 将 TRELLIS.2 的单体 O-Voxel 扩成两个互补体积,让接触部件尽量分处两侧,再从连通分量得到独立网格。它改善了自建数据上的几何,但双体积必须合并某些复杂接触关系,外部基准的部件得分也并非领先。

Alaya Lab、东京大学、UC Merced 等
部件生成O-Voxel
阅读简报
3D 生成推理与权重可用 · 多组件许可

SAM3D-Part:点选已有网格,生成完整可复用部件

回顾补收:密集坐标对齐与实际发布范围

SAM3D-Part 从已有网格和点选蒙版出发,融合局部图像、三维形状与已提取部件缓存,再生成完整部件。它通过每体素坐标对应估计尺度和位置;这不是直接切出原有表面,也不能保证隐藏结构、材质或方向完全正确。

香港中文大学(深圳)、Meshy AI 等
交互建模部件补全
阅读简报
3D 生成论文与项目页公开 · 制品待核实

UniPart:用一句话定位三维资产的功能部件

回顾补收:数据引擎、逐层文本注入与点云蒙版

UniPart 用大规模文本—部件数据训练点云 Transformer,让自然语言短语直接选择已有几何中的部件。它属于三维资产理解和编辑入口,输出点云蒙版,不能直接生成完整网格或 PBR 材质;本条只计入 3D 领域。

中科院自动化所、北京大学、Galbot 等
部件理解语言选择
阅读简报
3D 生成论文与交互展示公开;代码和容器待发布

AvaImg:先把扫描配准好,再把人体做成可编辑 UV 图

统一几何与纹理对应是生成数据的基础;VAE能重建不等于已学会生成

AvaImg 将带衣服人体扫描优化配准到统一SMPL(-X)+D拓扑,利用绕数内外判断减少身体穿衣,再由粗到细位移贴合表面,输出语义对齐的UV颜色与位移图。其价值在于数字人生成、换纹理和重动画的数据管线,而非直接训练一个新生成模型;冻结FLUX VAE的往返重建只是表示兼容性实验。

图宾根大学、图宾根AI中心、马克斯普朗克信息学研究所
数字人配准UV位移
阅读简报
3D 生成论文 · 实现待发布

SceneHI

整场景贴图:多视角一致、高分辨率与可控阴影

输入无纹理场景和文字描述,把多个视角的扩散去噪同步到共享 UV 潜空间;再补齐遮挡面、增强细节,并可选烘焙阴影。它解决的是整场景贴图,尚不能当作完整的可重光照 PBR 生成器。

University of Glasgow 等
场景纹理多视角一致性
阅读简报
3D 生成代码 · MIT

Heat Kernel Textures

把纹理定义在网格表面,绕开 UV 接缝

HKTex 用沿三角网格表面传播的各向异性热核表示外观,核的位置、密度和优化都受表面约束。可从现有纹理或多视角图像拟合,并接入物理渲染器;这是纹理表示与重建方法。

Imperial College London
纹理表示无UV
阅读简报
3D 生成论文公开 · 代码待发布

AnyGS2Mesh:从已有高斯场提取更稳的网格

回顾补收:多视图几何融合与转换成本边界

AnyGS2Mesh 接收已训练的高斯场与标定相机,融合三维高斯和二维几何特征,再预测深度并提取网格。约半分钟的转换不包含上游高斯训练,也不包含 UV、材质或生产级拓扑整理。

中国科学技术大学
高斯转网格几何重建
阅读简报
3D 生成论文公开 · 实现未确认

LightBridge:把重光照变化直接传播到完整3DGS

一步潜空间桥接加高斯传播,保留几何、更新球谐外观

LightBridge以已有高斯场景和灯光强度/颜色控制为输入,先预测源视频到目标光照的潜空间变化,再把变化传播为每个高斯的球谐系数残差。它省去逐场景拟合重光照视频的过程,但不会输出去光照的PBR材质或修复原几何。

Hezhi Cao 等 · 中国科学技术大学
3DGS重光照
阅读简报
3D 生成论文公开 · 代码模型数据仍占位

CameraEditor:把相机参数编辑拆成一段视频

回顾补收:参考路由与中间视角,不等于三维相机平移

CameraEditor 将俯仰、横滚、视场角和镜头畸变变化拆成连续中间帧,用视频先验生成最终编辑图。它还能从全景图池选出经历相同相机操作的参考片段;实验锁定 yaw,不支持真实三维平移产生的视差。

Xin Shen 等
相机控制图像编辑
阅读简报
3D 生成论文公开 · 实现未确认

Procedura补收:用可检查配合关系写3D装配程序

参数、部件和关节可编辑,但检查门控不等于全部产物必然合格

Procedura让冻结语言模型编写OpenSCAD程序,以命名部件和类型化配合关系构成装配,再通过渲染反馈逐项修正。8月26日首发,今天补收;它的价值是直接输出可改参数的程序资产,而非仅有网格,但质量门控存在警告放行,模拟通过也不等于可制造。

Youtian Lin 等 · 南京大学等
程序化资产装配约束
阅读简报
3D 生成论文公开 · 实现待核实

ExMesh++:从多视图照片到可编辑、可重光照的 UV-PBR 资产

先稳定网格与 UV,再分离材质和光照;接缝更新是方法的一部分

ExMesh++ 把目标从“渲染像原照片”推进到可交付的网格和 PBR 贴图:先自适应调整拓扑并维护 UV,再冻结几何做逆渲染。它尤其值得关注去光照和资产编辑,但不是一次生成完整生产级资产,也没有定量验证金属度恢复。

中国科学技术大学、阿里巴巴高德
网格重建UV 接缝
阅读简报
3D 生成论文公开 · 实现未确认

Luce补收:把反照率、粗糙度与法线放进不同高斯

可导出PBR网格和切线法线;7秒高斯生成不等于完整网格资产只需7秒

Luce用分模态高斯共同表示几何与PBR外观,压缩到材质感知潜空间,再从单图生成可重光照高斯或带UV的网格。8月25日首发,今天补读v2;其意义是把照明从外观中分开,并将细法线导入标准资产流程,但并非所有材质指标都超过对照。

Mayank Singh 等 · Apple
PBR材质可重光照高斯
阅读简报
3D 生成公开代码 · 使用受限

Block3D

以分块扩散降低文本到 3D 的生成成本

把离散形状 token 划分为顺序生成的块,块内并行扩散,并在提交前修正低置信度 token。作者在 TRELLIS-500K 留出集上报告约 5.15 倍加速,针对的是质量与推理成本的折中。

浙江大学 / Monash / Adelaide
文本到3D扩散
阅读简报
3D 生成待核实 · 论文公开

MultiCube

把部件语义与空间布局交给创作者

输入全局描述、部件清单及各部件包围盒,先生成布局一致的整体形状,再同时分解成独立网格。它把“部件是什么”和“部件放哪里”变成显式控制,适合研究可编辑资产。

Roblox / CMU / Stanford
部件生成布局控制
阅读简报
3D 生成论文演示公开 · MegaParts实现待发布

MegaParts补收:给不同部件不同数量的形状token

最多300部件的结构生成,仍需长时间解码和后续材质、关节处理

MegaParts以可截断的因果VQ形状表示压缩部件,再按全局布局、部件包围盒和局部形状顺序生成组装体。8月14日首发,今天补收;它让数百可寻址部件进入单一序列,但部件分开并不自动带来语义关节、UV、PBR或实时资产生成。

Manwen Liao、Xinyu Lian 等 · 上海人工智能实验室等
多部件几何自回归生成
阅读简报
3D 生成待开放 · 论文公开

SCULPT

通过逐步拆分,让部件边界与整体一致

从完整物体的结构化潜表示出发,每次共同生成取出的部件与剩余部分,通过连续拆分形成可编辑资产。重点是保持共享边界与组装后的整体形状,而非先单独生成零件再拼合。

上海交通大学 / 华为
部件生成结构一致性
阅读简报
3D 生成闭源 · 在线服务

Meshy 7

从“像一张图”到几何结构更一致

聚焦生成网格与输入图像的几何对齐,官方分别评估整体比例、空间分布和形状细节,并区分单图、多图及 Ultra 模式。结果主要来自厂商自建评测,不能直接当作生产资产质量排名。

Meshy
图像到3D几何质量
阅读简报
3D 生成待开放 · 技术报告

Meshy T2

直接生成原生网格,走向交互式建模

每个顶点对应一个连续潜 token,解码器同时恢复顶点、边连接和面的绕序;再用两阶段 flow matching 从图像生成网格。支持顶点预算控制与多部件连接,论文报告中位端到端约 6 秒。

Meshy
原生网格Flow Matching
阅读简报
3D 生成闭源 · API / 在线服务

Meshy 原生 8K 纹理

8K 基础颜色与 4K PBR 通道需要分开看

Meshy 为图像、多图到 3D、文本精化和重贴图接口加入纹理分辨率选择。8K 档输出的是基础颜色贴图,PBR 贴图为 4K,且不生成自发光贴图;这比“全套 8K 材质”的概括更准确。

Meshy
纹理生成重贴图
阅读简报
3D 生成代码与权重可用 · MIT

LATO.2:把顶点生成和连接关系拆开,支持部件重组

几何与拓扑流的回顾;输出尚不包含 UV 或 PBR 材质

LATO.2 先在稀疏体素骨架上生成可控数量的顶点,再以这些实际顶点为条件生成连接关系。顶点和拓扑分开后,部件可以分别生成或移动,再重新连面;但错误顶点不会靠连接生成自动修正,结果也不保证无洞或可直接绑定动画。

Hang Long 等 · 华中科技大学、Meshy AI 等
原生网格部件编辑
阅读简报
3D 生成开放权重 · 代码待发布

VideoNeuMat

从视频生成模型里提取可重光照的神经材质

先让视频模型在受控相机和光照轨迹下“观察”一种材质,再从这些视频帧重建可重用的神经材质。7 月发表于 SIGGRAPH;预印本首发于 2 月,本期按会议正式发表补充收录。

University of Manchester · NVIDIA · UCSB
神经材质视频先验
阅读简报
3D 生成论文 · 代码与数据待开放

Richer Material Generation

用程序化数据增强突破简单 PBR 的表达上限

把常见的单层高光材质扩展成包含清漆、灰尘和分层散射的训练数据,再学习神经材质生成。7 月发表于 SIGGRAPH,预印本首发为 6 月 12 日;关注点是材质数据的表达能力。

Cornell University · NVIDIA
PBR材质分层反射
阅读简报
3D 生成核心编解码代码

Mesh BDF

把网格连接关系变成连续表面信号

Barycentric Dominance Field 将三角网格的离散拓扑编码成连续表面属性,让扩散模型也能学习顶点连接关系;论文展示原生网格与 PBR 纹理的联合生成,现已开放核心编解码器。

HKU · Tencent Hunyuan 3D · NTU 等
原生网格联合PBR
阅读简报
3D 生成公开代码 · 许可待核实

ControlTile

让参考纹理按指定尺度、方向和频率铺进场景

给定参考纹理和场景图像,控制图案的重复频率、旋转方向与尺度,同时尽量保留场景光照和几何。通过变换扩散 Transformer 的位置编码实现控制,避免先扭曲参考图损伤细节。

CityUHK · Junrong Huang 等
纹理控制参考图
阅读简报
3D 生成代码可见 · 权重 CC BY-NC 4.0

MatLat:让 PBR 潜变量同时保持材质语义和像素对应

基础研究补收:局部 VAE 约束让跨视角注意力有几何意义

MatLat 在预训练图像潜空间上学习反照率、粗糙度和金属度的联合表示,并用局部重建让潜变量位置仍对应图像像素。之后,几何对应注意力才能在不同视图间传递同一表面的材质信息,最终投影到网格 UV。

Kyeongmin Yeo 等 · KAIST
PBR多视图一致性
阅读简报
3D 生成代码与权重文件可用 · 许可有边界

LumiTex:用光照上下文帮助分解可重光照的 PBR 材质

基础研究补收:先学多视角外观,再训练材质分支并补全遮挡纹理

LumiTex 从参考图像和网格生成反照率、粗糙度、金属度等材质。它先训练多视角受光外观分支,再冻结该分支,把光照上下文传给材质分支;最后用几何引导的新视图合成补齐投影不到的纹理区域。

Jingzhi Bao 等
去光照PBR
阅读简报
3D 生成论文公开 · 实现未确认

NaTex回顾:在三维表面直接生成颜色与材质

绕开多视图烘焙错位,但高质量PBR与部件仍需分别验证

NaTex把纹理当作三维坐标到颜色的连续场,用几何感知VAE和条件DiT生成表面颜色,再查询到UV贴图或顶点上。2025年论文在纹理对齐和遮挡区域上提供了有价值的路线;本次先处理此前待核实候选,明确材质、分割、细化各自是否需要额外训练。

Zeqiang Lai、Yunfei Zhao 等 · CUHK MMLab / 腾讯混元
原生纹理PBR
阅读简报
3D 生成代码与示例公开 · 检查点未确认

ARMesh回顾:把网格生成改成逐级增加细节

从一个点开始预测顶点拆分,提前停止仍保留整体形状

逐面生成网格时,中途停止往往只有半个物体。2025年的ARMesh反过来学习网格简化的逆过程:从一个点出发,逐步拆分顶点、更新局部拓扑,得到不同细节级别的完整粗形状。今天回顾补收,重点看这种表示能为资产LOD与编辑提供什么。

Jiabao Lei、Kewei Shi、Zhihao Liang、Kui Jia
网格LOD可编辑几何
阅读简报
3D 生成推理与权重公开 · 训练待发布

MeshMosaic:用边界条件拼出高面数艺术网格

基础研究回顾:局部分块提高细节,十万面仍可能需要数小时

MeshMosaic将参考形状拆成局部片,逐片生成三角网格,并用已生成边界和全局点云协调拼接。局部量化让细节不受整物体同一网格精度限制,能够扩展到十万面以上;它输出几何,不能自动代表带UV、材质和绑定的生产资产。

Rui Xu 等 · HKU等
原生网格部件生成
阅读简报
3D 生成代码与权重可用 · 许可需分别核对

SeqTex:把UV纹理放进多视图序列一起生成

基础研究回顾:反照率纹理输出,不是完整PBR材质

SeqTex把四幅多视图和一幅UV图作为联合序列,用视频生成先验为现有网格上色。多视图分支保留图像能力,UV分支适应展开表面,坐标与法线引导两种空间对齐;最终生成的是UV反照率纹理,网格结构与材质通道仍有边界。

Ze Yuan 等 · HKU与VAST
UV纹理多视图一致性
阅读简报