HairDeck:从角色图生成带UV与弹簧骨骼的可编辑发片
几何发片如何接入动画资产管线,纹理与碰撞又还缺什么?
将每张风格化实体发片压成一个token,集合扩散生成发型,再生成弹簧骨骼并蒙皮导出GLB/VRM。它确实提供逐片UV和可编辑结构,但不生成纹理/PBR,演示也没有配置碰撞体,不能把动画展示等同生产验收。
FIELD NOTES / 04
追踪几何、材质、可编辑资产,以及图像生成与编辑在视觉资产流程中的进展。
EXPLORE THE FIELD
几何发片如何接入动画资产管线,纹理与碰撞又还缺什么?
将每张风格化实体发片压成一个token,集合扩散生成发型,再生成弹簧骨骼并蒙皮导出GLB/VRM。它确实提供逐片UV和可编辑结构,但不生成纹理/PBR,演示也没有配置碰撞体,不能把动画展示等同生产验收。
反事实渲染和几何分支怎样约束阴影、遮挡与摆放?
以相同场景有物体/无物体的重渲染对训练图像编辑器,联合几何特征、物体/环境影响图和空间语言对齐。改善位置与光影整合,但输出仍是二维合成图;逼真阴影不是可重光照的PBR材质或可编辑三维物体。
像素扩散的注意力计算,能否按频率职责重新分配?
SpecSlot在每个空间位置分配不同频率职责的token槽,只让低频槽承担全局通信,高频槽保留局部建模。它关注图像生成计算效率,适合作为视觉资产和纹理概念生产的上游研究;论文不生成UV贴图或物理材质。
当“删掉火焰”同时删掉烛芯,编辑智能体怎样识别这种副作用?
EditAgent将编辑拆成规划、工具路由、并行候选与带局部证据的判定。它把保留原内容也作为检验对象,适合视觉资产迭代流程;输出仍是二维图像,不等于三维材质编辑或物理正确重光照。
如何让多个区域拥有不同风格,同时保留未编辑内容?
LociArt用极坐标风格编码将“编辑哪里”与“变成何种风格”绑定,再结合压缩mask特征和原始几何支撑。它属于二维视频资产编辑;没有生成可重光照PBR通道、UV或可编辑三维部件。
插入一个网格物体时,怎样让它参与原场景的近场光照?
GraftRay 给重建的3D Gaussian场景补充材质先验、面积光源和路径追踪,使插入网格产生遮挡、阴影与反射。它解决的是资产插入和光照整合,不是自动生成干净的可编辑场景网格。
离散视觉知识与像素渲染分阶段训练,收益到底来自哪里?
先自回归学习离散语义token,再冻结主干训练像素扩散模块。约400M的受控比较支持语义表示优于纯重建表示;最终3B模型的高分包含提示改写与固定种子下的变体选择,不能只看GPU小时宣称通用成本优势。
为何只细算少量位置,还必须同时筛掉不相关记忆?
在视觉资产流程中,稳定的alpha边界可支持合成、遮罩和后续局部编辑。MatAnyone-E用低分辨率匹配选择位置与记忆,再用轻量解码器输出完整alpha;这是二维视频抠像,不生成mesh、UV、纹理材质或重光照参数。
四张参考图能否让转动镜头中的物体保持同一结构?
OmniShowcase 用四视图重建的法线转台约束视频生成,减少物体在镜头转动时变形、长出多余部件的问题。它面向资产展示视频,输出并非可直接编辑的网格、UV或PBR材质包。
生成视图彼此错位时,怎样把它们落成一张可用的UV纹理?
该方法接受已有UV图集的三角网格、已知相机和少量生成视图,在曲面上估计非刚性光流,再做梯度域拼接。它直接处理多视图重影与接缝,是资产纹理后处理方法,而不是从零生成几何。
共享三维潜表示输出高斯与空间变化材料参数,但物理标签主要来自语义估计
普通3D资产只有外观与形状,未必能进入物理仿真。PhysCreator从单图或多视图构造共享三维潜表示,同时解码高斯外观以及逐体素弹性、密度等参数,允许文本调整软硬或轻重;关键局限是这些物理属性主要来自视觉语言伪标签而非实测。
从好图反推设计意图,再用同种子图像组优化提示重写
Qwen-Image-PE并非另一个直接画图模型,而是把短请求改写为详细图像提示与宽高比的前置模型。它从优质图像反推描述学习设计,再由冻结图像生成器给重写结果提供组内奖励;归入视觉资产流程,但输出不包含网格、UV或PBR材质。
场景重建的改进究竟来自更好的资产,还是更准确的摆放?
Easy-3Dfy把物体补全、网格生成和场景布局分开,用RPF点云对应把完整物体配准到单图可见表面。在共享同一批网格的对照中,摆放指标改善;这不是生成器本身变强,也没有证明纹理、UV、PBR或接触物理均已解决。
看起来像积木,与零件之间真正连接得上,还差哪些步骤?
BrickWright给代码agent提供真实零件目录、类型化连接器和验证回路,使生成结果由可定位、可修改的部件组成。其物理可行性是特定碰撞与悬空约束,不包含所有稳定性和装配顺序问题。
轨道、升降和构图锁定能否同时执行,并在渲染后修正?
FilmFlow把语言或参考视频转成Blender中的显式相机轨迹,用22种原子操作表达并发运镜,再通过渲染反馈修改时间与参数。它生成的是可编辑镜头而非新场景资产;评价需区分外部视觉分数、人类偏好和实际镜头行为通过率。
先优化分块布局,再让重叠帧共享相机位姿
前馈三维模型能重建短片段,却容易让长序列的尺度与坐标互相冲突。HiP3R冻结重建骨干,先用重叠与回环约束优化分块Sim(3)布局,再建立共享逐帧SE(3)位姿图消除分块重复相机;它是资产重建前段,不是纹理或网格生成器。
生成的细节更清晰,是否也能约束一个统一的4D场景?
RealMe先重建粗4DGS,再同时增强新视角与局部细节视频,最后把生成视图和原始拍摄共同用于重建。核心是跨时间、跨相机的生成一致性,而非从几张照片直接得到可重光照的材质资产。
对齐每帧结构并蒸馏加速,能否让不同3D工具共用一个生成渲染器?
SolarRenderer以灰盒、深度、骨架或语义视频为结构条件,用冻结MiniMax-H3 33B加控制/加速LoRA生成外观。它对预演和资产展示管线有用,但输出仍是视频,不会自动生成可重光照材质或UV。四步全片生成与多GPU实时流式是两种配置,不能混成单卡实时。
同时生成任意拓扑rig的运动与视频,再估计相机把动作放回场景。
Joints, Camera, Action!让独立骨骼运动模型与视频模型通过双向注意力共同去噪,输出可驱动现成资产的关节轨迹,再用二维关节定位拟合相机。它把“视频里动得好看”推进到“资产能回放动作”,但当前只支持单rig与静态相机配准,不保证脚底接触或物体不穿透。
显存预算固定时,应该把有限的 Gaussian 放在哪里?
RLSplat 从稀疏未标定图像前馈重建Gaussian场景,把总Gaussian数量作为显式预算,由策略分配给几何锚点,再用局部解码细化。它能改善小预算新视角质量,但优化对象仍是渲染表示,不是原生网格、UV或可重光照PBR资产。
把功能要求绑定到独立物理测试,再用失败证据修订可编辑CAD
FunCAD-Harness让编码代理交付CAD源码、STEP几何与物理声明,由独立测试代理绑定载荷、控制和测量。46类机构上,完整流程明显优于只给要求或仿真工具;但测试条件可调整,打印验证仅覆盖选例,不能把仿真通过当成工程可靠性认证。
如何把现成程序化几何改造成新资产,并在场景中可靠摆放
InfiniDream不直接从噪声生成三角网格,而让视觉语言模型检索并修改Infinigen程序化资产工厂。系统明确哪些模块能改、哪些基础设施只读,再经渲染反馈修复;场景阶段将语义计划交给确定性的视锥与表面约束放置器。价值在于保留程序、随机种子和可编辑结构,但漂亮渲染尚不等于通过UV、PBR和重光照验收的生产资产。
学会一种设计语言,如何避免顺带记住原来的字形
这项研究处理二维图像生成:从字体或图标样例学习笔画、连接、曲率等几何设计语言,再迁移到异类草图。通用几何LoRA先学结构,风格LoRA在其冻结条件下适配。按本站图像生成纳入3D相关领域的口径收录,应用关系是图形资产与纹理图案设计;论文并不输出三维网格、UV或PBR材质。
静态资产能否无需逐物体训练,就获得可控弹性与接触响应?
PhysSkin++ 从静态形状预测连续神经蒙皮场,以少量仿射控制量做降维物理模拟,并扩展交互约束、接触、骨架补充形变和3D Gaussian动画。它关注已有资产的运动化,而非生成新几何或材质;低维条件数优良也不等于物理轨迹准确。
几何轨迹怎样进入视频扩散模型,哪里仍会出现不可见区域幻觉?
Holo4D从源视频提取持续三维轨迹,投影到目标相机后作为视频生成条件。它生成的是新视角RGB视频,不输出可编辑网格、UV或PBR材质;几何约束减少不一致,但不会自动补出真实的遮挡背面。
画布改对之后,文字、物体和背景还能独立调整吗?
LayerEditor 同时生成编辑后的整张画布与有序RGBA图层,用合成一致性蒸馏把两者对齐。它属于二维视觉资产流程,可服务贴花、概念设计与后续合成;输出不是三维几何、UV或PBR材质,图层可移动也不等于三维部件可编辑。
视频看起来像三维,不代表已经得到可编辑头像资产
研究借助视频扩散模型进行单图数字人驱动,分离表情与相机并提升新视角一致性。它与三维资产流程的关系是生成多视角外观与运动参考;输出主要仍是视频,没有直接交付带 UV、独立材质或可重光照的三维头像。
部件标签能否随编辑意图改变,而不是只有固定分类?
FlexPart 在已有网格上预测语言指定的部件标签,可调整粗细粒度、只选部分组件或改变划分名称。它直接关联局部编辑与材质分配,但不生成新的几何内部面,也不自动完成 UV、接缝和 PBR 纹理处理。
把多轮视觉资产编辑做成共同上下文中的训练轨迹。
MTEdit把四轮编辑结果同时放进2×2画布生成,再拆成训练轨迹,降低逐轮重画导致的画质漂移。本期归入3D相关视觉资产流程:它支持图像外观迭代,但没有证明UV、接缝或PBR材质一致性。
生成模型的训练距离,能否更接近语义而不丢像素?
LILIE训练可逆图像编码器,让其特征支持描述生成,再把冻结特征距离用作扩散训练损失。它属于图像与资产外观生成基础研究,不输出3D网格或PBR贴图;语义改善与细节、计数之间仍存在取舍。
更锐利的生成纹理,是否真的包含更多正确细节?
在固定patch PCA基底中学习连续目标参数化,并用轻量后处理恢复高频。归入3D资产流程的图像/纹理研究:它改善候选图像频谱,尚不生成UV、PBR或几何。
海报和标牌生成,离可编辑资产还有多远?
5B图像扩散骨干联合多粒度描述、文字框和规划代理,面向长文字与复杂版式。适合作为场景标牌、贴花和界面资产候选,但长文本召回不是逐字正确率,代理也不包含在5B规模中。
快速重对焦能恢复真实材质细节,还是只是生成得像?
一次生成式全清晰恢复,再由轻量渲染器反复生成景深效果。可服务资产摄影和展示预览,但被遮挡内容不可恢复,单目深度、幻觉细节及测试选择都会影响结论。
布料的细小起伏与各向异性,怎样进入可重光照的材质表示?
RoboCloth 用机器人采集500种织物的多光照、多视角HDR反射,学习共享神经BRDF,再为新样本优化空间纹理和细微视差。它针对材质捕获与重光照,不是从文字直接生成衣服,也不直接输出通用金属度/粗糙度贴图。
单张参考图的颜色、金属度与粗糙度,如何成为可重光照资产?
SUPRA-Tex 先从图像估计可见PBR属性,再投影到给定网格,以只读观测条件引导完整表面生成。其关键是分开图像去光照与三维补全,避免把一张图上的阴影直接固化为纹理;背面仍是生成假设。
不再联合优化几何,能否快速得到多视角一致的表面颜色?
CF-Splat 给定三角网格和标定图像,只拟合顶点的视角相关球谐颜色。光栅化像素对系数呈线性,使外观问题可写成带正则的全局最小二乘,并用矩阵自由PCG高效求解;它不是从零重建网格或PBR材质。
怎样复用整体3D先验,而不让小部件细节或装配结构失真?
StructParts给粗网格附上面级分割,让同一潜变量交替接受部件局部与整件全局位置编码。它减少适配训练成本并支持合并、拆分部件;但自然粗网格错误仍会传递,也没有验证纹理、UV和PBR资产交付。
把判断、拒绝理由和反事实一致性拆开,能否找到可用的自动验收器?
3DVerifierBench用2581个十任务样本,检查模型是否能发现数量、部件、材质外观、抓持、身份和运动问题。最强模型仍明显落后人工;候选选择和人工递归修改显示潜力,但不能当成自动闭环已经解决。
规模统计、执行成功和资产质量为什么必须分开看?
3DCodeVerse整理可执行三维程序,并用规划、构建、测量、渲染和修订形成反馈流程。附录明确“2M”是约203万导出行,目录约27万个唯一程序;训练提高可执行率,但运行成功仍不是可交付资产质量。
拓扑遍历顺序能否改善可编辑四边形网格生成?
Q-MAGIC 从点云生成四边形网格,核心贡献是网格token化:先围绕非四价顶点组织patch,再压缩相邻顶点的局部位移。它改善的是几何与拓扑生成,不涉及纹理、UV展开或完整PBR资产交付。
快速3DGS预览如何与较慢的物理重光照共存?
VisibilitySplat 将传统3D Gaussian Splatting保留下来,先拟合几何与法线,再冻结它们,通过高斯可见性追踪估计反照率、粗糙度及环境光。论文强调小规模合成对象上的逆渲染,不能把实时外观预览误写成实时物理重光照。
降低渲染伪影是否意味着几何和材质也变得可靠?
InfiniSplat v2从多视图重建高斯场景,冻结深度与相机分支,仅学习颜色、尺度、旋转和不透明度。六数据集感知指标改善,但固定中心无法修复严重几何错误,输出也不是具备UV和PBR分解的网格资产。
用双向重投影筛选图像,同时保留深度估计的误差边界
ESC 联合生成目标图像与逆深度,并用源视图和生成视图之间的几何冲突选择候选。它有助于三维资产流程前端的多视角质检,但检查依赖深度、相机和可见覆盖;隐藏区域与镜面材质仍不能被几何分数自动认证。
可编辑工程、内部结构和多角度效果,如何一起打分?
该基准用223个现实制作请求评估13个agent,要求提交可编辑.blend与指定媒体。新视图、场景内部检查和冻结评分准则共同揭露“正面看似正确、侧面却消失”的二维捷径。
少数顶点的位移,怎样跨动物、人、机械臂与布料补成整片表面运动?
Cepheid先用无学习的调和延拓补出基础运动,再学习无量纲残差,并从可观测位移估计其物理幅度。统一模型在五类几何的汇总误差上优于基础解,但极稀疏腿式物体仍出现负迁移;真实视频展示没有不可见表面的真值,不能当成准确性证明。
生成补全能否保住整屋布局,并减少几何与材质的块间接缝?
WorldRecon先用VGGT-Ω恢复粗点云与相机,再以TRELLIS.2逐块生成稀疏结构、几何和PBR材质。相邻块通过潜变量修补、轨迹钳制与加权融合共享上下文。它改善单层室内场景的完整性,但“合理补全”不等于恢复不可见区域的真实结构。
把裂纹与毛发按外观匹配,能否优于同位置特征叠加?
研究固定预训练编码器与解码器,仅改变纹理局部特征的配对。外观软匹配改善中间纹理的分布统计,但会压缩特征方差,路径有方向性,末端未必复原目标;它是RGB纹理外观工具,不是已经完成的3D材质混合管线。
直接多视角监督约束近场反射,独立颜色分支避免两种观察互相拉扯
从多视角图像重建主、次两组2D高斯,反射光线同时与两组相交。主场景已有的直接几何监督帮助定位镜面里的近处物体,再以三平面与球谐共同表达反射外观。
由二维流先验融合三维速度场,追求可控观感而非物理流体模拟
输入已有3DGS、带位姿图像与人工三维流向提示,分割水面并预测各视角流场,再用重投影融合体素速度场。高斯沿该场变形,以前后两组轨迹和透明度互补实现循环。
设计、编码与独立审查分工,物理通过仍不等于示范管线可用
输入文字和可选参考图,生成可编辑程序、部件网格、关节层级、质量、PBR参数及交互标注。物理模拟反馈用于修复碰撞与倾倒,独立审查再检查功能是否被修复过程牺牲。
拓扑修复能否分辨错误孔洞和艺术家有意保留的开口?
MeshRepair把完整草稿网格编码为双向可读前缀,再自回归预测删面和补面。它在两类生成草稿上提高拓扑F1,但主要收益来自删除;输入使用参考顶点,尚未证明能处理任意几何漂移或交付完整材质资产。
纹理驱动的空间分配如何减少冗余,又会漏掉什么?
CompactSplat从稀疏视图前馈预测高斯场景,按图像局部变化自适应分配高斯数量。它面向可渲染场景压缩;较少高斯不等于闭合网格,也没有直接提供UV、部件结构或PBR材质。
连续调材质外观与光照参考图,为什么只约束两个端点不够?
SliderEdit++在LoRA编辑强度的中间轨迹上加入速度、语义和谱范数约束,并限制多滑杆串扰。它适合资产外观与照明参考图迭代,因此收录于3D资产流程;输出仍是二维图片,没有多视图一致性、网格、UV或物理材质参数保证。
以局部几何约束与外观路由连接草模和纹理,控制力提升伴随细节损失
SpaceFlow给草模中的每个超二次曲面部件指定几何约束强弱,再将生成结构分成语义区域,把文字或参考图外观条件路由到相应区域。它不重新训练TRELLIS,但在推理中做重采样和潜变量优化;固定几何下更忠于局部提示,却没有全面提升纹理细节。
共享平面纹理、反射分解与几何约束;漫反射辐射仍包含光照
3DTexMOR针对重建高斯场景中的多物体删除:将不同视角看到的背景投到同一支撑平面纹理空间,统一补全漫反射辐射、菲涅尔反射率和粗糙度,再投回各相机监督新增高斯。共享纹理减少视角间冲突,平面、锚点和尺度约束抑制几何漂移;核心限制是待补区域必须近似共面。
局部多模态对齐接上Blender编辑;外观改善不能替代材质恢复与几何验证
GATOR从随手拍的多视图、目标掩码和深度生成完整、带场景相对位姿的物体,再让代理在Blender中基于输入图像修补部件、孔洞、UV和材质。核心不是凭空让语言模型建模,而是先提供生成资产作为几何与坐标支架。多数基准支持这一组合,但代理修补不保证几何单调改善,PBR输出也不代表已经识别出真实去光照材质。
傅里叶表示保证时间闭合,参考视角约束防止漂移分支吞掉动作;无掩码仍需人工选视点与旋转中心
OuroWorld从静态3DGS生成参考视频,再补全多个视角,将动态拟合到周期4D高斯表示。独立漂移分支吸收生成视角之间的不一致,并在推理时去除。它能从表示上保证循环,但评测只覆盖选定中心附近±20°视角,生成的光照变化也不是可物理重光照的PBR材质。
可学习掩码保护跨视图对应,扩散支持图修补盲区;输出高斯场而非可重光照网格资产
FreeInpaint把DA3改成输入一个干净参考图和多个无位姿掩码视图、直接输出相机与3D高斯的补全网络。逐层可学习的注意力偏置防止被遮挡区域污染对应,低透明度区域再用扩散生成的支持token补强。公开代码可导出高斯PLY,但补出的内容只是合理猜测,尚不提供UV、PBR材质或真实隐藏几何恢复。
从Fresco的UV一致性扩展到规范表面分组;收益发生在训练阶段
Fresco++为头像重建加入低到高频训练日程,以及Canonical Group Consensus。同步视角通过FLAME表面局部结构建立对应,过滤不可靠观察后,用真实图像特征共识监督当前渲染。
保留SAM3D先验,用深度、可见性和渲染梯度修正位置与外观
GenIA在冻结SAM3D上加入深度约束的平移尺度估计、可见性注意力、跨观察融合和渲染引导。可选100步对象级细化优化外观latent、低秩解码适配器和位姿;动态场景依赖外部时序几何。
少量有位姿锚图学习颜色变换,不能视为恢复可重光照PBR材质
冻结已有3DGS,在球谐颜色求值后加入分层乘性增益与非负亮度项。全局、空间网格和单高斯残差共同适配目标时段,并用语义与平滑约束减少稀疏锚图造成的视角间色差。
多模态规划在哪些环节真正改变几何,增益有多大?
SubDGuide从六视图证据选择控制笼密度和曲线角色,再由确定性工具拟合并验证。20个精选形状上几何误差降低,但主要提升来自拟合;反馈只在6例改善,不能视为任意拓扑重建能力。
Twinkle3D 追求对象级几何忠实度,报告哪些证据支持,哪些实现仍未交代?
Hi3D 3.0把单图几何生成推进到2048³表示,重点是薄壁、细缝、重复结构与铭文能否成为真实网格。报告的OCR与几何比较有吸引力,但33输入的小基准、姿态筛选和未公开实现限制结论。它解决的是形状忠实度,不应把它当作完成UV、PBR与低面数交付的全资产系统。
省去训练视图渲染,以几何监督换取可提取表面;动力学仍由PyBullet提供
NeRFifyMesh从已有网格采样颜色、法线与内外占据标签,分别训练颜色、法线和稀疏哈希占据网络,不依赖多视图图像训练。得到的逐物体神经表示可以组合、附加光照并提取碰撞网格,但假设不透明且外观与视角无关。
0.13 token/面缩短两阶段流序列,但非流形连接仍是明显短板
MeshCarve以稠密点云为条件,先预测粗顶点锚点,再分别用流匹配生成顶点与连边的压缩潜变量。顶点邻接用相对位置的傅里叶特征求和编码,解码后将三角环直接变成面;形状指标较好,但这种组面方式没有流形约束。
单阶段位置自条件生成;训练真值坐标与推理预测坐标的差异是关键
Position Forcing 在单阶段图生3D中为无序几何 token 增加位置解码器。生成时先从速度预测得到干净潜变量估计,再恢复坐标、由粗到细量化,并通过3D RoPE反馈给下一步。它避免另训结构生成模型,但仍需联合训练位置感知VAE和图像条件DiT;现有证据主要覆盖几何重建与语义相似度。
邻近表面与物理关系进入每个体素;学到的接触先验仍不是硬约束
从一张图重建多物体场景,难点常藏在被遮住的接触面。Tetris3D按支撑依赖顺序生成对象,把已生成邻居的表面距离、方向、法向及堆叠/倚靠/容纳关系注入TRELLIS.2体素;不可见区域另从可见token交叉注意力补全。ComOb用约40万目标物体与12种基元构造120万稳定场景。实验支持更少穿透和更稳的布局,但真实深度、估计深度与自由场景推理必须分开看。
近处细、远处粗,并将已见表面与遮挡区分开;输出仍无纹理且依赖估计深度
BuildRome在TRELLIS.2上添加深度对齐条件和LoRA,按距离、局部高度分配不同物理尺寸的场景块,再复用重叠潜变量逐块补全。单图能生成包含遮挡部分的场景几何,但隐藏区域只是合理假设,米制尺度继承单目深度误差,尚不生成纹理或PBR材质。
关键帧单向指导其他视角;23组场景提示的提升尚不能证明资产级材质一致性
View Matters认为不同视角给二维编辑器的证据并不等价:先以几何可见性、语义独特性和编辑相关性选关键帧,再让关键帧单向指导其他视角,最后在3DGS优化中提高关键帧损失权重。8个场景、23个编辑任务上报告较好的CLIP指标和约4分钟编辑,但跨视角一致性只有两个代表案例分析。
精确挑选token、相似查询分组与跨步残差补偿;2.32倍仅指去噪阶段
MC-Sparse将稀疏注意力的误差拆成分组限制、选择不准和丢弃尾部贡献三部分。在少量锚点步做精确选择与密集/稀疏差值计算,后续步复用索引及残差、重新计算当前QKV。它在内部3D生成模型上更接近密集注意力输出,但没有验证整个纹理或资产管线的加速。
联合形状与草图流模型,把风格保持、尺寸编辑和物理目标放进同一优化过程
AnchorGen联合学习车身与草图潜在表示的无条件分布,在推理时优化流的中间状态:一项损失降低阻力代理预测,另一项把草图表示拉向目标设计。它试图解决传统形状先验虽能纠正无效几何,却把设计推向常见车型、丢失原有风格的问题。
结构化支撑点与目标盒连接生成、缩放和物理落定;elastic只是轴向缩放
ElasticFit从已有带实例标注的3D场景和语言指令中推断支撑点、目标盒、朝向及适配模式,按盒子比例生成2D物体并用TRELLIS转成网格,再做刚性、统一或各向异性缩放及PyBullet落定。固定资产放置的空间关系分数69.7%、支撑率91.7%;完整生成适配在60个更难任务上是60.8%和83.3%,不能混为同一成绩。
85.15%物理通过率衡量可用替代物,并不证明照片级重建;复杂场景学习策略仅完成11%的任务
AffordCraft从已有资产库选择机制合适的对象,整体缩放、放置并保留部件和关节,经碰撞、惯性、支撑和运动检查后导出。2000张完整照片中1703件通过,但物理门槛不核验外观重建准确性或完整任务成功。其价值是把资产工程变成带失败反馈的可复用流程。
普通室内拍摄如何为高斯场景恢复反照率、粗糙度与可重光照外观?
方法联合不同视角的闪光与非闪光图像,在2D高斯表示中估计几何与PBR属性。核心不是简单做图像相减,而是用世界坐标上的漫反射场约束高斯混合产生的视角漂移,让闪光残差真正约束材质。五个合成场景给出定量结果,三个实拍场景主要展示定性效果。
把时序一致性加到静态3D生成器中,但每个效果仍需单独拟合
输入已有网格和效果描述,DynaMesh把单视角视频中的苔藓、锈蚀、裂纹等外观变化带到三维表面。它共用几何编码,用邻帧条件融合减少闪烁,再用逐效果LoRA恢复细节,输出固定网格和逐帧纹理;不生成真实形变,也不能仅凭画面连贯推断材质物理正确。
关节拟合、语义行程与逐级配准如何接成资产管线
ArticuTable把单图桌面重建拆为实例资产、关节恢复和场景配准。GRAM用几何接触提出关节候选,再由多模态模型校正轴与枢轴、推断物体自身行程;PSGSR按点云、合成俯视图、原视图逐级缩小姿态和尺度搜索。最终输出URDF及自包含USDZ,而非只有可观看的网格。完整附录区分了100场景的加载检查、425个候选资产的人工审核和代表场景的动态演示。
联合布局再局部细化;公开的是展示资产,代码、权重和训练集仍待发布
DistScene把房间或户外环境也当作可生成组件,与独立物体共同预测稀疏结构和几何,再将每个物体移到局部空间细化。训练场景由TRELLIS.2生成的环境与物体组合而成。室内外几何指标改善,但训练视图要求所有物体可见,室内数据常缺天花板,输出仍可能有孔洞;展示场景可下载并不代表模型已开源。
依赖图调度与动态提示选择有互补收益,模型引用和成本披露仍有缺口
OuroReward不在每一步平均所有三维质量奖励,而用短预热估计奖励之间的有向依赖,选择兼容性最高的环,再展开为一次顺序优化。配套AdaSelect从提示池中挑选与当前能力相近、组内结果有区分度且较少被重复选中的样本。
提高验收与新颖度的折中,不等于学到了更广泛真实人群
研究先将DFAUST人体表面对齐,按弹性距离发现六个局部模式,用局部PCA生成候选,再按骨架比例、部件凸包体积和臂截面积代理筛选。接受的合成表面与真实样本混合,从零训练扩散模型。局部提案比自生成回灌更能扩大所测PCA空间,但判据与数据都局限于少量身体和动作。
减少 UV 岛与可见接缝,代价是迭代预算及部分畸变指标的退步
MeshQuery把网格属性存进关系数据库,让视觉语言模型通过SQL查询和边选择DSL编写接缝计划,再按展开质量反复修订。它主要面向四边形制作网格,降低碎片化并允许加入美术偏好;生成的是接缝及UV布局,不是几何、纹理或PBR材质。
切片拓扑监督与三轴共享网格有效,但不等于完整三维拓扑保证
SILSA把表面点云沿三个坐标轴压成固定长度的重叠切片序列,用共享三维网格交换轴间信息,再生成高分辨率几何。持久同调与相邻切片连通数监督帮助保留孔洞、细杆和分支;输出是几何网格,论文没有验证UV、纹理或PBR资产管线。
动态归航优于简单排斥,但理论收敛依赖理想速度场,收益尚未覆盖材质资产
Flow3D-Pro在Hunyuan3D 2.1几何骨干上提出动态归航优化DHO:同一图像生成一组网格,由视觉语言模型打分,再用一对一最小代价匹配为低分结果指定高分终点。训练将负样本路径上的速度改向正样本,而推理仍使用普通流积分和冻结的LATTICE细化。
从网格到可执行建模程序;高IoU、有效实体与可用设计约束不是同一件事
StepCAD先用目标点云与当前实体共同条件化Qwen2.5-Coder,逐步生成并执行CadQuery操作,再用几何重合度指导局部搜索。搜索不只调半径和深度,还会替换截面、补切多余材料、删去有害操作。配套ARCADE-1.5M提供150万合成程序及1,250万中间状态;困难形状重建提升明显,但优化的目标是形状相似,尚不保证原始特征历史、参数语义或制造约束恢复。
冻结语言通路、增加三维分支;纹理仍依赖TRELLIS,几何理解不包含材质理解
OctLLM把八叉树占据压成字节token,用坐标和深度标记位置,在冻结Qwen2.5-VL旁添加专用三维分支。它能生成稀疏几何并描述输入形状,再由补全网络和TRELLIS输出带纹理网格。Toys4K图生三维FID较ShapeLLM-Omni降低17.4%,但专用TRELLIS仍明显领先,IFEval也未完全保持基础模型水平。
457条可重放编辑链;代码代理更能保住未修改部分,但新几何精度、耗时和材质评测仍有限
EditHero以部件装配日志生成逐轮精确目标,包含252个宿主、457条链和2755次增删、替换、重贴图。每一步接着方法自己的输出做,分别衡量本轮完成的改变和未编辑区域的保留。在55条共享比较链中,六个语言/视觉代理更善于保留原资产,多数更遵从指令,但新增形状仍粗糙,每次编辑约1.5–6分钟。
压缩的是几何条件序列;128倍压缩不等于128倍生成提速
OptimusMesh把2048个带法线的点编码成16个48维潜在支点,再分别自回归生成顶点和三角面索引。它明确以不超过800面的紧凑几何为目标,平均249面;低面数和部分距离指标较好,但F1、分布覆盖与速度并非全面最佳,也没有纹理、UV或PBR输出。
层内并行的原生拓扑生成,连接矩阵仍有短程自回归
MeshOctave不按一次边坍缩定义一个生成步骤,而把空间网格分辨率逐次减半建立确定层级。逆过程对每个父面预测子顶点占据与内外连接,再用掩码提案和均匀噪声修正迭代生成下一层。这样能够并行细化层内各面,但逐层依赖和局部连接解码仍存在,粗拓扑错误也无法回退。
纹理图之外,能否保留图案、颜色与浮雕之间的依赖?
补收9月30日研究。MatLoom让语言模型输出紧凑分层程序,再导出PBR贴图,保留共享字段、图层参数和噪声种子。它将资产可编辑性放在源表示中,但当前评测主要证明提示匹配,尚未证明自动编辑成功率。
把视频DiT的时间维改作多视角条件,分别检查底色、粗糙度与金属度
给定带UV的已知网格,模型把有位姿照片、文本或低分辨率材质转为底色和打包PBR贴图。统一纹理空间避免为同一表面点分别生成多个视角的颜色;三维位置编码协助跨UV岛联系。重光照测试支持其资产价值,但需要准确几何与相机,且8K多视角推理代价明显。
合成几何负责邻域与遮挡,图像负责颜色;既定几何仍是必要输入
Tex-Zero把图像分块、随机旋转并聚拢成带颜色的稀疏三维表面,用这些样本从零训练VAE和条件DiT。共享VAE编码参考视图与目标纹理,使二维细节能迁移到真实几何表面;输出RGB颜色,不生成几何,也未证明能分离光照或恢复PBR材质。
合成高频资产、多层视觉特征和像素监督共同改善纹理,四视图仍依赖方向约定
TaoTex在给定几何上生成反照率、粗糙度和金属度,以5万合成高频纹理资产补充数据,融合DINOv2浅深层特征,再从潜空间损失切换到材质渲染损失。可学习视角嵌入支持最多四张参考图,重点解决平滑表面的文字和图案错位。
跨岛接缝不再只靠二维邻居;环境三维距离仍不等于曲面测地距离
DirectUV 在 FLUX 风格潜在 UV 空间生成纹理,把 UV 像素对应的三维坐标写进 RoPE,并把粗到细的子块坐标分配给不同注意力头。输入单张参考图和已有带 UV 网格;多视图投影只提供可被纠正的软条件。GSO 的图像指标和消融支持接缝关联更稳,但没有单独接缝测量或完整 PBR 输出。
去投影畸变与烘焙阴影,保留可缝合的资产结构
OmniFabric 从单张服装参考图出发,先预测可缝合纸样、投影多视图粗纹理,再在规范 UV 域用扩散模型恢复连贯图案。它把纹理交给可模拟服装资产,但生成的是规范化 RGB,不是具有完整物理参数的 PBR 材质。
纹理存储减半的同时,训练更慢、渲染也略慢
给每个4D高斯都配同样大的局部纹理,容易把容量浪费在简单或不可见区域。AdaTex4D冻结已有动态高斯骨干,以跨时间的可见梯度需求和形变尺度决定三平面纹理沿哪一轴增长,在相近画质下减少存储;它优化动态外观,不输出网格UV或PBR材质。
RGB-D 几何补全、对象编码与资产分解
CODA 将单帧 RGB-D 场景先补成统一网格,再利用纹理分支写入对象身份编码进行拆分。它保留对象之间的几何关系,但这些“纹理通道”被用于身份标记,不是给对象生成了真实 PBR 材料。
纹理连续性不仅取决于贴图模型,也取决于表面怎样被切开
输入已有网格,为每条边联合预测成为接缝的概率,再展开为 UV。它改进的是纹理生成的上游布局,不直接生成颜色或 PBR 材质。
语义区域残差、UV 采样与受限材质分解
SAMIRA 从单目视频拟合绑定 FLAME 网格的高斯头像,用面部语义区域分别建模运动残差与光照响应。它改善了所测头像重建与动画,但重光照主要是定性展示;单目材质—照明歧义、投射阴影和极端光照仍没有被完整解决。
从混合粒度注意力、潜空间压缩到偏好训练:哪些已由 2.1 实现证实,哪些仍只是前代背景
Qwen-Image-2.1 将生成、编辑和透明输出统一起来。本文结合新版架构图与代码,以及 2.0、VAE-2.0、2.0-RL 三份报告,解释缓存为何成立、压缩如何影响细节、偏好训练怎样权衡任务,并明确版本与证据边界。
同一表面纹理场,两种成本口径:传输码率与显存占用
TexF 把纹理存进由网格表面决定的稀疏体素,分别面向传输压缩和 GPU 按需解码。它减少 UV 切割造成的相关性损失,但并不免除几何、训练和渲染成本;近邻薄表面可能串色,进入现有资产工具时仍常需要烘焙回 UV。
高分辨率纹理提速,与完整 PBR 生成仍有距离
UltraTex 给定网格和参考图,以前景 token 裁减、块稀疏注意力和适配 VAE 生成六视图 2K 反照率,再投影回网格。主实验的粗糙度与金属度是固定值,不能把结果写成完整物理材质生成。
几何细节升级进入 API,评测也需要区分细节与噪声
9 月 18 日 API 加入 Meshy 7.1 和 geometry_resolution 参数。Ultra 4K 指几何分辨率,不能与 4K 纹理贴图混为一谈。
新纹理工具与场景生成列入计划,材质能力分阶段推进
官方计划在 2026 年末推出改进的纹理生成和场景布局生成;PBR 分层与材质响应改进列在 2027 年中。这些是开发计划,尚不是新方法的效果证据。
小文本编码器、量化和权重流式加载各解决不同瓶颈
论文以 FLUX.2-klein 为例,组合小编码器加翻译器、低比特计算和按层权重流式加载,降低本地图像生成成本。它属于视觉资产流程的基础能力;重点要区分编码耗时、首轮预览和完整成图,以及显存节省与质量损失。
生成可重光照属性,也要分清材质准确与几何准确
把已有高斯资产转换成点云,在固定几何上生成反照率、粗糙度和金属度,再蒸馏回高斯表示。目标是去除原光照的烘焙痕迹,而非从文字直接生成完整物体。
改写渲染方程、逐场景优化与解码器成本必须一起看
这项工作直接渲染 SD3.5 VAE 的 16 通道潜变量,再解码成图像,以连接传统三维场景与生成模型。它要求已知场景并逐场景拟合,不是从一张照片自动重建未知世界;同误差下潜变量生成较快,但最终 RGB 路径反而受解码器拖累。
回顾补收:共享生成起点、位路由与短期编辑权限
RefineEdit 利用 GRN 的逐步二进制细化过程:从已有生成轨迹分出编辑支路,只允许特定位置和 bit 采用新提示的更新。它不用额外训练或外部分割,但需要源图的生成过程;这与直接编辑任意上传照片不同。
可以直接拆件,但输出仍会失去原材质
Auto Split 开始接受带纹理任务作为输入,省去先生成无纹理版本的绕路。但拆分结果仍是每部件单色,原纹理不会继承。
回顾补收 v2:接触面、双流继承与部件粒度的代价
KaiNinja 将 TRELLIS.2 的单体 O-Voxel 扩成两个互补体积,让接触部件尽量分处两侧,再从连通分量得到独立网格。它改善了自建数据上的几何,但双体积必须合并某些复杂接触关系,外部基准的部件得分也并非领先。
回顾补收:密集坐标对齐与实际发布范围
SAM3D-Part 从已有网格和点选蒙版出发,融合局部图像、三维形状与已提取部件缓存,再生成完整部件。它通过每体素坐标对应估计尺度和位置;这不是直接切出原有表面,也不能保证隐藏结构、材质或方向完全正确。
回顾补收:数据引擎、逐层文本注入与点云蒙版
UniPart 用大规模文本—部件数据训练点云 Transformer,让自然语言短语直接选择已有几何中的部件。它属于三维资产理解和编辑入口,输出点云蒙版,不能直接生成完整网格或 PBR 材质;本条只计入 3D 领域。
统一几何与纹理对应是生成数据的基础;VAE能重建不等于已学会生成
AvaImg 将带衣服人体扫描优化配准到统一SMPL(-X)+D拓扑,利用绕数内外判断减少身体穿衣,再由粗到细位移贴合表面,输出语义对齐的UV颜色与位移图。其价值在于数字人生成、换纹理和重动画的数据管线,而非直接训练一个新生成模型;冻结FLUX VAE的往返重建只是表示兼容性实验。
把纹理定义在网格表面,绕开 UV 接缝
HKTex 用沿三角网格表面传播的各向异性热核表示外观,核的位置、密度和优化都受表面约束。可从现有纹理或多视角图像拟合,并接入物理渲染器;这是纹理表示与重建方法。
回顾补收:多视图几何融合与转换成本边界
AnyGS2Mesh 接收已训练的高斯场与标定相机,融合三维高斯和二维几何特征,再预测深度并提取网格。约半分钟的转换不包含上游高斯训练,也不包含 UV、材质或生产级拓扑整理。
一步潜空间桥接加高斯传播,保留几何、更新球谐外观
LightBridge以已有高斯场景和灯光强度/颜色控制为输入,先预测源视频到目标光照的潜空间变化,再把变化传播为每个高斯的球谐系数残差。它省去逐场景拟合重光照视频的过程,但不会输出去光照的PBR材质或修复原几何。
回顾补收:参考路由与中间视角,不等于三维相机平移
CameraEditor 将俯仰、横滚、视场角和镜头畸变变化拆成连续中间帧,用视频先验生成最终编辑图。它还能从全景图池选出经历相同相机操作的参考片段;实验锁定 yaw,不支持真实三维平移产生的视差。
参数、部件和关节可编辑,但检查门控不等于全部产物必然合格
Procedura让冻结语言模型编写OpenSCAD程序,以命名部件和类型化配合关系构成装配,再通过渲染反馈逐项修正。8月26日首发,今天补收;它的价值是直接输出可改参数的程序资产,而非仅有网格,但质量门控存在警告放行,模拟通过也不等于可制造。
先稳定网格与 UV,再分离材质和光照;接缝更新是方法的一部分
ExMesh++ 把目标从“渲染像原照片”推进到可交付的网格和 PBR 贴图:先自适应调整拓扑并维护 UV,再冻结几何做逆渲染。它尤其值得关注去光照和资产编辑,但不是一次生成完整生产级资产,也没有定量验证金属度恢复。
可导出PBR网格和切线法线;7秒高斯生成不等于完整网格资产只需7秒
Luce用分模态高斯共同表示几何与PBR外观,压缩到材质感知潜空间,再从单图生成可重光照高斯或带UV的网格。8月25日首发,今天补读v2;其意义是把照明从外观中分开,并将细法线导入标准资产流程,但并非所有材质指标都超过对照。
最多300部件的结构生成,仍需长时间解码和后续材质、关节处理
MegaParts以可截断的因果VQ形状表示压缩部件,再按全局布局、部件包围盒和局部形状顺序生成组装体。8月14日首发,今天补收;它让数百可寻址部件进入单一序列,但部件分开并不自动带来语义关节、UV、PBR或实时资产生成。
8K 基础颜色与 4K PBR 通道需要分开看
Meshy 为图像、多图到 3D、文本精化和重贴图接口加入纹理分辨率选择。8K 档输出的是基础颜色贴图,PBR 贴图为 4K,且不生成自发光贴图;这比“全套 8K 材质”的概括更准确。
几何与拓扑流的回顾;输出尚不包含 UV 或 PBR 材质
LATO.2 先在稀疏体素骨架上生成可控数量的顶点,再以这些实际顶点为条件生成连接关系。顶点和拓扑分开后,部件可以分别生成或移动,再重新连面;但错误顶点不会靠连接生成自动修正,结果也不保证无洞或可直接绑定动画。
从视频生成模型里提取可重光照的神经材质
先让视频模型在受控相机和光照轨迹下“观察”一种材质,再从这些视频帧重建可重用的神经材质。7 月发表于 SIGGRAPH;预印本首发于 2 月,本期按会议正式发表补充收录。
用程序化数据增强突破简单 PBR 的表达上限
把常见的单层高光材质扩展成包含清漆、灰尘和分层散射的训练数据,再学习神经材质生成。7 月发表于 SIGGRAPH,预印本首发为 6 月 12 日;关注点是材质数据的表达能力。
让参考纹理按指定尺度、方向和频率铺进场景
给定参考纹理和场景图像,控制图案的重复频率、旋转方向与尺度,同时尽量保留场景光照和几何。通过变换扩散 Transformer 的位置编码实现控制,避免先扭曲参考图损伤细节。
基础研究补收:局部 VAE 约束让跨视角注意力有几何意义
MatLat 在预训练图像潜空间上学习反照率、粗糙度和金属度的联合表示,并用局部重建让潜变量位置仍对应图像像素。之后,几何对应注意力才能在不同视图间传递同一表面的材质信息,最终投影到网格 UV。
基础研究补收:先学多视角外观,再训练材质分支并补全遮挡纹理
LumiTex 从参考图像和网格生成反照率、粗糙度、金属度等材质。它先训练多视角受光外观分支,再冻结该分支,把光照上下文传给材质分支;最后用几何引导的新视图合成补齐投影不到的纹理区域。
绕开多视图烘焙错位,但高质量PBR与部件仍需分别验证
NaTex把纹理当作三维坐标到颜色的连续场,用几何感知VAE和条件DiT生成表面颜色,再查询到UV贴图或顶点上。2025年论文在纹理对齐和遮挡区域上提供了有价值的路线;本次先处理此前待核实候选,明确材质、分割、细化各自是否需要额外训练。
从一个点开始预测顶点拆分,提前停止仍保留整体形状
逐面生成网格时,中途停止往往只有半个物体。2025年的ARMesh反过来学习网格简化的逆过程:从一个点出发,逐步拆分顶点、更新局部拓扑,得到不同细节级别的完整粗形状。今天回顾补收,重点看这种表示能为资产LOD与编辑提供什么。
基础研究回顾:局部分块提高细节,十万面仍可能需要数小时
MeshMosaic将参考形状拆成局部片,逐片生成三角网格,并用已生成边界和全局点云协调拼接。局部量化让细节不受整物体同一网格精度限制,能够扩展到十万面以上;它输出几何,不能自动代表带UV、材质和绑定的生产资产。
基础研究回顾:反照率纹理输出,不是完整PBR材质
SeqTex把四幅多视图和一幅UV图作为联合序列,用视频生成先验为现有网格上色。多视图分支保留图像能力,UV分支适应展开表面,坐标与法线引导两种空间对齐;最终生成的是UV反照率纹理,网格结构与材质通道仍有边界。