aiwillknow.AI 前沿观察每日 08:00 开始整理
3D 生成全文深读与原图讲解

KaiNinja:把原生三维生成器拆成两个部件体积

回顾补收 v2:接触面、双流继承与部件粒度的代价

IN A NUTSHELL

KaiNinja 将 TRELLIS.2 的单体 O-Voxel 扩成两个互补体积,让接触部件尽量分处两侧,再从连通分量得到独立网格。它改善了自建数据上的几何,但双体积必须合并某些复杂接触关系,外部基准的部件得分也并非领先。

01

图解主要方法

图 2 怎样用固定两个流生成可变数量的部件?

原论文图 2:双体积布局流与稀疏细化流
原论文图 2:双体积布局流与稀疏细化流查看大图 ↗
Ruihan Yu 等,arXiv 2609.15659v2;原图内容未改动。 处理记录:PDF page 6 at 1800 px height; crop (155,140,1236,858), complete figure 2 and caption. · 原始来源与图注 ↗ · CC BY 4.0
  1. 1

    先在表示层保护接触面

    O-Voxel 的每个体素只存一张表面,贴近的两个部件接触面会合并。预处理建立接触图,以共享体素数为边权;二分图可两色分配,奇环则贪心合并接触最强的部件直至可二分。这保护留下的界面,也会牺牲原部件粒度。

  2. 2

    布局阶段先适配,再接通两侧

    冻结 DINOv3 图像条件,两个预训练布局流先分别适配各自体积。再加入零初始化的跨体积注意力,冻结旧流热身后联合微调;16³ 潜在网格解码为 64³ 占据布局,模型不显式预测部件数。

  3. 3

    细化阶段共享权重,改变注意力范围

    第二阶段保留 TRELLIS.2 结构和预训练权重,先只训练体积嵌入,随后全部微调;20 个块在体积内部注意,10 个块跨体积交互。这里的“保持骨干”指结构与初始化,并非整个训练都冻结。

  4. 4

    从占据体积得到独立网格

    跨流重复占据严重时移动较小分量到另一体积,保持整体并集。解码后按连通分量拆件,距离两细体素内的碎片连接,小于面积 0.5% 的碎片附回附近部件。无分割网络仍不等于无后处理或无阈值。

  5. 5

    几何可分离与材质可生产要分开

    继承 O-Voxel 对开放面和材质属性的容纳能力,图 1 的材质另由 TRELLIS.2 添加。主表测几何和部件匹配,没有独立验证 UV 展开、纹理接缝、PBR 分解、去光照或不同灯光下材质保真;移动网格也不自动得到关节与绑定。

02

实验与证据

以下为作者报告;已阅读 v2 全文及可用附录,本站未独立执行研究实验。实验条件与编辑解读分别列出。

来源证据【19132 训练对象;共同完成的 986 测试对象】整物 CD 0.0186,Hunyuan3D-2.1+X-Part 为 0.0314;严格部件 F1 0.692 对 0.597。 表 1–3 ↗

我的解读我的解读:约 40.8% CD 降低与 15.9% 相对部件 F1 提升只针对该协议;每个预测还从 48 个轴置换中选真值最优对齐,非天然精确姿态。

来源证据【HY3D-Bench 200 对象】整物严格 F1 0.724 最好,但部件 F1 0.505,低于 Hunyuan+X-Part 0.555,部件 mIoU 排第四。 表 5 ↗

我的解读我的解读:训练部件粒度与基准定义不一致会逆转排序,不宜写成全领域部件生成最强。

来源证据【后处理消融】重标连接将平均分量 14.06 降到 5.43,真值 5.85;去掉重叠惩罚的最终指标反而略高。 表 7 ↗

我的解读我的解读:部件质量显著依赖后处理,训练惩罚主要改善中间占据,未证明最终质量受益。

来源证据【H100,512 分辨率】约 24 秒/物体,含网格导出;X-Part 用四卡占用换算 GPU 秒。 效率与整物对照 ↗

我的解读我的解读:GPU 秒不是用户等待秒;相对同数据微调单体 TRELLIS.2 仍约 2.5 倍成本。

03

开放情况与使用许可

已检查官方仓库文件树和 README:目前只有说明与展示图,推理代码、预训练权重仍未勾选发布。项目演示和非空 README 不算实现开源。

LICENSE实现与权重许可未发布;底座许可不自动覆盖本研究。

04

我的判断

独立分析 · 未复现实验

正方 · 为什么值得投入

把相接表面的表示冲突放在模型之前处理,能解释为什么简单给单体网格加部件标签不够。

反方 · 哪些结论还不够

双体积要合并非二分接触图,存在薄壳重复和单流坍塌;外部基准与后处理消融限制了全面领先结论。

综合判断

适合关注接触面完整性与部件资产的研究;当前仍需等实现发布,并以真实 DCC 导出和材料测试验收。

我会先做的验证

未执行的验证方案:按接触图奇环、薄壳和部件粒度分层测试,记录合并率、重复面、孔洞与导出耗时;对统一 UV/PBR 管线做旋转光源与接缝检查,不仅看正面渲染。

继续探索3D 生成