SAM3D-Part:点选已有网格,生成完整可复用部件
回顾补收:密集坐标对齐与实际发布范围
SAM3D-Part 从已有网格和点选蒙版出发,融合局部图像、三维形状与已提取部件缓存,再生成完整部件。它通过每体素坐标对应估计尺度和位置;这不是直接切出原有表面,也不能保证隐藏结构、材质或方向完全正确。
图解主要方法
图 2 怎样同时利用用户意图与源网格的完整几何?

- 1
在渲染视图中指定所需部件
用户选视角并点击,经 SAM 得到二维蒙版;RGB、蒙版与源网格渲染的点图各有全图和局部裁剪。三种模态在相同图块位置沿通道融合,再与三维 token 连接,减少重复条件 token。
- 2
把完整网格与提取历史加入条件
冻结 Hunyuan3D-2.1 ShapeVAE 读取 81920 个表面点,含均匀与曲率采样,产生 4096 个锚点。每个锚点附坐标和二值缓存标记,缓存由已生成部件体素的并集构成,让后续查询知道哪些区域已经取出。
- 3
先生成占据,再投票估计位置
第一阶段同时预测粗占据和源坐标 XYZ,对应的局部点与全局点直接配对,以最小二乘求各向同性尺度和位移。训练不做旋转规范化,因此只学习继承源方向;闭式解不修正旋转,也不是 ICP。
- 4
稀疏细化与连续查询
第二阶段在占据位置去噪细化,继续读取源网格条件,再把结果放回源坐标并更新缓存。生成会补出原网格没有显式分开的界面,不能保证输出恰好是原网格的无损子集。
- 5
查看下载版的材质与训练边界
当前演示可另用 TRELLIS.2 细化几何,默认跳过 PBR 纹理模型,烘焙选框需完整模式才有效。训练文件虽在仓库,README 明确内部数据路径使其不能直接训练;几何生成可运行不等于全训练与材质流程均可复现。
实验与证据
以下为作者报告;已阅读 v1 全文及可用附录,本站未独立执行研究实验。实验条件与编辑解读分别列出。
来源证据【187K 清洗资产训练;500 对象测试】BBox IoU 0.641,OmniPart 0.552;CD 0.053 对 0.192。CD/F1 使用真值框归一化,分解基线按真值框选最佳部件。 表 1 与实验设置 ↗
我的解读我的解读:这是带真值选择的评测,不是用户交互的真实选件成功率;不同输入几何条件也要保留。
来源证据【累积消融】微调 SAM3D 的 IoU 0.275,加源网格 0.426、融合 0.518、XYZ 0.611、缓存 0.625、两阶段条件 0.641。 表 3 ↗
我的解读我的解读:对应模块均有增益,但逐项累积不是完整因子实验,存在相互作用。
来源证据【Stage 1 单 H100,25 步、十次计时】条件 token 12314→6836、耗时 13.416→10.451 秒;不含完整第二阶段。 表 5、仓库 ↗
我的解读我的解读:这是第一阶段提速,不是点击到完整资产的总延迟;参考环境推荐 80 GB 显存。
来源证据【100 案例,每项六视角/点击】只选择目标可见视角;训练保留 SAM 蒙版 IoU>0.6。 鲁棒性与失败案例 ↗
我的解读我的解读:不覆盖严重遮挡或错误点击。64³ 稀疏表示与 ShapeVAE 瓶颈会丢失细藤、镂空框和重叠深度层。
开放情况与使用许可
已核对推理入口、模型文件清单和许可映射;bj6/sam3d-part 确有 Stage 1 与 VAE 权重,未下载执行。作者原创外围代码 MIT;核心 sam3d_objects 与派生权重按 SAM License,上游 Hunyuan、TRELLIS 各自条款适用。训练入口不能按发布状态直接运行。
LICENSE多组件许可:外围 MIT,核心和权重 SAM License,Hunyuan 社区许可另计;不能概括整套为 MIT。
我的判断
独立分析 · 未复现实验正方 · 为什么值得投入
把源网格几何和逐体素坐标对应纳入生成,比仅看二维蒙版更适合可控地提取已有资产部件。
反方 · 哪些结论还不够
方向一致性只是学习结果,薄结构和交叠部件仍失败;UV、接缝、PBR 与重光照没有独立量化验收。
综合判断
可用于已有资产的交互部件提取原型,生产前需检查内部封口、源表面偏差、缓存累积冲突与材质导出。
我会先做的验证
未执行的验证方案:在有真实装配结构的资产上随机点击和改变视角,测源表面误差、隐藏界面完整性与重叠率;统一开启/关闭细化和 PBR,逐项记录时间、UV 接缝及旋转灯光下表现。