ElasticFit:让生成物体适配场景空隙,而不只是找放置位置
结构化支撑点与目标盒连接生成、缩放和物理落定;elastic只是轴向缩放
ElasticFit从已有带实例标注的3D场景和语言指令中推断支撑点、目标盒、朝向及适配模式,按盒子比例生成2D物体并用TRELLIS转成网格,再做刚性、统一或各向异性缩放及PyBullet落定。固定资产放置的空间关系分数69.7%、支撑率91.7%;完整生成适配在60个更难任务上是60.8%和83.3%,不能混为同一成绩。
图解主要方法
一个生成网格如何同时满足语言位置、有限空隙与支撑条件,而不靠任意拉伸掩盖问题?

- 1
用像素与实例缓冲把语言落到3D
从用户视角渲染RGB、逐像素XYZ和语义实例ID,标号图输入VLM,输出支撑ID、目标像素、朝向点等JSON。目标像素若不属支撑物,移到最近可见同ID像素;同一物体侧面与顶面仍可能混淆。
- 2
构造可编辑的目标盒与姿态
以支撑点为盒底中心,尺寸、yaw/pitch、模式和生成描述组成G。明确yaw优先于推断,roll固定为0;目标盒代表估计拟合容量,不保证内部全空。
- 3
先用盒比例影响生成,再升为网格
SDXL图像宽高取盒宽/高,面积约768²、边长64倍数且限制512–1024;宽横/高竖标签仅软提示。TRELLIS从单图重建,场景条件主要由提示和画布传递,不是精确几何条件生成。
- 4
按模式选不同求解器
刚性保尺度、粗盒过滤后网格搜索;uniform梯度优化平移与统一尺度;elastic在盒局部坐标扩张空盒,再三轴映射网格。并非所有模式都用同一个可微目标,也没有真正非刚性形变。
- 5
短刚体落定并作支撑修正
PyBullet静态凹三角场景与动态插入体,从略抬高无穿透初值受重力落定;最后按向上表面及支撑ID保守夹紧底部。该后修正可能将盆内目标推到盆沿,需回看原指令。
实验与证据
完整正文及附录A–H已读,包含优化模式、评价提示、基线改编、失败归因与资产许可;图2原图视觉核验;未调用付费模型或运行生成。
来源证据Common60任务,5类各12,使用固定同一资产,关闭生成与变形;三基线为单物体改编版。 4.1;表2;D/F ↗
我的解读69.7%关系、91.7%支撑验证的是放置子系统,不能作为生成适配全流程分数。
来源证据Common对LayoutGPT:SRS50.8→69.7、SupR48.3→91.7;CFR91.7低于Holodeck95和LayoutVLM93。 表2 ↗
我的解读不是所有指标最好;碰撞与语义贴近存在取舍,保守远离场景也会少碰撞。
来源证据完整Fit-Critical60任务:SRS60.8、CFR71.7、SupR83.3、CPS4.57;其中30间隙任务SRS48.3、CFR66.7。 表3 ↗
我的解读完整生成几何适配仍容易失配;高主观放置分不能覆盖硬约束未满足。
来源证据消融为不同输入视角的单独受控运行:完整CFR76.7、PVR1.08,去落定CFR不变、PVR1.45,去拟合CFR36.7、PVR6.09。 表4 ↗
我的解读不能将表4与表3的66.7直接作同设置比较;主要碰撞改进来自几何拟合,短落定效应较小。
来源证据SRS是每任务可自动测关系的满足比例,方向性左右前后不纳自动评分。 E.1 ↗
我的解读69.7%不等于69.7%的全部任务完全满足;方向表现依赖额外视觉评分。
来源证据支撑阈值底面距2cm,高度带2cm、覆盖阈值0.08,支撑高为95分位。 E.3 ↗
我的解读是几何代理条件,不是重心支持多边形或抗扰动力学测试,局部悬空仍可能通过。
来源证据CPS由GPT-5.4-mini看匿名分组截图,忽略一般类别/形状质量,模糊关系从宽。 A.1;E.4;图6 ↗
我的解读没有人类校准,也不是纹理、变形或语义身份保真度;25个SRS不满分间隙案例24个CPS≥4不能反证几何指标。
来源证据固定资产模式11.53秒=10.50秒VLM+1.03秒拟合;4070 Ti SUPER16GB、系统64GB。 表15;F ↗
我的解读不含完整生成与TRELLIS的额外耗时,API重试等会影响比较;未做训练或微调。
来源证据视觉失败归因60例中方向2、生成适配6、凹支撑1。 表6 ↗
我的解读这9例是主要可见失败,不等于自动指标全部未通过数;不可换算成85%总体任务成功率。
来源证据第三方资产仅列类别,原文件不再分发;输出未评UV/PBR/去光照。 H;全篇评价范围 ↗
我的解读可视化放入场景与进入可重光照、可编辑资产管线是不同验收层次。
开放情况与使用许可
项目已打开,但Paper/arXiv/Code按钮均为#占位;未确认实现、权重或可执行任务集。论文使用外部Gemini、SDXL和TRELLIS,无新增训练;第三方基础模型许可需分别处理。
LICENSE论文CC BY 4.0,图2署名使用原图。附录称实验Sketchfab资产为CC BY 4.0且不再分发原文件,但只给类别列表,缺逐资产作者链接,不能据此确认资产包可再分发。
我的判断
独立分析 · 未复现实验正方 · 为什么值得投入
相同固定资产与Gemini骨干下,局部网格定位和物理修正使支撑率从最好基线48.3%到91.7%。
受控消融移除几何物理拟合后无碰撞率76.7%到36.7%,支持不能仅靠初始目标盒。
反方 · 哪些结论还不够
完整生成流程没有匹配的直接基线,且最近的FirePlace仅作设计比较,即使Common集合有24任务与其重叠。
CPS评审明确不惩罚一般形状或类别错配、对模糊关系从宽,没有人类校准;4.63分不能证明变形资产质量。
无碰撞指标是包围盒内场景采样检查,允许排除支撑/贴墙物体,并非精确全网格碰撞检验。
综合判断
结构化拟合约束对场景插入有工程价值,实验证明固定资产的落地改进;生成资产的形状、材质与复杂空隙可用性仍需更严格检验。
我会先做的验证
建议实验(尚未执行):在未见扫描和预测实例标注上重复多视角测试,匹配FirePlace的固定资产子集;同时测三角网格穿透、稳定性、UV拉伸与接缝,加入PBR重光照和部件功能约束。