InfiniDream：用受约束的程序编辑扩展3D资产工厂
如何把现成程序化几何改造成新资产，并在场景中可靠摆放
InfiniDream不直接从噪声生成三角网格，而让视觉语言模型检索并修改Infinigen程序化资产工厂。系统明确哪些模块能改、哪些基础设施只读，再经渲染反馈修复；场景阶段将语义计划交给确定性的视锥与表面约束放置器。价值在于保留程序、随机种子和可编辑结构，但漂亮渲染尚不等于通过UV、PBR和重光照验收的生产资产。
图解主要方法
如何把现成程序化几何改造成新资产，并在场景中可靠摆放
- 1
图4(A)：检索工厂并划定编辑边界
Factory Picker依据提示和参考图选择现有工厂，通过AST追踪有限深度的依赖形成Factory Brief。几何相关资产模块可写，基础设施按只读或符号链接保留；先把已有程序的结构暴露给模型，避免在整个代码库随意修改。
- 2
图4(B)(C)：把自然语言要求变成可执行编辑计划
Planner分别写出策略、定位、修改、依赖与风险，选择调参、创建功能或按规则提升模块可写范围。Coder保持入口和接口，保留随机生成逻辑，再运行粗构造；变更参数分布而非固定随机结果，使同一程序仍能产生变体。
- 3
图4(D)：以实际渲染和错误反馈修复
Reviser查看渲染结果与执行错误，在最多六轮内改进几何或外观，由Selector保留成功快照。收益包含反复调用模型和Blender渲染的成本，不是一次文本生成即得到最终资产。
- 4
从资产到场景：语义计划与几何求解分工
Scene Picker从70个预生成粗场景中选背景，Director规划增删替换、Hero/Scatter/Swarm角色及七类锚定。放置器用9×5或17×9视锥网格、射线交点、尺度、坡度和碰撞包络确定位置，必要时放宽部分约束；K个原型可链接复制成N个实例，但这不意味着N个完全独立几何资产。
实验与证据
已阅读正文与全部公开附录，核对实验条件与原图；未独立复现。
来源证据对象评估100个提示、六类资产、四视角1024²渲染；场景20个、960×540主视角。VLM基线使用Claude Opus 4.8，参考图由Gemini3 Pro Image生成。每对象五张参考图中仅一张用于条件，其余用于评估。对象CLIP30.07、DINO0.554，执行成功98%；VLM harness执行率99%。 第4节、表1–2与评估附录 ↗
我的解读图像对齐和视觉质量支持方法价值，但执行成功率并非最高；图像指标受合成参考和视角影响，不能直接代表可编辑拓扑或实际资产合格率。
来源证据20个场景中不可读实例比例为7.8%，无Grid为27.4%，Agent放置为50.9%；支持对象接触间隙P95为0.15米。接触指标排除了若干失败生成、缺失表面或不适用对象。 表中放置消融与失败统计口径 ↗
我的解读放置改善明显，但0.15米不是精密装配；排除项意味着需要另报从全部请求到成功实例的端到端失败率。
来源证据15个提示、每个五个变体；本方法换种子，对比TRELLIS2使用不同参考图。DINO多样性0.6704对0.6084，但SigLIP0.1225低于0.1317。用户研究30人，评价10个对象和10个场景。 多样性与用户研究 ↗
我的解读多样性比较的条件预算不同；主观偏好也局限于小样本和展示渲染，不能推出所有场景或所有材质都更好。
开放情况与使用许可
2026-10-21核验：作者项目页可读；GitHub递归目录只有README与展示assets，明确Full code coming soon，未见实现和LICENSE。论文公开采用CC BY 4.0，不据此声称生成系统已开源。
LICENSECC BY 4.0（论文及所引原图）；实现许可另行核对
我的判断
独立分析 · 未复现实验正方 · 为什么值得投入
程序化工厂保留几何构造、部件和随机参数，受约束代码编辑加渲染修复提供了一条可审查的资产扩展路径；放置器把语言规划与具体几何约束分开。
反方 · 哪些结论还不够
依赖Infinigen、预建场景库及多轮模型/渲染成本；主要是自然场景，动画多为预设。未提供UV展开、接缝一致性、PBR贴图正确性、去光照或跨光照材质一致性的定量验收，场景级完整执行率也不充分。
综合判断
适合作为程序化3D资产工作流研究，而不是将“世界”一词等同于可学习物理动力学。应优先验证编辑可复现性和资产导出质量。
我会先做的验证
未执行的验证方案：在相同背景库和调用预算下记录全部请求、失败与修复；检查导出网格的部件、法线、UV接缝和材质通道，并用统一HDRI轮换重光照、改变种子与语义编辑测稳定性。