aiwillknow.AI 前沿观察每日 08:00 开始整理
3D 生成全文深读与原图讲解

MOSS-Image:把长文字与版式变成可控图像条件

海报和标牌生成,离可编辑资产还有多远?

IN A NUTSHELL

5B图像扩散骨干联合多粒度描述、文字框和规划代理,面向长文字与复杂版式。适合作为场景标牌、贴花和界面资产候选,但长文本召回不是逐字正确率,代理也不包含在5B规模中。

01

图解主要方法

海报和标牌生成,离可编辑资产还有多远?

海报和标牌生成,离可编辑资产还有多远?
图2|MOSS-Image架构与训练条件(PDF第4页)查看大图 ↗
OpenMOSS 团队,arXiv:2610.23374v1。PDF第4页图2完整图区域裁切,未修改图内内容。 · 原始来源与图注 ↗ · CC BY 4.0
  1. 1

    建立文字与图像联合生成骨干

    图2使用42层、隐藏维3072的5B DiT,冻结Qwen3.5-9B文本编码器和FLUX2 VAE不计入5B。文字和图像token联合建模,4D RoPE保留r=0维度接口;预留接口本身不代表已具备参考图编辑能力。

  2. 2

    保留多粒度描述和位置格式

    从约5B候选筛到3B图像,已有去重、AI图像删除等来源过滤;“不额外过滤”不是未经筛选。描述约20%原始、80%重写,序列同时容纳换行与文字bbox,并对坐标字段做dropout以兼容多种格式。

  3. 3

    逐级提升分辨率和条件长度

    训练经历256、512、1024分辨率,文本长度到4096、打包长度8576,让长文字和布局联合出现。字号、拥挤版式与语言长度是不同难点,不能用一个平均OCR分概括。

  4. 4

    用代理规划再生成,而非直接编辑参考图

    GPT-6代理按海报、UI或信息图路由,检索参考并输出含8类字段与bbox的JSON规格;参考图主要给规划器,不作为DiT图像条件。修改通常重新文生图,代理检索和文字事实仍可能出错。

02

实验与证据

已阅读正文与全部公开附录,核对实验条件与原图;未独立复现。

来源证据LLTB含240任务、80个来源段落、三档长度、中英文,每任务生成4张均纳入评分;报告Mean6为96.3,长中文92.4,使用Qwen2.5-VL-7B辅助判断。 长文本评测 ↗

我的解读核心OCR指标是多重集合召回,不检查顺序,也不惩罚全部多余字符;96.3不能写成完整文字逐字准确率或96.3%的图无错误。

来源证据7Bench为224任务、576个目标;检测到445个目标时IoU为0.8786,但全目标IoU为0.6788、检测率0.7726、AUC0.7031。 空间布局指标 ↗

我的解读只报“布局IoU约0.88”会遗漏未检测目标;资产排版验收应优先看全部目标与遗漏情况。

来源证据RLA61任务,主要人工比较组包含11个参评系统、1420票,覆盖31.1%的任务配对。MOSS Elo1698.70,区间1655.96–1741.43;GPT1844.35、Seed1661。同场与其他组的1807不能直接比绝对值。 人工偏好与代理对照 ↗

我的解读区间未处理全部评审者/任务聚类;主实验每会话独立提示与部分消融共享旧提示存在协议差异,辅助GPT-6裁判又与规划器同源,应以人工结果为主。

来源证据编辑展示主要是两个重新生成案例,仍能见到旧小字标签残留;没有UV映射、部件结构、PBR、去光照或重光照验证。 可编辑与资产边界 ↗

我的解读更适合产出待检查的标牌和贴花图像,不是已验证的可编辑三维材质或结构化设计文件。

03

开放情况与使用许可

OpenMOSS/MOSS-Image存在实际推理和界面实现,Apache-2.0;已核实OpenMOSS-Team/MOSS-Image-Base与MOSS-Image-SFT模型卡和权重文件,卡声明模型及随附代码Apache-2.0。预训练组件各自许可仍适用;完整训练数据与外部GPT代理并不因此全部开放。

LICENSECC BY 4.0

04

我的判断

独立分析 · 未复现实验

正方 · 为什么值得投入

长文字、布局与模型发布结合,为中文场景图像资产提供了具体可试入口;论文还给出人工而不只模型裁判结果。

反方 · 哪些结论还不够

文字召回、条件检测IoU与人工Elo各有统计边界;5B并非完整代理系统成本,事实、字体版权和资产编辑性仍需独立处理。

综合判断

可以进入标牌/贴花候选生成流程,但必须逐字校对并验证布局,不能直接作为可商用无误资产交付。

我会先做的验证

未执行的验证方案:固定标牌内容生成中英长文,逐字核对顺序、增字与缺字;将输出转成贴花并测多视角可读性。独立记录GPT规划调用成本,检查商标、字体与素材来源,不把代理事实直接发布。

继续探索3D 生成