Youtu-Parsing-Omni：把图像、声音和视频变成可追溯记录

同一个感知编码器怎样同时读页面与定位音视频事件？

1. 1

   图3：共享的是感知主体，不是取消模态差异

   图像切块与音频 log-mel 分别经过轻量输入层，再进入共享双向 Transformer。视觉与声音仍有独立的合并器和输出投影；共享主干由文本模型初始化，以已有符号能力辅助读字。单独的语言解码器生成解析记录，输出仍是文本。

2. 2

   把时间对齐放到编码阶段

   位置编码分配 T/H/W 频率段，图像使用帧与空间坐标，音频使用时间而令空间坐标为零。少数融合层在短音视频窗口中跨模态交互，其余层分别处理帧或音频块；长时间依赖仍交给解码器。空间框归一化到0–1000，时间戳只有秒级，不能当作采样级同步。

3. 3

   先学合法格式，再纠正自己生成的内容

   四阶段预训练后依次进行 SFT、按任务路由的 GRPO 奖励和 OSAD。OSAD 让学生在自己的输出前缀上学习，同一初始模型的冻结教师额外看到参考答案；内容 token 用 JS、结构 token 用前向 KL，并有全 token 项。仅通过 JSON、框语法与重复检查的轨迹进入蒸馏。

4. 4

   六轮更新教师，但没有凭空产生新真值

   每轮只训练学生 LoRA，轮末合并权重并刷新教师，再给学生新适配器。参考解析一直只进入教师，学生推理时没有参考答案；这属于有参考数据的自蒸馏，不是无需标注的自主知识发现。

已阅读正文、训练方法及关键评估协议与消融，核对实验条件与原图；未独立复现。

官方HF可见模型权重与模型卡，链接TencentCloudADP/youtu-parsing的omni推理实现；采用自定义Youtu-Parsing许可，并非仅凭公开下载即可认定宽松开源。完整训练数据与训练复现范围未确认。 已读取LICENSE：含欧盟地域限制，属于带额外限制的自定义授权，不能写成Apache/MIT式开源。

LICENSE作者版权；arXiv非独占托管许可