aiwillknow.AI 前沿观察每日 08:00 开始整理
大模型全文深读与原图讲解

Trajectory2Gym:成功轨迹里,哪些动作值得模仿?

把可见证据、执行结果和工作流顺序分别纳入训练目标筛选

IN A NUTSHELL

工具任务最终成功,不代表中间每个动作都有合理依据。Trajectory2Gym 从缺少覆盖的交互路径生成可执行任务,只监督能够从学生当时可见信息推导的动作,再按整条交互而非拆分行数分配训练权重;用普通 SFT 改善多轮工具使用。

01

图解主要方法

把可见证据、执行结果和工作流顺序分别纳入训练目标筛选

把可见证据、执行结果和工作流顺序分别纳入训练目标筛选
原论文图2:交互构造、动作认证与父轨迹训练查看大图 ↗
Yihao Hu、Tao Lin 等研究团队,arXiv:2610.33568v1。引用方法讲解所需原图;原始插图以 PNG 格式呈现,图中内容未改动。 · 原始来源与图注 ↗ · 作者版权;arXiv非独占托管许可
  1. 1

    图2左上:先补交互结构的缺口

    把查询、错误、澄清、恢复和状态改变映射为共享能力词汇,形成有顺序的路径。生成器围绕支持不足的路径构造请求与初始状态,再由教师在真实工具环境执行。只有日志里确实发生的依赖才计入覆盖,不能把生成器计划经历的失败直接当作恢复训练样本。

  2. 2

    图2左下:成功之外,再查证据和顺序

    每个动作要同时满足原生执行有效、工具与标识符在此前可见、整体任务成功及必要操作顺序正确。教师私有提示不能进入学生上下文;失败调用与真实错误响应保留为上下文,但不给失败动作模仿损失。这个检查证明的是有限的来源与顺序约束,不是所有动作都能被唯一推导。

  3. 3

    图2右上:按路径分配重复支持

    先保留核心样本和每个任务的完成示例,再填补能力与路径空白,最后增加未达到目标深度的路径。1.7B至30B模型采用不同支持深度和11,583至19,937条轨迹;因此跨模型的提升混合了模型规模与训练集合变化。覆盖与重复次数是两个控制量。

  4. 4

    图2右下:整条交互获得相同权重

    一条轨迹拆成多行训练样本时,逐行平均会让拆得更多的轨迹权重更大。方法先在父轨迹内部按有效目标token归一化,再对父轨迹平均;只训练通过认证的assistant目标。固定目标与条件前缀时,改变拆分方式不改变目标函数,但不保证有限训练过程完全相同。

02

实验与证据

已阅读正文与方法、实验相关附录,核对实验条件与原图;未独立复现。

来源证据Qwen3-8B用一轮全参数SFT后,Tau2由25.00升至74.17,BFCL总体由67.30升至78.62;Tau2共100任务,BFCL共1,718例,每任务运行一次。 表1–2、附录A:配对评测 ↗

我的解读支持该整套数据配方改善状态型交互;不是与外部RL模型等算力、等数据的因果比较。

来源证据父轨迹归一化在相同轨迹、掩码、样本顺序下将三基准均分59.94提高至67.97;结构选择在相同父轨迹数与目标token预算下多覆盖942条路径,均分增加2.32点。 表3、附录F:拆开看组件 ↗

我的解读前一个对照更接近单因素;各消融在不同阶段进行,收益不可相加。目标扩增实验未匹配token总量。

来源证据BFCL Live Simple在五个规模中四个下降;8B支持深度2/3/4的均分为72.28/70.55/69.44。Tau1 Airline使用公开50任务身份生成训练交互,再评新对话。 表2、4与附录A.2:反例与泄漏边界 ↗

我的解读更多重复支持不保证更好;航空结果属于见过任务的传导式设置,不能包装为任务完全隔离泛化。

03

开放情况与使用许可

已核对论文全文及附录A–G;论文提供构造细节,但本次未找到可验证的官方实现或权重下载入口,不能按已开源计。

LICENSE作者版权;arXiv非独占托管许可

04

我的判断

独立分析 · 未复现实验

正方 · 为什么值得投入

我的判断:对数据工程最有用的改变,是把“成功日志”变成可审计的动作级监督。能解释为什么同样的轨迹数量、甚至相同目标token数,学习效果仍不同。

反方 · 哪些结论还不够

路径编码和认证规则可能漏掉语义依赖;单次运行、部分很小的领域测试令数点增益不稳定。Tau1航空见过任务,外部模型训练预算不同;没有证明可直接推广到开放网页或终端智能体。

综合判断

适合在有可重放工具与状态检查器的客服、交易工作流试验;证据支持数据配方,尚不支持普遍优于强化学习的结论。

我会先做的验证

未执行的验证方案:固定任务隔离划分、教师轨迹及目标token预算,交叉比较有无证据筛选和父轨迹归一化,运行至少3种种子;分别统计恢复成功、未授权参数和单轮调用退步。

继续探索大模型