TRACE: Training Reasoning Agents for Causal Exploration with Synthesized Rewards

一句话概括

TRACE 用「受控模拟器 + 隐藏干预」合成可验证奖励，把诊断式推理改造成可大规模强化学习的任务。在数字广告归因环境上，该方法超过了所有被评估的提示基线。

任务与方法：在受控模拟器中注入隐藏干预，生成观测数据；智能体用 Python 和 SQL 调查，找出根因与受影响分群。
关键数字：留出 235 个 episode 的测试集上，Claude Opus 5 提示基线为 0.686 FullAttr@1；Qwen3.5-35B-A3B 经 SFT 从 0.159 升至 0.637，再经 RL 达 0.757。
对比结果：RL 后的策略超过所有被评估的提示基线，包括前沿闭源模型与提示版 Qwen3.5-122B-A10B，且工具调用次数明显更少。
数据与开源情况：摘要未给出。

带可验证奖励的强化学习（RLVR）在数学、代码等领域有效。原因是答案对错可以用客观、廉价、自动化的方式检查。

但诊断类推理缺少这个条件。论文称之为「验证的不对称性」：查清一个异常现象的真正原因，往往要专家投入大量时间，结论还可能含糊或有争议。

于是 RLVR 卡在这里。不是模型不够强，而是没有可靠的奖励可给。

作者的问题：这种验证上的不对称，能不能被工程化地消除？真实世界验证很贵，能否退回可控模拟环境，让验证变便宜？

TRACE 的思路是「先造因，再让模型找因」。

论文把这一范式落地为数字广告诊断环境，含 12 种根因，并要求细粒度分群归因（segment attribution）。智能体每轮用 Python 和 SQL 主动查询分析，最终同时给出根因判断，以及在适用时给出受影响的分群归属。

训练分两阶段：先监督微调（SFT），再基于合成奖励做强化学习。奖励来自模拟器已知的隐藏干预，不需要人工标注或专家复核。

在 235 个 episode 的留出测试集上：

作者的核心论点：在诊断类推理任务上，能否获得可扩展、客观的训练信号，可能比单纯扩大模型规模更关键。更一般地说，基于模拟的验证能让原本模糊的诊断推理任务适合规模化强化学习。

需要说明：FullAttr@1 的具体定义、评测统计口径、各基线的提示方式与预算，摘要未给出；工具调用次数的具体数值，摘要未给出；SFT 与 RL 的训练数据规模与超参数，摘要未给出；12 种根因的具体清单，摘要未给出。

这篇工作的价值可能不在某个具体分数，而在于把「奖励从哪来」重新摆上台面。过去我们习惯认为，模型能力天花板由参数量和算力决定；TRACE 提示了另一条因果链：任务能否做强化学习，取决于验证是否便宜，而验证是否便宜有时可以被设计出来。

「模拟器造标签」的思路，天然适用于真实验证昂贵、但可构建可信模拟环境的领域。比如广告投放与增长诊断、推荐系统指标异动归因、线上服务性能故障排查、供应链或库存异常分析，乃至某些实验科学中的参数反演。共同特征是：现象由多因素混杂产生，需要多步查询与排除，而真实世界的标准答案要么贵、要么慢、要么有争议。

另一个值得注意的点是工具使用与推理的结合。模型必须写 SQL、跑 Python，并根据中间结果决定下一步查什么。这比静态推理更接近真实分析师的工作方式，也让「少用工具还能答对」成为有意义的效率指标。

最核心的隐忧是模拟器与现实的差距。如果模拟器对数据生成机制建模得过于干净或简化，模型学到的可能是「在这个模拟器里找答案」的策略，而非可迁移的诊断能力。摘要未给出模拟器保真度的评估，也未给出真实数据上的验证结果，这是判断外推价值的关键缺口。

其次是奖励的可辨识性。隐藏干预提供唯一标签，但真实诊断中常存在多个合理原因，或原因之间有层级与交互。把任务简化为「12 选 1 加一个分群」，是否丢失了诊断推理中最难的部分，摘要未给出讨论。

第三是奖励黑客的风险。奖励来自模拟器已知干预时，模型可能学会利用模拟器的规律性捷径，而非真正做因果推理。论文是否做了针对性鲁棒性检验，摘要未给出。

最后是泛化边界：这套方法能否迁移到根因集合开放、无法预先枚举的场景？模拟器本身的构建成本是否又变成新的瓶颈？这些问题决定了「模拟验证」是一条通用路径，还是只适用于少数可被良好形式化的领域。