IAPO: Influence-Aware Policy Optimization for Credit Assignment in Multi-Turn Service Agents

一句话概括

IAPO 把一次多轮交互记录建成一张有向依赖图，用图中的信息流与错误流把轨迹级奖励重新分配到每个动作上。它不依赖额外采样或人工标注，就能提升服务型智能体的多轮强化学习效果。

任务与方法：将一次 rollout 表示为「类型化影响力依赖图（typed influence-dependency graph）」，把支持使用（support-use）与失败使用（failed-use）结构转成路由权重（routing weights），重新分配同一条轨迹级优势值（advantage）。
关键数字：摘要未给出具体提升幅度。
数据与开源情况：摘要未给出。
验证范围：Qwen3-4B 与 Qwen3-8B 两个规模，在 τ²-Bench、UserBench、AgentChangeBench 三个服务智能体基准上对比多轮 RL 基线，并在 BFCL-v4 Multi-Turn 上验证多轮函数调用能力。

多轮服务型智能体（service agent）要与用户多轮对话，还要调用外部工具完成任务。这类任务的信息不是一开始就给全，而是在交互中逐步展开：用户可能中途澄清或修改目标，工具返回结果也会影响后续决策。

这带来一个经典难题：信用分配（credit assignment）。轨迹结束时只有一个最终奖励，比如任务是否成功，很难判断哪一步动作真正推动了任务解决，哪一步反而引入了错误。

一个直观例子：订票智能体先问用户偏好，再调用错误的航班查询接口，最后修正查询并成功。中间那次错误调用不该获得正面信用，但最终奖励无法区分它。

现有方法分两类。一类依赖对比证据，比如拿其他轨迹或重采样续写做比较；另一类单独构造步骤级训练信号。两者都有额外成本：前者要大量额外采样，后者要人工设计信号或额外模型。

作者指出，一次完整 rollout 本身就记录了动作之间的信息依赖，以及错误如何在步骤间传播。这些结构信息可以直接用于信用分配，不必绕道采样或标注。

IAPO 的核心是把一次 rollout 转成一张「类型化影响力依赖图」。图中节点是可训练智能体动作，即模型需要学习的决策步骤；用户消息和工具返回结果作为证据节点存在。

图中的边表示动作之间的影响关系，分两类：

IAPO 用这两类结构为每个动作计算路由权重，把轨迹级优势值重新分配到各动作上。直观理解是：一个动作的信息被后续多个动作成功使用，它应获得更多信用；被后续动作失败使用，它应被扣减信用。

这种分配完全基于 rollout 内部结构，不需要额外采样，也不需要人工标注步骤级奖励。在实现层面，IAPO 是一个策略优化框架，可与标准策略梯度方法结合使用。

实验采用 Qwen3-4B 和 Qwen3-8B 作为基座模型，在三个服务智能体基准上与多轮 RL 基线对比，并在 BFCL-v4 Multi-Turn 上验证多轮函数调用能力没有退化。

性能提升：IAPO 在 τ²-Bench、UserBench、AgentChangeBench 三个基准上均优于多轮 RL 基线，且优势在 4B 和 8B 两种规模上都成立。摘要未给出具体数值。
泛化性：BFCL-v4 Multi-Turn 的结果表明，收益没有牺牲多轮函数调用的基础能力，说明改进不是靠牺牲通用能力换来的。
方法有效性：IAPO 说明「从 rollout 内部结构提取信用信号」可行，不需要额外对比轨迹或人工步骤信号，也能完成有效信用分配。

摘要未给出具体提升幅度、消融实验细节，以及支持使用与失败使用两类边各自的贡献。

这篇论文值得注意的地方是「零额外成本」的信用分配思路。多轮 RL 的痛点是采样效率低，为获得足够对比信号往往需要大量 rollout。IAPO 相当于把一次 rollout 的信息利用到极致。

这对实际部署有吸引力，因为服务型智能体运行成本高，常涉及真实 API 调用，能少采样就少采样。

适用场景明确：凡是信息逐步展开、最终奖励稀疏的多轮交互任务都值得尝试。典型例子有客服对话、订票或订餐助手、数据分析助手。用户中途修改需求的场景中，失败使用机制可能特别有用，它能识别「因为用了旧信息而做出错误决策」的模式。

另一个思考点是：IAPO 的影响力图本质上是一种可解释的信用分配。如果需要向业务方解释「为什么模型认为这一步重要」，图结构可以直观展示信息流动路径，比黑盒的奖励塑形更容易沟通。

图构建的准确性：IAPO 依赖类型化影响力依赖图的构建质量。如何判断一个动作是否使用了前序动作的信息？若依赖启发式规则或额外模型，图构建误差会如何传导到信用分配？摘要未说明图构建的具体方法。
长轨迹的可扩展性：交互轮数增加后依赖图会变复杂。图构建与路由权重计算的开销是否可控？超长轨迹下影响力传播是否会稀释或出现环路问题？摘要未给出。
错误传播的粒度：失败使用是二元判断，但实际信息可能是部分错误或过时但仍有参考价值。这种粗粒度分类是否限制信用分配精度？摘要未给出。
与在线学习的结合：实验是固定数据集上的离线训练还是在线交互？在线部署时图结构能否实时更新并用于策略调整？摘要未给出。
跨任务泛化：三个基准覆盖不同服务场景，但都是英文环境。在中文服务场景或更多样化的工具调用环境中，IAPO 的收益是否保持？摘要未给出。

总体而言，IAPO 提供了一个视角转换：与其向外寻找对比信号，不如向内挖掘已有 rollout 的结构信息。这种「从内部找答案」的思路，在多轮 RL 领域值得更多探索。