Mosaic: Multi-Session Agentic Reinforcement Learning

一句话概括

现有智能体强化学习默认轨迹只在单一会话内展开，与推理时多会话执行不匹配。作者提出多会话智能体强化学习设定与 Mosaic 方法，在 BrowseComp 上优于广播式基线。

速览

• 任务：多会话（multi-session）设定下的智能体强化学习（agentic reinforcement learning, agentic RL），轨迹可含任意数量会话。
• 方法：Mosaic，无评论家（critic-free）的分层优化，轨迹级与会话级分别估计优势（advantage）。
• 关键结果：在 BrowseComp 上用 Qwen3.5-4B，上下文压缩（context compaction）与子智能体分叉（subagent forking）两种场景均优于广播（broadcasting），且平均会话数更少。
• 数据与开源：摘要未给出。

问题背景

主流智能体 RL 方法假设单会话轨迹：交互在一个持续累积的上下文中进行。 但上下文压缩、子智能体分叉等技术会让轨迹跨越多个会话。 这造成训练假设与推理执行之间的错配。 一个常见做法是把轨迹级优势广播到所有会话，但它不区分各会话贡献，也不指导轨迹内的会话分配。

方法要点

作者先形式化多会话智能体 RL：一条轨迹可包含任意数量会话。 Mosaic 采用无评论家的分层优化，分两层处理优势。

• 轨迹级：把会话使用信号（session-usage signals）纳入优势估计。
• 会话级：按估计的边际贡献（marginal contribution）重塑每个会话的优势。 两层结合，使优化既看整体回报，也看单个会话的价值。

关键结论

在 BrowseComp 与 Qwen3.5-4B 上，Mosaic 在上下文压缩和子智能体分叉两种场景均超过广播基线。 同时，Mosaic 平均使用的会话数更少。 进一步分析显示，方法在会话效用（session utility）与会话分配（session allocation）上有改进。 作者据此认为，会话效用与分配是多会话智能体 RL 值得继续推进的方向。

读后思考

单会话假设是一种隐式简化，真实部署中的上下文管理与子智能体调用打破了它。 把优势拆到会话粒度，等于给「哪段交互值得多花预算」提供了学习信号。 这与分层强化学习和信用分配（credit assignment）的思路相通。 若会话数本身成为可学习变量，训练与推理的预算控制可能统一到同一目标下。

局限与开放问题

摘要只报告 BrowseComp 一个基准与 Qwen3.5-4B 一个模型，泛化性待验证。 边际贡献如何估计、估计误差如何影响训练稳定性，摘要未给出。 会话使用信号的具体形式与消融结果，摘要未给出。 代码与数据是否开源，摘要未给出。 多会话设定下会话数上限、奖励设计与长轨迹方差控制，仍是开放问题。