Co-Evolving Harnesses and Models: On-Policy Correction Helps Weaker Models Catch Up Where Imitation Fails

一句话概括

在已进化 harness 下用专家完整轨迹微调弱模型，会让 7 个企业任务全部退步 4 到 30 个点。作者提出「在线策略专家修正」：只让专家改写弱模型自己失败的那一轮。

任务：在 7 个企业级智能体（Agent）任务上，研究 harness 进化与轻量微调如何结合。
方法：先为弱模型进化 harness。再让专家只改写弱模型 rollout 中失败的那一轮。由元层面 MLE 智能体自动驱动。
关键数字：完整轨迹模仿在 7 个任务上退步 4 到 30 个点。涉及 Qwen3-Coder 与 Gemma 4。同一流程在未进化 harness 下反而有效。
数据与开源：摘要未给出。

大语言模型（LLM）在智能体任务中的表现，不只取决于权重。它还取决于围绕它的整套脚手架。

论文把系统提示词、工具集、执行钩子、上下文管理策略统称为 harness。

自动化的 harness 进化能让较小模型在特定领域任务上表现良好。其成本远低于前沿模型。

既然 harness 与模型权重都影响行为，一个自然问题是：两者应如何结合？

作者先在 7 个企业任务上用弱模型进化 harness。随后发现更强的专家模型用这套 harness 时表现更好。这暗示专家监督可能补上剩余差距。

但直接让弱模型模仿专家的完整轨迹，结果相反：性能全面退步。而同样的模仿流程在未进化的 harness 下却有效。这一对比指向 harness 与权重更新之间的冲突。

论文的方法分三步。

Harness 进化：先用弱模型在目标任务上进化 harness。这使其适配弱模型的原生规划风格。这是后续工作的基础。
诊断冲突根源：分析显示，模仿确实转移了知识。它也提高了 scaffold（脚手架工具）使用频率。问题出在适配性。弱模型采纳了专家的规划策略，却没有执行它的能力。同时它不再匹配围绕自身风格进化的 harness。
在线策略专家修正（On-Policy Expert Correction）：由元层面的 MLE（最大似然估计）智能体自动驱动。让弱模型在自己的 rollout 中执行任务。定位失败的那一轮。只请专家改写这一轮。其余部分保留弱模型自己的规划风格。

这样既保留了模型原有的规划方式，又同时获得 harness 进化与模型适配的收益。

完整轨迹模仿会适得其反：在全部 7 个企业任务上，Qwen3-Coder 与 Gemma 4 均退步 4 到 30 个点。同一流程在未进化 harness 下却有帮助。差异指向 harness 与模型更新的交互。
冲突机制已明确：模仿转移了知识，并增加 scaffold 使用。但它破坏了模型与 harness 的适配。弱模型学到了专家的计划却执行不了。它也不再匹配围绕自己风格进化的 harness。
在线策略专家修正有效：只修正失败轮次，保留原生规划风格。这能兼容 harness 进化与模型适配，形成协同增益。

摘要未给出具体性能数字、修正轮次比例、MLE 智能体的实现细节。也未说明该方法在不同任务类型上的效果差异。

企业领域智能体部署：想用更小、更便宜的模型完成客服、内部工具调用、数据分析等任务时，这条路径不必每次请专家标注完整轨迹。只需在关键失败点做局部修正。
Harness 与模型联合调优：许多团队分别优化提示词和微调模型。他们很少意识到两者可能互相干扰。论文提示：先改装备再改模型，顺序重要。改模型时要保留其与装备的匹配度。
数据高效的监督策略：相比完整轨迹模仿，只修正失败轮次在标注成本上更经济。专家只需关注出问题的那一步。