EMON TECH MEDIA · PAPERS — DNA·52CD39

GRASP: Generating, Revising, and Assessing for Strategic Planning with Agentic AI

GRASP 把「复杂任务的自然语言可执行计划生成」拆成生成、修订、评估三个上下文隔离的阶段,用全局宏观准则约束局部策略探索,并用独立的多准则判别器筛选轨迹,从而在多个规划类基准上稳定超过直接让 LLM 出计划的基线,并在多任务并行时几乎消除性能退化。

发表日期

作者

Arunabh Srivastava, Mohammad A., Khojastepour, Srimat Chakradhar, Sennur Ulukus

影响力

88.4

阅读时长

约 6 分钟

标签

Agent

GRASP: Generating, Revising, and Assessing for Strategic Planning with Agentic AI

一句话概括

GRASP 把复杂任务的可执行计划生成拆成生成、修订、评估三个上下文隔离的阶段,在多个规划基准上稳定超过直接让 LLM 出计划的基线,并在多任务并行时抹平性能退化。

速览

  • 任务与方法:面向复杂任务的自然语言可执行计划生成,提出策略感知的多阶段规划框架 GRASP,含 GenPlan、RevPlan、VerPlan 三个上下文隔离模块。
  • 关键数字:Natural Plan Calendar Scheduling 提升约 12.4%,ZebraLogic 提升约 30.8%,交错双任务绝对准确率提升最高达 16.7%,超过 GPT-5-mini 14.5 个百分点。
  • 多任务表现:标准规划器在多任务扩展下出现性能崩溃,GRASP 抹平了多任务退化惩罚。
  • 数据与开源:SciBench Math 上也有提升,但具体数值摘要未给出;数据集规模、基线配置、开源情况摘要未给出。

问题背景

LLM 的能力不随任务复杂度线性增长。任务越复杂、约束越多、需要协调的子目标越多,模型可靠性反而下降。

规划任务尤其明显:模型要输出一段可执行的自然语言计划,既要满足全局目标,又要在每一步做局部合理的选择。

直接让 LLM 一次性生成计划有几个结构性弱点:

  1. 全局目标与局部决策混在同一上下文,长链条中容易丢失早期约束。
  2. 单一采样路径没有备选方案,某一步走偏后错误沿链条累积。
  3. 缺少独立评估环节,生成者与评估者同源时,模型倾向认可自己刚写出的内容。

作者的核心判断是:与其让一个模型在一个上下文里同时做所有事,不如把规划流水线解耦成职责单一、上下文互相隔离的模块。这既是对「上下文污染」的对策,也是工程上的分工。

方法要点

GRASP 是策略感知(strategy-aware)的多阶段规划框架,包含三个模块。

GenPlan(生成):预先编译全局的宏观准则(macro-guidelines)。它不针对某一步动作,而是先确定整个计划应遵循的高层策略与约束,相当于给后续局部决策设定一部「宪法」。

RevPlan(修订):在相互隔离的上下文窗口中探索不同的局部策略。每个候选策略在独立上下文里展开,彼此不干扰,避免了单一上下文里的路径依赖。产出是若干条可比较的候选轨迹。

VerPlan(评估):用独立的多准则判别器(multi-criteria discriminator)给候选轨迹打分。判别器与生成过程分离,因此能相对中立地比较不同策略,而不是复述生成时的偏好。

整体逻辑:先定宏观规则,再在隔离环境里试探局部走法,最后用独立裁判挑出最优轨迹。作者强调的「严格宏观正则化」(strict macro-regularization)指宏观准则对局部探索形成强约束,防止修订阶段跑偏。

关键结论

摘要给出的量化结果如下:

  • Natural Plan Calendar Scheduling:相对直接 LLM planner 提升约 12.4%。
  • ZebraLogic:提升约 30.8%。
  • SciBench Math:也有提升,摘要未给出具体数值。
  • 多任务扩展:标准规划器出现性能崩溃,GRASP 完全抹平多任务退化惩罚。
  • 交错双任务环境:相对直接 LLM planner 的绝对准确率提升最高达 16.7%。
  • 通过上下文隔离与严格宏观正则化,GRASP 超过前沿推理模型(如 GPT-5-mini)14.5 个百分点。

需要谨慎的地方:

  • 摘要未说明这些数字对应的指标定义,是精确匹配、执行成功率还是别的。
  • 数据集规模、基线配置、方差与多次运行的稳定性信息,摘要未给出。
  • 「完全抹平」是强表述,摘要未给出其量化口径。
  • 14.5% 对比中 GPT-5-mini 的具体设置摘要未给出,是否同等上下文预算无法判断,比较公平性无法从摘要确认。

读后思考

GRASP 的思路不算全新。「生成者与评估者分离」「先定策略再定动作」在规划与强化学习里都有对应传统。

它的价值在于把这套分工用上下文隔离的方式落到 LLM 上,并给出跨多个基准的一致收益。

这提示一个可能:当前 LLM 规划失败的主要来源或许不是「不会推理」,而是「在一个上下文里同时承担太多角色」。

适用场景上,最直接的是需要输出可执行步骤序列的任务:日程排布、约束满足类谜题、带计算的科学问题求解。

多任务场景下的收益尤其值得注意。如果 GRASP 真能在并行任务增多时保持不退化,它对需要同时处理多个规划请求的 agent 系统就有实际工程意义。

局限与开放问题

  1. 多阶段流水线意味着多次模型调用,推理成本与延迟会高于单次直接生成。摘要未给出成本或 token 消耗对比,「性能提升是否值得这些额外开销」无法判断。
  2. VerPlan 的判别器本身也是模型。它的评判标准从何而来、是否可被生成模块迎合、在分布外任务上是否可靠,摘要未给出。判别器一旦有系统性偏差,筛选环节会放大这种偏差。
  3. 宏观准则的质量依赖任务先验。结构清晰的任务容易写出有效准则,但开放域、目标本身模糊的任务上,宏观准则可能反而成为束缚。摘要未讨论这类任务的表现。
  4. 摘要报告的提升幅度较大,但缺少对基线提示工程强度的说明。如果基线是朴素单次提示,部分收益可能来自「多阶段」这一形式本身,而非 GRASP 的具体设计。要确认各模块的独立贡献需要消融实验,摘要未给出。
  5. 多任务「完全抹平退化」这一结论如果成立会很有意思,但机制解释缺失:是上下文隔离起作用,还是宏观准则提供了跨任务的一致锚点?这值得后续工作拆解。

本页为科普精读;细节以 arXiv 原文为准。就本篇提问请点左下角「论文研读助手」。