GRASP: Generating, Revising, and Assessing for Strategic Planning with Agentic AI
一句话概括
GRASP 把复杂任务的可执行计划生成拆成生成、修订、评估三个上下文隔离的阶段,在多个规划基准上稳定超过直接让 LLM 出计划的基线,并在多任务并行时抹平性能退化。
速览
- 任务与方法:面向复杂任务的自然语言可执行计划生成,提出策略感知的多阶段规划框架 GRASP,含 GenPlan、RevPlan、VerPlan 三个上下文隔离模块。
- 关键数字:Natural Plan Calendar Scheduling 提升约 12.4%,ZebraLogic 提升约 30.8%,交错双任务绝对准确率提升最高达 16.7%,超过 GPT-5-mini 14.5 个百分点。
- 多任务表现:标准规划器在多任务扩展下出现性能崩溃,GRASP 抹平了多任务退化惩罚。
- 数据与开源:SciBench Math 上也有提升,但具体数值摘要未给出;数据集规模、基线配置、开源情况摘要未给出。
问题背景
LLM 的能力不随任务复杂度线性增长。任务越复杂、约束越多、需要协调的子目标越多,模型可靠性反而下降。
规划任务尤其明显:模型要输出一段可执行的自然语言计划,既要满足全局目标,又要在每一步做局部合理的选择。
直接让 LLM 一次性生成计划有几个结构性弱点:
- 全局目标与局部决策混在同一上下文,长链条中容易丢失早期约束。
- 单一采样路径没有备选方案,某一步走偏后错误沿链条累积。
- 缺少独立评估环节,生成者与评估者同源时,模型倾向认可自己刚写出的内容。
作者的核心判断是:与其让一个模型在一个上下文里同时做所有事,不如把规划流水线解耦成职责单一、上下文互相隔离的模块。这既是对「上下文污染」的对策,也是工程上的分工。
方法要点
GRASP 是策略感知(strategy-aware)的多阶段规划框架,包含三个模块。
GenPlan(生成):预先编译全局的宏观准则(macro-guidelines)。它不针对某一步动作,而是先确定整个计划应遵循的高层策略与约束,相当于给后续局部决策设定一部「宪法」。
RevPlan(修订):在相互隔离的上下文窗口中探索不同的局部策略。每个候选策略在独立上下文里展开,彼此不干扰,避免了单一上下文里的路径依赖。产出是若干条可比较的候选轨迹。
VerPlan(评估):用独立的多准则判别器(multi-criteria discriminator)给候选轨迹打分。判别器与生成过程分离,因此能相对中立地比较不同策略,而不是复述生成时的偏好。
整体逻辑:先定宏观规则,再在隔离环境里试探局部走法,最后用独立裁判挑出最优轨迹。作者强调的「严格宏观正则化」(strict macro-regularization)指宏观准则对局部探索形成强约束,防止修订阶段跑偏。
关键结论
摘要给出的量化结果如下:
- Natural Plan Calendar Scheduling:相对直接 LLM planner 提升约 12.4%。
- ZebraLogic:提升约 30.8%。
- SciBench Math:也有提升,摘要未给出具体数值。
- 多任务扩展:标准规划器出现性能崩溃,GRASP 完全抹平多任务退化惩罚。
- 交错双任务环境:相对直接 LLM planner 的绝对准确率提升最高达 16.7%。
- 通过上下文隔离与严格宏观正则化,GRASP 超过前沿推理模型(如 GPT-5-mini)14.5 个百分点。
需要谨慎的地方:
- 摘要未说明这些数字对应的指标定义,是精确匹配、执行成功率还是别的。
- 数据集规模、基线配置、方差与多次运行的稳定性信息,摘要未给出。
- 「完全抹平」是强表述,摘要未给出其量化口径。
- 14.5% 对比中 GPT-5-mini 的具体设置摘要未给出,是否同等上下文预算无法判断,比较公平性无法从摘要确认。
读后思考
GRASP 的思路不算全新。「生成者与评估者分离」「先定策略再定动作」在规划与强化学习里都有对应传统。
它的价值在于把这套分工用上下文隔离的方式落到 LLM 上,并给出跨多个基准的一致收益。
这提示一个可能:当前 LLM 规划失败的主要来源或许不是「不会推理」,而是「在一个上下文里同时承担太多角色」。
适用场景上,最直接的是需要输出可执行步骤序列的任务:日程排布、约束满足类谜题、带计算的科学问题求解。
多任务场景下的收益尤其值得注意。如果 GRASP 真能在并行任务增多时保持不退化,它对需要同时处理多个规划请求的 agent 系统就有实际工程意义。
局限与开放问题
- 多阶段流水线意味着多次模型调用,推理成本与延迟会高于单次直接生成。摘要未给出成本或 token 消耗对比,「性能提升是否值得这些额外开销」无法判断。
- VerPlan 的判别器本身也是模型。它的评判标准从何而来、是否可被生成模块迎合、在分布外任务上是否可靠,摘要未给出。判别器一旦有系统性偏差,筛选环节会放大这种偏差。
- 宏观准则的质量依赖任务先验。结构清晰的任务容易写出有效准则,但开放域、目标本身模糊的任务上,宏观准则可能反而成为束缚。摘要未讨论这类任务的表现。
- 摘要报告的提升幅度较大,但缺少对基线提示工程强度的说明。如果基线是朴素单次提示,部分收益可能来自「多阶段」这一形式本身,而非 GRASP 的具体设计。要确认各模块的独立贡献需要消融实验,摘要未给出。
- 多任务「完全抹平退化」这一结论如果成立会很有意思,但机制解释缺失:是上下文隔离起作用,还是宏观准则提供了跨任务的一致锚点?这值得后续工作拆解。