TREK: A Travel Reasoning and Evaluation Kit for LLM Agents in Complex Trip Planning

一句话概括

TREK 是一个专为 LLM 智能体设计的旅行规划评测基准，包含 800 个多约束任务和完全确定性的规则评估器，用于严格测试智能体能否生成同时满足可行性、无幻觉、时空可执行、预算合规及用户隐性需求的完整行程方案。

问题背景

旅行规划对 LLM 智能体而言是一项极具挑战性的压力测试。一个可用的行程单必须同时在多个维度上正确：每一段航班、酒店和景点都必须真实存在且可预订，每天的路线在物理上必须可行，总花费不能超出预算，同时还要服务于旅行者那些只被部分表述的隐性需求。现有的智能体评测基准往往一次只奖励其中某个属性，并且使用软性评分或 LLM 自身来评判最终输出。这种做法的根本问题在于：它无法保证返回的计划是真正可执行的，而且结果既不可复现，也无法审计。换句话说，一个在评测中得分很高的智能体，实际生成的行程可能根本走不通，或者包含大量虚构信息。TREK 正是为了填补这一空白而设计的——它要求智能体一次性生成一个在多个约束条件下都正确的完整行程，并用完全确定性的规则来打分，确保评测的严格性和可复现性。

方法要点

TREK 的核心设计围绕三个关键部分展开：

1. 合成知识库与工具沙箱
TREK 构建了一个内部一致的合成知识库，包含 212,530 条记录，覆盖 375 个城市和 13 种旅行者画像（如商务旅客、背包客、家庭出游等）。所有数据通过一套模拟真实生产环境的 RESTful API 提供服务，智能体必须像调用真实工具一样使用这些 API 来获取信息、预订资源。

2. 800 个多约束任务
任务分为两类：533 个可解任务和 267 个被证明不可解的任务（不可解原因包括路线冲突、实体不可用、预算超支等）。每个任务都附带一个经过人工验证的黄金参考方案，该方案在确定性评估器下得分为 1.0（满分），这意味着天花板是明确可达的——任何智能体未能达到满分，都归因于其自身能力不足，而非评估标准过于严苛。

3. 完全确定性的规则评估器
这是 TREK 最突出的设计选择。评估器不依赖任何 LLM 裁判，而是基于硬性规则对九个约束维度进行逐项检查：所有实体必须真实存在且可预订、时空顺序必须合理、预算必须合规、行程必须满足旅行者的隐性需求等。这种设计确保了评测结果的可复现性和可审计性——任何人都可以用同样的规则重新验证智能体的输出。

关键结论（仅基于摘要可合理推断的部分；不确定处标明「摘要未给出」）

最强智能体表现有限：在 15 个被评估的 LLM 智能体中，表现最强的（GPT-5.6）也仅在 46.2% 的可解任务中生成了完全可行的计划。这意味着即使是最先进的模型，在超过一半的情况下都无法一次性满足所有约束条件。
中位数表现极低：所有智能体的中位数成功率仅为 6.6%，最低为 0.0%。这表明大多数智能体在旅行规划这一复杂任务上表现糟糕，远未达到实用水平。
隐性需求是普遍瓶颈：满足旅行者未明确表述的隐性需求成为所有智能体的共同短板，即使是前沿模型也未能解决这一问题。（摘要未给出具体失败率分布，但明确指出这是「universal bottleneck」）
不可解任务的检测能力：由于 TREK 包含了明确标注为不可解的任务，智能体需要具备识别任务不可解的能力，而不仅仅是生成一个看似合理的计划。（摘要未给出智能体在不可解任务上的具体表现数据）

读后思考 / 适用场景

TREK 的设计思路对 LLM 智能体评测领域具有重要的方法论启示。它用合成数据解决了真实数据难以获取、难以标注的问题，同时通过确定性评估器彻底消除了「用 LLM 评 LLM」带来的不可靠性和不可复现性。这种「天花板明确、差距可归因」的评测框架，让研究者能够清晰地定位智能体的具体短板——是工具调用能力不足、约束推理能力弱，还是对用户隐性需求的理解不到位。

适用场景包括：

旅行规划产品：任何希望用 LLM 自动化生成行程的应用，都可以用 TREK 作为能力验证基准。
智能体通用能力评测：TREK 的九个约束维度实际上涵盖了工具使用、多步推理、约束满足、用户建模等多个核心能力，可以作为更广泛智能体评测的参考。
模型对比与迭代：研究者可以用 TREK 来对比不同模型或不同提示策略在复杂规划任务上的表现差异。

局限与开放问题

尽管 TREK 在评测严谨性上做出了重要贡献，但仍有一些值得探讨的局限：

1. 合成数据的生态效度
TREK 使用合成知识库，虽然保证了内部一致性，但现实世界的旅行数据远比合成数据复杂——航班时刻可能临时变更、酒店价格实时浮动、景点开放时间随季节调整。合成数据无法完全模拟这种动态性和不确定性。

2. 隐性需求的建模方式
摘要提到「满足旅行者未陈述的隐性需求」是最大瓶颈，但未详细说明这些隐性需求是如何定义和编码的。如果隐性需求的标注本身带有主观性，那么评估的客观性可能会受到一定影响。

3. 确定性评估的覆盖范围
九个约束维度是否足以覆盖所有重要的旅行规划质量维度？例如，行程的「合理性」——一个在规则上完全正确的行程，可能在直觉上并不合理（比如为了省钱而让旅行者每天换酒店）。确定性规则可能无法捕捉这类「软性」质量问题。

4. 从评测到训练的鸿沟
TREK 是一个评测基准，但如何将评测中发现的短板转化为模型训练的具体改进方向，仍然是一个开放问题。特别是「隐性需求理解」这一瓶颈，可能需要新的训练范式来解决。