FrontierPhysics: Evaluating Agents for End-to-End Physics Research

一句话概括

FrontierPhysics 用 42 位物理学家自研的 56 个端到端任务评测 AI 智能体，发现最强配置在 168 次运行中也仅通过不超过 46 次。瓶颈在于推理不够严谨、缺乏专家直觉，而非物理知识或执行错误。

速览

• 任务：端到端物理研究基准，要求智能体完成文献调研、研究规划、研究实验、结构化输出与论文撰写。
• 规模：56 个任务，覆盖理论、计算、实验物理共 9 个领域，由 42 位物理学家基于自身研究设计。
• 评测：确定性验证器（deterministic verifier）与专家撰写评分量表（rubric）结合，同时考察正确性与可发表性。
• 结果：22 个模型、26 种配置中，无配置在 168 次运行中通过超过 46 次；数据与开源情况摘要未给出。

问题背景

AI 智能体（AI agent）在物理研究中的角色日益重要。但现有物理基准多只考察固定题目、孤立子任务，或给定解法的论文复现。这类评测很少同时检查研究质量与正确性。换言之，智能体能否独立走完从选题到成稿的完整研究流程，此前缺少统一标尺。FrontierPhysics 正是为填补这一空白而提出。

方法要点

• 任务来源：42 位物理学家依据自己的真实研究设计 56 个任务，保证问题贴近一线科研。
• 领域覆盖：横跨理论、计算、实验物理共 9 个领域，兼顾不同研究范式。
• 流程要求：智能体需依次完成文献综述、研究计划、研究与实验、结构化输出、科学论文撰写。
• 双重评价：确定性验证器负责客观正确性判定，专家评分量表负责研究质量与可发表性判断。

关键结论

• 整体通过率低：22 个模型、26 种配置中，最佳配置在 168 次运行里通过不超过 46 次。
• 失败原因定位：人工审阅智能体轨迹（trajectory）显示，前沿智能体的主要短板是推理不够严谨、专家直觉有限。
• 非知识或执行问题：物理知识缺口与执行错误并非主要瓶颈，说明「会做题」不等于「会做研究」。

读后思考

该基准把评测重心从「答对题」推向「做出可发表的研究」，这与科研智能体的真实使用场景更接近。双重评价设计值得注意：确定性验证器保证可复现，专家量表捕捉质量维度，两者互补。结果也提示，提升智能体的推理严谨性与领域直觉，可能比继续扩充知识库更关键。对科研工作者而言，这类基准可作为判断智能体能否真正参与研究的参考。

局限与开放问题

• 规模有限：56 个任务虽由专家设计，但覆盖广度与统计效力是否足够，摘要未给出讨论。
• 评分主观性：专家评分量表的质量判定一致性如何保证，摘要未给出。
• 可复现性：数据与代码是否开源，摘要未给出。
• 开放问题：如何针对性提升推理严谨性与专家直觉，仍是待解方向。