TCSExam: Evaluating Frontier LLMs on the Full Range of TCS Research

一句话概括

TCSExam 是覆盖理论计算机科学（theoretical computer science, TCS）全谱系的统一评测框架与基准，同时考察定理证明、求解器工程、构造任务与开放猜想攻坚。GPT-6 Astra 在完整集领先，Opus 5.5 在精简集领先。

速览

• 任务：构建 TCSExam 框架，评测前沿大语言模型（large language models, LLMs）在 TCS 研究全范围内的表现。
• 规模：完整集含 100 个专家评审任务；精简集选 20 个任务，每条赛道 5 个，任务尝试量减少 80%。
• 验证：提交由 Lean 内核或可执行任务检查器核验。
• 数据与开源：摘要称提供任务来源、Docker 构建配方与评测工具；具体开源许可摘要未给出。

问题背景

LLM 能否推进理论计算机科学、乃至解决长期悬而未决的猜想，是一个待检验的问题。

现有评测多聚焦单一能力，缺少覆盖 TCS 研究全谱系的统一框架。

TCSExam 的出发点是把「具体研究产出」与「向长期目标的进展」放在同一评测中衡量。

方法要点

• 四条赛道：定理证明、求解器工程、构造任务、直接攻坚开放猜想。
• 双集设计：TCSExam-Full 含 100 个专家评审任务；TCSExam-Lite 含 20 个任务，每条赛道 5 个。
• 精简逻辑：Lite 在单次尝试预算不变的前提下，把任务尝试次数减少 80%。
• 自动核验：提交经 Lean 内核或可执行任务检查器检查，降低人工判分依赖。
• 综合指标：TCSExam Index 汇总四条赛道成绩。
• 评测对象：8 个智能体（agent）在 Full 上评测，9 个在 Lite 上评测。

关键结论

• 完整集排名：GPT-6 Astra 以 71.9 居首。
• 精简集排名：Opus 5.5 以 72.3 居首。
• 两集一致性：8 个共同智能体的排名强相关，Spearman's ρ=0.93，支持 Lite 作为紧凑且有区分度的基准。
• 研究产出：评测产生了改进的求解器输出与数学构造，以及经独立验证的开放猜想特例与界。
• 可复现性：框架提供任务来源、Docker 构建配方与评测工具，便于扩展与复现。

读后思考

把「解猜想」纳入基准，是把评测目标从技能测试推向研究前沿。

Lean 内核与可执行检查器让判分可机器复核，这对数学类基准的可信度很关键。

ρ=0.93 的强相关说明，小规模精选集可能替代全量评测，降低算力成本。

但摘要只报告了排名与相关性，未说明各赛道分项差异，能力画像仍不清晰。

局限与开放问题

• 摘要未给出各赛道分项得分，无法判断模型强弱分布。
• 100 个任务对「全谱系」的代表性，摘要未给出覆盖度分析。
• 开放猜想攻坚的「特例与界」如何界定研究价值，摘要未给出评判标准。
• 基准是否会被训练数据污染，摘要未给出防泄漏设计。
• Lite 与 Full 的高相关基于 8 个共同智能体，样本量偏小，泛化性待验证。
• 任务来源与 Docker 配方的具体开放范围，摘要未给出。