DiscoveryRSI: Recursively Learning to Discover Valuable Hypotheses
一句话概括
DiscoveryRSI 让多智能体系统在“提出假设—执行研究—复盘改进”的循环中递归学习，从而持续提升科研假设的质量与可检验性。
速览
- 任务：面向科学发现，自动生成有价值且可检验的研究假设，并把它推进为可执行的研究任务。
- 方法：多智能体演化搜索构建假设树，再把选中的研究编译为可执行的 Harbor 任务，并通过 3 种机制递归学习。
- 关键数字：在 4 个生命科学领域，假设质量从基线模型的 4.86 升至两轮自我改进后的 5.39；与模型截止后发表研究的假设对应率为 6.3%。
- 数据与开源：论文提出评测基准 DFM-Bench；开源情况摘要未给出。
问题背景
科学发现不只靠“想出一个点子”，还要把有价值的假设发展成可执行的研究。难点在于：如何从这一不断演化的研究过程中学习。
作者给出“有价值且可检验假设”的操作性定义，包含 4 个要素：
- 针对重要不确定性、有证据支撑的主张；
- 配套可行的研究方案；
- 明确的判定标准；
- 备择解释。
这一定义把“好假设”从主观判断转为可评估对象，也为后续自动评测提供依据。
方法要点
DiscoveryRSI 的流程可分为“生成—执行—学习”三层。
- 假设树与演化搜索：多智能体通过演化搜索扩展假设树，形成可比较、可修订的假设集合。
- 可执行任务：把选中的研究方案编译为可执行的 Harbor 任务，使假设进入实际研究流程。
- 递归学习 3 机制：
- 假设信用优化（hypothesis credit optimization）：把科学评估归因到有记录的研究贡献上。
- 流程回放（harness replay）：识别高产策略与反复出现的失败，用于改进研究流程。
- 再发现（rediscovery）：把已接受的改进应用到新研究，产生新经验供后续学习。
评测侧，作者提出 DFM-Bench，在假设、修订、发展路径与研究运行 4 个层面评估假设质量与累积研究进展。
关键结论
- 假设质量提升：4 个生命科学领域中，自动评估从基线 4.86 升至两轮自我改进后的 5.39。
- 提升集中在可证伪性与数据可解析性两个维度。
- 专家评审初步显示：DiscoveryRSI-27B 在假设重要性、主张可信度与证据边界上优于 GPT-6 Luna。
- 与模型截止后发表研究的假设对应率：DiscoveryRSI-27B 为 6.3%，GPT-6 为 2.5%，Claude Opus 5 为 2.3%。
- 人类评审还认为，它在研究路径上的改进幅度更大。
读后思考
这篇工作的价值在于把“科研智能体”从单次生成推向闭环学习。假设树提供结构化的搜索空间，Harbor 任务把想法变成可执行实验，3 种学习机制则把评估信号转化为流程改进。
值得注意的是“信用归因”：若不能把好坏结果对应到具体研究贡献，递归学习容易退化为盲目试错。DFM-Bench 的多层评估设计，也回应了“只看最终结论”的评测偏差。
局限与开放问题
- 领域覆盖：实验限于 4 个生命科学领域，跨学科泛化性摘要未给出。
- 评测规模：专家评审为“初步”人类评估，样本量与评审一致性摘要未给出。
- 对应率解读：6.3% 的“与后续发表对应”不等于假设正确，需区分巧合、部分重合与实质贡献。
- 开源与复现：代码、数据与 DFM-Bench 的开放情况摘要未给出。
- 长期风险：递归自我改进是否会收敛到同质化假设，摘要未给出相关分析。