SwarmEvolve: Latent Agent Swarms for Evolutionary Discovery and Optimization

一句话概括

SwarmEvolve 让数百个低成本智能体在潜空间而非文本中推理与交流，用 KV 缓存传递信息，在 21 个数学与科学计算问题上取得最高平均分，并以 3 至 8 分钟中位时间达到其他先进框架 60 分钟的成绩。

速览

• 任务：面向数学发现与科学计算的程序搜索与优化，属于 LLM 引导的进化式搜索。
• 方法：每轮数百个低成本智能体组成群体，在潜空间推理、不解码为文本，通过传递 KV 缓存（KV cache）共享信息。
• 关键数字：在 21 个问题上平均分最高；达到其他先进框架 60 分钟成绩的中位时间为 3 至 8 分钟。
• 数据与开源：摘要未给出数据集与代码开源情况。

问题背景

LLM 引导的进化搜索用 AI 智能体改进程序。做法是迭代精炼解，并组合高分方法。

瓶颈在速度。LLM 每轮都要生成很长的文本思维链（chain of thought），且为维持种群多样性必须反复生成。这使整个过程偏慢。

方法要点

• 群体分工：每轮数百个低成本智能体，分成多个群体（swarm），各自从不同角度研究问题。
• 潜空间推理：智能体在潜空间（latent space）中推理，不把中间过程解码成文本，省去逐轮长文本生成。
• 缓存通信：智能体之间通过传递 KV 缓存共享信息，而非交换自然语言。
• 新颖性过滤：直接度量智能体隐藏状态向量之间的距离，保留差异最大的想法。
• 潜空间交叉：汇总智能体接收所有群体成员合并后的 KV 缓存，想法交叉在潜空间中自然发生。

关键结论

• 在 21 个数学发现与科学计算问题上，SwarmEvolve 取得最高平均分。
• 达到其他先进框架 60 分钟才能取得的最佳分数，SwarmEvolve 中位只需 3 至 8 分钟。
• 在若干问题上，搭配 Qwen3 8B 的 SwarmEvolve 改进了 AlphaEvolve 最初用前沿 LLM 找到的解。
• 作者结论：在潜空间通信的智能体群体，为科学问题的程序搜索提供了快速、低成本路径。

读后思考

这篇工作的核心赌注是「不解码」。文本思维链既是 LLM 表达推理的手段，也是开销来源。SwarmEvolve 把推理留在隐藏状态里，用 KV 缓存当通信媒介，等于把「讨论」变成向量层面的拼接与汇总。

由此带来两个值得关注的设计。其一，新颖性过滤在隐藏状态空间度量距离，绕开了文本去重，但距离是否等价于「想法不同」，摘要未给出验证。其二，汇总智能体接收合并缓存，交叉无需显式提示词工程，这可能是效率提升的主要来源。

另一个信号是模型规模。Qwen3 8B 这类小模型在部分问题上超过前沿 LLM 的早期结果，说明框架设计可能比单模型能力更关键。

局限与开放问题

• 可解释性：潜空间推理不产出文本，人类难以审查中间思路，摘要未讨论。
• 距离度量的有效性：隐藏状态距离能否代表想法差异，摘要未给出分析。
• 泛化边界：21 个问题的构成与难度分布，摘要未给出。
• 成本口径：3 至 8 分钟与 60 分钟的对比是否含同等算力预算，摘要未给出。
• 开源与复现：代码与数据是否公开，摘要未给出。