CyberFactory: Scaling Cyber Security Capabilities with Instances from the Wild
一句话概括
CyberFactory 把公开 CVE 转成可执行、可验证的安全任务，并用技能引导的教师模型合成智能体轨迹，训练出安全专用模型 Aegis。Aegis 在 CyberGym 上取得 52.4% 的 Pass@1，比其 Qwen 3.5 基础模型高 22.8 个百分点。
速览
- 任务与方法：统一开源框架，连接数据构造、轨迹合成与模型训练，覆盖 PoC 生成、漏洞修补、CyberQA 三类任务。
- 关键数字：Aegis 在 CyberGym 上 1 小时预算内 Pass@1 为 52.4%，较 Qwen 3.5 基础模型提升 22.8 个百分点。
- 开源情况：论文将 CyberFactory 定位为统一开源框架，并称训练后发布 Aegis；具体仓库与许可摘要未给出。
- 数据来源：任务实例由公开漏洞工件（含野生 CVE）自动转化而来；数据规模摘要未给出。
问题背景
大语言模型（LLM）的代码能力在提升，网络安全被视为其重要应用方向。闭源模型（如 Mythos）已展现较强的攻防能力，开源社区则明显落后。
摘要指出三个痛点：
- 前沿开源权重模型没有可复现的安全训练方案，数据与流程不透明。
- 已有开源方案聚焦孤立任务，缺少可扩展的智能体数据。
- 扩展智能体 rollout 需要强领域先验，普通研究者难以自建环境。
也就是说，开源社区缺的不是参数量，而是一条从野生数据到可训练轨迹的完整流水线。
方法要点
CyberFactory 的设计分三层。
数据构造层：从公开漏洞工件（含野生 CVE）中提取素材，自动转成可执行、可验证的任务实例。每个实例附带真实环境与验证脚本，模型完成后可自动判定对错。
轨迹合成层：用一个可复用的漏洞分析技能引导教师模型，流程为三步——源码审查（source inspection）、基于领域先验的问题求解、基于证据的验证。该技能不绑定具体漏洞，是一套通用分析流程。
训练层：教师模型与工具和目标环境交互，依据执行反馈修正方案，产出智能体轨迹（agentic trajectories）。这些轨迹用于训练学生模型 Aegis。Aegis 在推理时不需要技能提示，技能已内化进权重。
框架统一覆盖三类任务：PoC 生成、漏洞修补、CyberQA。
关键结论
- 性能提升：Aegis 在 CyberGym 上 1 小时预算内 Pass@1 为 52.4%，比 Qwen 3.5 基础模型高 22.8 个百分点。
- 优于通用骨干：在相同 scaffold 下，Aegis 超过被评估的通用基础模型，说明安全专用训练带来独立增益。
- 开源可复现：CyberFactory 连接数据构造、轨迹合成与模型训练，回应了开源方案缺乏可复现性的问题。
- 技能可内化：训练后模型推理时无需显式技能提示，这条蒸馏路径有效。
摘要未给出的信息：Aegis 参数量、训练数据规模、三类任务各自的准确率、与闭源 Mythos 的直接对比数字。
读后思考
这篇工作的价值不在“又训了一个安全模型”，而在解决智能体数据稀缺的思路：用可复用的领域技能引导教师模型，把专家知识转成可学习轨迹。该思路可迁移到代码审计、二进制逆向等需要专业能力的场景。
适用人群：
- 安全研究者：获得可复现基线，无需从零搭建漏洞环境。
- LLM 训练工程师：参考如何从野生数据构造高质量智能体训练集。
- 企业安全团队：私有化部署开源权重模型，可控性高于闭源 API。
“从野生 CVE 到可验证实例”的自动化管线，对漏洞情报到自动化验证的环节也有参考意义。
局限与开放问题
- 数据质量与时效：CVE 存在重复、误报、质量参差。如何过滤低质量漏洞？对 0-day 是否有效？摘要未给出清洗策略。
- 评估基准偏向：CyberGym 是自建还是第三方基准？若评估与训练同源，提升可能含过拟合成分。摘要未说明评估集构造。
- 滥用风险：PoC 生成能力越强，被恶意使用的风险越高。是否讨论滥用防范？摘要未提及。
- 技能可迁移性：当前只有漏洞分析一种技能。换到云安全配置核查等场景，是否只需替换技能描述？这决定它是框架还是特例。
- 训练成本：轨迹合成需大量环境交互，开销不低。摘要未给出 GPU 资源或时间，这是可复现性的关键变量。