RealCADBench: Benchmarking Parametric CAD Modeling from Industrial Design Intents

一句话概括

RealCADBench 是一个面向真实工业设计意图的意图到程序参数化 CAD 评测基准，包含 12,632 个工厂自动化任务。它用执行成功率、两种 IoU 和视觉语义一致性四个维度打分，结论是前沿大模型没有全能冠军。

任务与方法：12,632 个任务，来自 19 个工厂自动化品类，输入覆盖文本描述、2D 工程图、真实产品照片和渲染图像，输出为 FreeCAD API Python 程序，由共享运行时执行导出 3D 模型。
评测规模：完整评测切片为 1,770 个任务，其中 1,745 个 Part 任务分四个输入 regime，另有 25 个装配任务组成 RCB-Assm25。
关键数字：6 个前沿规模模型的 executability 为 0.565–0.812，Solid IoU 为 0.2841–0.5379，Surface IoU 为 0.112–0.217。
数据与开源情况：摘要未给出。

参数化 CAD（computer-aided design，计算机辅助设计）建模，本质是把设计意图翻译成一段可执行的建模脚本。大模型写代码能力提升后，人们希望它能读懂产品描述或工程图，自动生成 CAD 程序。

但评价这件事很难用单一指标完成。现有 CAD 基准多偏向合成数据或 CAD 原生格式，输入模态有限，指标也常只看可执行性（executability）和 IoU。

论文指出两个盲区：

因此作者想做一个更贴近工厂实际的基准：输入真实设计意图，输出可运行的 FreeCAD Python API 程序，再用多维度指标打分。

任务规模与来源：共 12,632 个任务，覆盖 19 个工厂自动化品类。每个任务组合四种输入模态：文本描述、2D 工程图、真实产品照片、渲染图像。任务分 Part（单零件）和 Assembly（装配体）两类。
评测切片：完整跑全部任务成本过高，作者划出 1,770 个任务的评测子集。其中 1,745 个 Part 任务按输入模态分成四个 regime；另有 25 个装配任务组成 RCB-Assm25，用于所有装配对比。
统一执行环境：所有方法都生成 FreeCAD API 的 Python 代码，由共享运行时执行并导出 3D 模型，保证「能不能跑」在同一环境下比较。
四维评价体系：① Executability，程序能否无错执行并导出模型；② Solid IoU，实体体积重叠度；③ Surface IoU，表面网格重叠度；④ Judge，基于评分规则（rubric）的视觉语义身份评估器，判断生成模型是否「看起来还是那个零件或装配」。
被测模型：9 个独立前沿大模型（standalone）和 6 个前沿规模大模型（frontier-scale），后者可能配合 agent 式工具调用。

没有模型四项全领先。在 9 个独立前沿大模型中，没有任何一个同时在 executability、Solid IoU、Surface IoU 和 Judge 上排第一。
执行率不等于建模质量。6 个前沿规模模型的 executability 为 0.565–0.812，但 Solid IoU 只有 0.2841–0.5379，Surface IoU 低至 0.112–0.217。程序能跑通，几何形状与真实零件差距仍大。
综合最优不是单项最优。按四个 regime 平衡后的综合分，第一名与四个单项指标的领先者都不是同一个模型。
装配场景下 agent 有得有失。在 RCB-Assm25 上，Codex 配合 GPT-5.5 相比单独使用 GPT-5.5，提升了 executability 和两个 IoU，但 Judge 分数下降 6.98 个百分点，GPT-5.5 仍是 Judge 领先者。
常见失败模式有三类：细小结构缺失（如螺纹孔、倒角）、零件身份丢失、装配位置错误。这些正是 IoU 类指标容易漏掉的错误。

这个基准的价值在于把评价维度从一维拉到四维。只关心程序能否生成时，executability 就够了；但真实工业里，程序能跑只是第一步，形状对不对、细节全不全、装配位置准不准，才是工程师验收的内容。

Judge 机制试图模拟「人看一眼就知道对不对」的验收方式。rubric 评分本身有主观性，但它确实抓住了 IoU 的盲区。

适用场景有两类：

用 FreeCAD API 作为统一输出格式是务实选择：开源、可脚本化、有 Python 接口，便于大规模自动执行，也降低了评测门槛。

评测子集规模偏小。1,770 个任务里 Part 占 1,745，装配只有 25 个。装配体建模更复杂、更贴近实际使用，25 个样本统计效力有限，摘要也把它称为一项 study。
Judge 的可靠性未充分展开。摘要未给出 Judge 与人类专家评分的一致性数据。若 Judge 本身有偏差，「Judge 分数下降 6.98 个百分点」这类结论需要打折扣。
输入模态的真实度边界不清。任务来自真实工业设计意图，但 2D 工程图和产品照片是否覆盖工厂里的各种图纸规范、拍摄角度和光照条件，摘要未给出细节。
IoU 指标在 CAD 上有固有局限。Solid IoU 和 Surface IoU 对微小特征不敏感，一个少了 0.5mm 倒角的模型，IoU 可能只差 0.001，人眼却能看出。作者因此引入 Judge，但 Judge 又带来新的主观性。
模型版本时效性。论文测的是 GPT-5.5 等模型，大模型迭代快，绝对分数会迅速过时。它的长期价值在评测框架本身，而非某一次具体排名。