An Empirical Study of VLM Pipelines for Long-Document QA

一句话概括

长文档问答中，智能体（agentic）流程只在底层视觉语言模型（Vision-Language Model, VLM）足够强时才划算；检索模态比具体检索器更重要，且强流水线之间互补。

速览

• 任务与方法：在两个长文档问答基准（MMLongBench-Doc、LongDocURL）上，对照三类设计选择——输入方式、检索器、执行范式。
• 关键数字：图像 top-k 检索的 token 消耗约为「发送全部页面」的 1/7 到 1/4；「每题选最佳流水线」的 oracle 比最强单条流水线高约 13 个百分点。
• 主要发现：智能体收益随阅读器变大而显现；最强图像检索器领先最强文本流水线；按证据类型路由几乎回收不到 oracle 增益。
• 数据与开源情况：摘要未给出。

问题背景

长文档处理的输入不再只是纯文本，而是文字、图表、表格与复杂版式混排的页面图像。VLM 正越来越多地承担这类任务。

但真正部署时，工程上要面对一连串具体选择，论文指出这些选择此前缺乏系统性的实证对照：

• 输入方式：送整份文档的所有页面，还是只送检索到的部分页面？
• 检索器选择：只送部分页面时用哪种检索器？检索图像页面还是抽取出的文本？
• 执行范式：让模型以智能体方式主动调用工具，还是走固定的静态流水线？

这些选择彼此耦合，且很可能随底层模型规模变化而改变最优解。论文的目标是在受控框架下，把三类选择在多个基准与多个模型上逐一拆解。

方法要点

论文在两个长文档问答基准上做对照实验，覆盖前沿 API 模型与开放权重 VLM 两类「阅读器」。

智能体 vs 静态输入。 作者构建了一个六工具智能体，工具涵盖页面调用、表格调用、图像调用和搜索调用。它与「静态页面输入」对比，并在不同规模的阅读器上重复：Qwen3.5-4B、9B、27B，以及 Sonnet 4.5。

检索模态与检索器。 论文比较图像检索与文本检索两条路线。文本一侧对比「单个现成 cross-encoder 重排」与「更重的多阶段 LLM 流水线」。同时统计不同输入方式的 token 消耗。

流水线互补性。 作者考察三条最强流水线在具体问题上的成功分布，并构造「每题选最佳流水线」的 oracle 上界，用来衡量互补空间。此外还测试按证据类型路由（evidence-type routing）能否逼近这个上界。

关键结论

智能体的收益取决于阅读器强度。

• 在 MMLongBench-Doc 上，六工具智能体的优势随阅读器变大而显现：Qwen3.5-4B 和 9B 时落后于静态页面输入，27B 时追平，Sonnet 4.5 时领先。
• 在 LongDocURL 上，它在每个阅读器上都与静态输入持平或更好。
• 相对最强静态流水线的领先幅度，在前沿阅读器 + MMLongBench-Doc 的组合下最明显，到 LongDocURL 上缩小到噪声范围内。

这提示「上智能体」不是免费的午餐，弱模型调用工具反而可能引入额外错误。

检索模态比具体检索器更重要。 最强的图像检索器领先于最强的文本流水线。在文本一侧，一个现成的 cross-encoder 重排基本就能追平重得多的多阶段 LLM 流水线。选对「检索图像还是检索文本」这一层，收益大于在文本路线内部堆叠复杂组件。

图像 top-k 检索最省 token。 在作者配对的每个阅读器上，top-k 图像检索都是最省 token 的输入方式，约为「发送全部页面」的 1/7 到 1/4。

强流水线之间存在互补。 三条最强流水线在不同问题上各自成功。一个「每题选最佳流水线」的 oracle 比最好的单条流水线高出约 13 个百分点。但按证据类型做路由几乎回收不到这部分增益。具体是哪些证据类型、路由为何失效，摘要未给出。

读后思考

这篇论文把「长文档 VLM 部署」从模糊的工程直觉变成可对照的经验结论。对实际系统设计者，最直接的启示有三点。

其一，先看模型再决定要不要上智能体。如果底层 VLM 只有几 B 参数，静态页面输入可能比工具调用更稳。只有当阅读器足够强（27B 以上或前沿 API 模型）时，智能体的翻页、查表、找图能力才开始兑现。

其二，优先在模态层面做决策。与其纠结用哪个文本检索器、要不要上多阶段 LLM 重排，不如先确认图像检索是否更适合当前文档类型。论文显示图像路线整体更强，且 token 成本低得多，这对有延迟和成本约束的生产系统尤其关键。

其三，别指望单条流水线通吃。不同强流水线擅长不同问题，说明长文档问答里「证据形态」差异很大：有的靠正文段落，有的靠表格数值，有的靠图。这套结论对财报、科研论文、合同、技术手册等图文混排长文档的问答系统有直接参考意义。

局限与开放问题

• oracle 上界难以兑现：13 个百分点的互补空间很诱人，但按证据类型路由几乎回收不到。如何判断该用哪条流水线仍是开放问题。摘要未给出失败原因，也未说明是否尝试过其他路由信号（如问题类型、检索置信度）。
• 模型与基准范围有限：实验集中在两个基准和若干 Qwen3.5 规模及 Sonnet 4.5 上。结论能否外推到其他 VLM 家族、其他语言、其他文档领域，摘要未给出。
• 智能体成本未量化：论文强调图像 top-k 的 token 效率，但智能体多轮工具调用的总开销（token、延迟、失败重试）与静态输入相比如何，摘要未给出。
• 「足够大」的阈值不精确：27B 追平、Sonnet 4.5 领先，但中间是否存在更细的规模-收益曲线，以及任务难度如何调节这一阈值，摘要未给出。
• 检索器对比的粒度：只提到「最强图像检索器」与「最强文本流水线」，具体检索器清单与实现细节摘要未给出，复现时需查正文。