An Empirical Study of VLM Pipelines for Long-Document QA

一句话概括

这篇论文系统比较了长文档问答中视觉语言模型（VLM）流水线的三类关键设计选择——文档如何喂给模型、用哪种检索器、以及是否采用智能体式（agentic）流程——发现智能体流程只有在底层 VLM 足够强时才划算，检索的模态（图像 vs 文本）比具体用哪个检索器更重要，而不同强流水线各自擅长不同问题，存在明显的互补性。

问题背景

长文档处理正越来越多地交给视觉语言模型：输入不再是纯文本，而是文字、图表、表格、复杂版式混排的页面图像。但把 VLM 真正部署到长文档问答（QA）上时，工程上要面对一连串具体选择，而论文指出这些选择此前缺乏系统性的实证对照：

• 输入方式：是把整份文档的所有页面都送给模型，还是只送检索到的部分页面？
• 检索器选择：如果只送部分页面，用哪种检索器？检索的是图像页面还是抽取出的文本？
• 执行范式：让模型以智能体方式主动调用工具（翻页、查表、找图、搜索），还是走固定的静态流水线？

这些选择彼此耦合，且很可能随底层模型规模变化而改变最优解。论文的目标就是在一个受控的实验框架下，把这三类选择在多个基准和多个模型上逐一拆解。

方法要点

论文在两个长文档 QA 基准（MMLongBench-Doc 和 LongDocURL）上做对照实验，覆盖前沿 API 模型与开放权重 VLM 两类"阅读器"。

第一，智能体 vs 静态输入。 作者构建了一个六工具智能体，工具涵盖页面调用、表格调用、图像调用和搜索调用。把它与"静态页面输入"（直接把页面喂给模型）对比，并在不同规模的阅读器上重复：Qwen3.5-4B、9B、27B，以及 Sonnet 4.5。

第二，检索模态与检索器。 论文比较图像检索与文本检索两条路线，并在文本一侧对比"单个现成 cross-encoder 重排"与"更重的多阶段 LLM 流水线"。同时统计不同输入方式的 token 消耗。

第三，流水线互补性。 作者考察三条最强流水线在具体问题上的成功分布，并构造一个"每道题选最佳流水线"的 oracle 上界，用来衡量流水线之间的互补空间；此外还测试了按证据类型路由（evidence-type routing）能否逼近这个上界。

关键结论（仅基于摘要可合理推断的部分；不确定处标明「摘要未给出」）

智能体的收益取决于阅读器强度。 在 MMLongBench-Doc 上，六工具智能体的优势随阅读器变大而显现：Qwen3.5-4B 和 9B 时它反而落后于静态页面输入，27B 时追平，Sonnet 4.5 时领先。在 LongDocURL 上，它在每个阅读器上都与静态输入持平或更好。相对最强静态流水线的领先幅度，在前沿阅读器 + MMLongBench-Doc 的组合下最明显，到 LongDocURL 上则缩小到噪声范围内。这提示"上智能体"不是免费的午餐，弱模型调用工具反而可能引入额外错误。

检索模态比具体检索器更重要。 最强的图像检索器领先于最强的文本流水线；而在文本一侧，一个现成的 cross-encoder 重排基本就能追平重得多的多阶段 LLM 流水线。换句话说，选对"检索图像还是检索文本"这一层，收益大于在文本路线内部堆叠复杂组件。

图像 top-k 检索最省 token。 在作者配对的每个阅读器上，top-k 图像检索都是最省 token 的输入方式，约为"发送全部页面"的七分之一到四分之一。

强流水线之间存在互补。 三条最强流水线在不同问题上各自成功，一个"每题选最佳流水线"的 oracle 比最好的单条流水线高出约 13 个百分点；但按证据类型做路由几乎回收不到这部分增益。具体是哪些证据类型、路由为何失效，摘要未给出。

读后思考 / 适用场景

这篇论文的价值在于把"长文档 VLM 部署"从模糊的工程直觉变成可对照的经验结论。对实际系统设计者，最直接的启示有三点：

其一，先看模型再决定要不要上智能体。如果底层 VLM 只有几 B 参数，静态页面输入可能比花哨的工具调用更稳；只有当阅读器足够强（27B 以上或前沿 API 模型）时，智能体的翻页、查表、找图能力才开始兑现。

其二，优先在模态层面做决策。与其纠结用哪个文本检索器、要不要上多阶段 LLM 重排，不如先确认图像检索是否更适合当前文档类型——论文显示图像路线整体更强，且 token 成本低得多，这对有延迟和成本约束的生产系统尤其关键。

其三，别指望单条流水线通吃。不同强流水线擅长不同问题，说明长文档 QA 里"证据形态"差异很大（有的靠正文段落，有的靠表格数值，有的靠图）。适用场景上，这套结论对财报、科研论文、合同、技术手册等图文混排长文档的问答系统有直接参考意义。

局限与开放问题

• oracle 上界难以兑现：13 个百分点的互补空间很诱人，但按证据类型路由几乎回收不到，说明"如何判断该用哪条流水线"仍是开放问题。摘要未给出失败原因，也未说明是否尝试过其他路由信号（如问题类型、检索置信度）。
• 模型与基准范围有限：实验集中在两个基准和若干 Qwen3.5 规模及 Sonnet 4.5 上，结论能否外推到其他 VLM 家族、其他语言、其他文档领域，摘要未给出。
• 智能体成本未量化：论文强调图像 top-k 的 token 效率，但智能体多轮工具调用的总开销（token、延迟、失败重试）与静态输入相比如何，摘要未给出。
• "足够大"的阈值不精确：27B 追平、Sonnet 4.5 领先，但中间是否存在更细的规模-收益曲线、以及任务难度如何调节这一阈值，摘要未给出。
• 检索器对比的粒度：只提到"最强图像检索器"与"最强文本流水线"，具体检索器清单与实现细节摘要未给出，复现时需查正文。