PACE: A Unified Condense-and-Extract Paradigm for Fast VLM Inference

一句话概括

PACE 提出了一种无需训练的视觉语言模型（VLM）推理加速框架，通过“先压缩像素、再抽取关键 token”的两阶段统一范式，同时优化视觉编码器和 LLM 阶段的计算开销，在仅保留 10% 视觉 token 的情况下维持了 93.8% 的原始性能，并将首 token 延迟（TTFT）加速 3.1 倍。

问题背景

当前 VLM（如 Qwen2.5-VL、LLaVA 系列）在视觉推理任务上表现优异，但推理成本随视觉 token 数量急剧膨胀。一张高分辨率图像经过视觉编码器后可能产生数千个 token，这些 token 全部送入 LLM 后，自注意力计算的复杂度呈平方级增长，导致延迟和显存开销居高不下。

已有的视觉 token 剪枝方法（如基于注意力分数或相似度聚类的筛选）存在两个根本性缺陷：其一，绝大多数方法只在视觉编码器之后操作，即“生米煮成熟饭”——编码阶段已经消耗了大量计算资源，剪枝只节省了 LLM 部分的开销；其二，在严格的 token 预算下（例如只保留 10% 的 token），现有方法难以同时兼顾全局上下文和局部细节，往往顾此失彼，造成显著的性能下降。

方法要点

PACE 的核心思想是“把冗余消灭在源头，把关键保留到终点”，具体分为两个阶段：

Condense 阶段（压缩阶段）：在图像进入视觉编码器之前，由一个名为 Adaptive Pixel Compressor（APC）的模块评估图像各区域的视觉信息密度。APC 会根据信息密度自适应地对冗余区域进行降采样（例如对天空、纯色背景等低信息区域大幅压缩，对文字、人脸等细节区域保持较高分辨率），从而减少输入到编码器的像素数量。这一设计直接削减了视觉编码阶段的计算量，同时通过保留高信息密度区域来维持全局上下文和关键视觉线索。

Extract 阶段（抽取阶段）：在编码器输出和 LLM 处理之间，Dynamic Dual-Attention Extractor（DDAE）采用双重注意力机制来筛选视觉 token。它融合了两类信号：一是来自视觉编码器的内部视觉信号（如特征响应强度），二是来自 LLM 的语义信号（如当前查询与各视觉 token 的注意力相关性）。通过动态权衡这两类信号，DDAE 能够识别出对当前任务真正关键的 token，即使预算极低也能保住细节信息。

整个框架是训练无关的（training-free），即不需要额外微调模型，直接插拔到现有 VLM 推理流程中即可使用。作者在 Qwen2.5-VL-7B 上进行了集成验证。

关键结论

基于摘要内容，可合理推断以下结论（部分细节摘要未给出）：

性能保持：在仅使用 10% 视觉 token 的条件下，PACE 使 Qwen2.5-VL-7B 保留了原始模型 93.8% 的性能。这意味着平均性能损失约 6 个百分点，但具体在哪些任务上损失更大、哪些任务几乎无损，摘要未给出细分数据。
加速效果：首 token 延迟（TTFT）获得 3.1 倍加速。TTFT 是衡量用户等待第一个输出 token 的时间指标，直接反映了端到端推理管线的整体提速效果。
双阶段收益：加速不仅来自 LLM 侧的 token 减少，还来自视觉编码器侧的输入像素压缩。摘要未给出两阶段各自贡献的加速比例。
无需训练：PACE 是即插即用的推理框架，不需要对模型进行微调或蒸馏，这大大降低了实际部署的门槛。

读后思考 / 适用场景

PACE 的设计思路非常务实——它意识到 VLM 推理瓶颈不只是 LLM 的注意力计算，视觉编码器同样是大头。很多现有方法只盯着 token 剪枝，却忽略了“剪枝之前”的编码开销，PACE 的“源头压缩”理念值得借鉴。

适用场景非常明确：

高分辨率图像输入：如文档扫描、卫星图像、医学影像等，这类输入产生的 token 数量巨大，PACE 的压缩收益最明显。
实时交互应用：如视觉问答助手、具身智能机器人，用户对首 token 延迟敏感，3.1 倍 TTFT 加速能显著改善体验。
资源受限环境：边缘设备或 API 成本敏感场景，在有限算力下尽量保持模型能力。

另外，PACE 的“训练无关”特性使其可以快速适配到新发布的 VLM 上，无需为每个模型单独训练剪枝网络，工程落地价值较高。

局限与开放问题

尽管摘要展示了不错的加速比和性能保持率，但仍存在一些值得追问的开放问题：

性能损失的分布：93.8% 是平均保留率，但某些细粒度任务（如 OCR、图表理解、小目标检测）可能损失远超 6%。摘要未给出按任务类型拆分的性能报告。
压缩率与性能的权衡曲线：10% token 预算下是 93.8% 性能，那么 5% 或 20% 预算下表现如何？是否存在一个“悬崖点”导致性能骤降？摘要未给出。
APC 的信息密度评估开销：在编码前评估像素信息密度本身需要计算，这部分开销是否已计入 3.1 倍加速？如果评估模块本身较重，实际净收益可能打折。
对不同 VLM 架构的泛化性：PACE 在 Qwen2.5-VL 上验证，但其他架构（如 LLaVA、InternVL）的视觉编码器结构和 token 语义可能不同，DDAE 的双注意力融合是否依然有效？摘要未给出跨模型实验。
动态预算的适应性：当前方法似乎是在固定预算下工作，能否根据输入图像的复杂度动态调整 token 数量（例如简单图用 5%，复杂图用 20%）？摘要未提及。

总体而言，PACE 提供了一个“压缩在前、抽取在后”的完整加速范式，方向正确且工程友好。但若要大规模落地，还需要更细致的性能分解和跨场景验证。