PACE: A Unified Condense-and-Extract Paradigm for Fast VLM Inference
一句话概括
PACE 是一个无需训练的 VLM 推理加速框架，用「先压缩像素、再抽取 token」的两阶段范式同时优化视觉编码器与 LLM。它在 Qwen2.5-VL-7B 上仅用 10% 视觉 token 就保留 93.8% 原始性能，首 token 延迟加速 3.1 倍。
速览
- 任务：加速视觉语言模型（Vision-Language Model, VLM）推理，同时覆盖视觉编码器与 LLM 两个阶段。
- 方法：训练无关（training-free）的统一「压缩-抽取」范式，含 APC 与 DDAE 两个模块。
- 关键数字：保留 10% 视觉 token，性能保留 93.8%，TTFT 加速 3.1 倍。
- 数据与开源：在 Qwen2.5-VL-7B 上集成验证；代码已开源，地址见摘要。
问题背景
VLM 的视觉推理能力突出，但推理成本随视觉 token 数量快速上升。
一张高分辨率图像经视觉编码器后可能产生数千个 token。这些 token 全部送入 LLM 后，自注意力复杂度呈平方级增长，延迟与显存开销居高不下。
已有视觉 token 剪枝方法有两个根本缺陷：
- 多数方法只在视觉编码器之后操作，编码阶段的开销未被优化。
- 在严格 token 预算下，难以同时保住整体视觉上下文与细粒度细节，性能下降明显。
方法要点
PACE 的核心思路是「把冗余消灭在源头，把关键保留到终点」，分两个阶段。
Condense 阶段（压缩阶段）
- 由 Adaptive Pixel Compressor（APC）在编码前评估图像各区域的视觉信息密度。
- 按信息密度自适应降采样：低信息区域大幅压缩，细节区域保持较高分辨率。
- 效果是直接削减视觉编码阶段的计算量，同时保留全局上下文与关键视觉线索。
Extract 阶段（抽取阶段）
- 由 Dynamic Dual-Attention Extractor（DDAE）在编码器输出与 LLM 之间筛选视觉 token。
- 融合两类信号：编码器的内部视觉信号，以及来自 LLM 的语义信号。
- 动态权衡两类信号，在极低预算下仍能保住任务关键细节。
整个框架训练无关，可直接插入现有 VLM 推理流程。作者在 Qwen2.5-VL-7B 上完成集成验证。
关键结论
- 性能保持：仅用 10% 视觉 token，Qwen2.5-VL-7B 保留原始性能的 93.8%。
- 加速效果：首 token 延迟（Time to First Token, TTFT）加速 3.1 倍。
- 双阶段收益：加速同时来自编码器侧输入像素压缩与 LLM 侧 token 减少。
- 无需训练：即插即用，不需要微调或蒸馏，降低部署门槛。
读后思考
PACE 务实之处在于，它没有只盯 LLM 的注意力计算，而是把视觉编码器的开销也算进瓶颈。
适用场景较明确：
- 高分辨率输入：文档扫描、卫星图像、医学影像等，token 数量大，压缩收益明显。
- 实时交互：视觉问答助手、具身智能机器人等对首 token 延迟敏感的场景。
- 资源受限环境：边缘设备或 API 成本敏感场景，在有限算力下尽量保住模型能力。
训练无关特性还带来工程价值：适配新发布的 VLM 时，无需为每个模型单独训练剪枝网络。
局限与开放问题
- 性能损失的分布：93.8% 是平均值，OCR、图表理解、小目标检测等细粒度任务可能损失更大。摘要未给出按任务拆分的报告。
- 压缩率与性能的权衡曲线：10% 预算下为 93.8%，5% 或 20% 预算下如何？是否存在性能骤降的悬崖点？摘要未给出。
- APC 的评估开销：编码前评估信息密度本身需要计算，这部分是否计入 3.1 倍加速？摘要未给出。
- 跨架构泛化性：仅在 Qwen2.5-VL 上验证，LLaVA、InternVL 等架构上 DDAE 是否依然有效？摘要未给出跨模型实验。
- 动态预算适应性：能否按图像复杂度动态调整 token 数量？摘要未提及。
总体看，PACE 给出了「压缩在前、抽取在后」的完整加速范式，方向清晰且工程友好。若要大规模落地，还需更细的性能分解与跨场景验证。