Reading Between the Dots: Decoding Hidden Computation across Filler Tokens
一句话概括
前沿大语言模型在输出无意义的填充词时，内部仍在进行结构化的多步推理。这种隐藏计算可以从残差流中直接解码，准确率达 80-95%。
速览
- 任务与方法：论文在四个任务族（事实检索、并行数值组合、字符串操作、上下文计算）上，用无监督解码管道从隐藏状态中恢复中间值。
- 关键数字：解码准确率为 80-95%（以最佳 LLM 评判为准），无需真实标签或训练。
- 数据与开源：摘要未给出。
- 实验对象：两个开放权重前沿模型 DeepSeek V3 与 Kimi K2。
问题背景
大语言模型（Large Language Model, LLM）回答复杂问题时，通常输出思维链（Chain-of-Thought, CoT）。但一些前沿模型在输出填充词后仍能给出正确答案。
填充词指点号、计数序列等无内容词元。它们不携带语义信息，却似乎支撑了推理过程。
这构成行为监控的极限情形：表面词元不透露任何推理信息。但论文提出一个关键区分——隐藏于输出，不等于隐藏于我们。
方法要点
论文的核心思路是：不看模型说了什么，而看它内部在想什么。
任务设计：四个任务族均需多步推理。
- 事实检索：先识别实体，再检索事实。
- 并行数值组合：并行计算多个加法。
- 字符串操作：逐字符处理。
- 上下文计算：根据前文模式推断后续结果。
解码方法：作者提出无监督解码管道，仅以隐藏状态为输入，不依赖标注数据或训练。
- 注意力路由分析：追踪注意力头如何把问题信息经填充区域路由到答案位置。
- Logit 透镜读取：逐层解码残差流，观察中间计算值的出现与演变。
- KV 缓存移植：将一个示例的填充位置 KV 缓存移植到另一示例，检验输出的因果交换。
关键结论
- 隐藏计算是结构化的：两个模型在四个任务族上均表现出清晰模式，注意力将问题信息经填充区域传递到答案位置。
- 中间结果可读：事实检索任务中，目标事实在早期层出现；组合任务中，中间结果在后期层结晶为最终答案。
- 因果性验证：KV 缓存移植可因果性地交换示例输出，说明填充位置的计算是决定性的。
- 解码准确率：无监督解码管道在四个任务上达 80-95%，无需真实标签或训练。
- 监控重新定义：监控能力应扩展到模型的完整计算轨迹，而非仅限表面输出。
读后思考
“隐藏”是相对概念。模型的计算发生在输出层之外，但内部状态仍可读取。
这为 AI 安全提供新思路：与其要求模型说清每一步，不如直接监控内部计算。
适用场景包括：
- AI 安全审计：检查模型在输出无意义内容时是否进行了隐藏推理。
- 可解释性研究：对不输出思维链的模型，通过内部状态解码理解其推理。
- 模型调试：当输出看似随机时，内部状态可能显示计算正确但输出被截断或干扰。
局限与开放问题
- 任务范围有限：仅测试四个任务族，且推理相对简单。更复杂任务是否可解码，摘要未给出。
- 模型依赖性：仅基于 DeepSeek V3 与 Kimi K2。其他架构是否同样可解码，摘要未给出。
- 解码通用性：管道在四个任务上表现良好，但对更复杂的隐藏编码是否有效尚不明确。
- 监控实用性：实时监控大规模模型全部内部状态的工程可行性与计算成本，论文未涉及。
- 对抗性场景：若攻击者知晓监控方法，能否设计出同时隐藏计算与内部状态的策略，是未来挑战。