Rethinking Cross-Tokenizer On-Policy Distillation: From Alignment Coverage to Supervision Reliability
一句话概括
跨分词器（tokenizer）在线蒸馏（On-Policy Distillation, OPD）中，扩大对齐覆盖并不提升效果。真正决定成败的是监督信号的可靠性，严格位置上的紧凑监督优于更广但冲突的监督。
速览
- 任务：研究师生分词器不同时，OPD 中序列级与词表级对齐覆盖是否越多越好。
- 方法：在 3 组异构师生对上做数学推理与代码生成实验，比较严格 1:1 对齐与扩展对齐。
- 关键数字：严格位置共享词表上的学生自选 top-16 子集，精度与全共享词表 OPD 相当。
- 数据与开源：摘要未给出数据集名称与代码开源情况。
问题背景
在线蒸馏让学生模型在自己的生成结果上接受教师反馈。学生生成、教师打分，学生从错误中学习。
问题在于分词器不同。同一句话，师生会切成不同的 token 序列。要比较两者的预测，必须先对齐。
对齐分两层：
- 序列级：把师生 token 序列在位置上对应起来。
- 词表级：在对应位置上，找出双方共享的词表交集。
直觉上，对齐覆盖越广，监督信号越多，学习越好。已有跨分词器方法大多沿这个方向努力，试图扩大对齐范围。
本文质疑这个直觉。作者问：覆盖度真的是瓶颈吗？还是说，覆盖越广反而引入了不可靠的监督？
方法要点
作者先在 3 组异构师生对上做诊断，覆盖数学推理与代码生成两类任务。
诊断一：覆盖度到底有多少。
- 严格 1:1 对齐组虽然词表差异大，但已覆盖学生生成的大部分 token。
- 在学生蒸馏前采样的回复上，严格对齐位置的共享词表平均保留了几乎全部师生概率质量。
诊断二：压缩监督是否够用。
- 在每个严格位置，只取共享词表中学生自选的 top-16 子集。
- 把反向 KL（reverse KL）限制在这个子集上。
- 结果精度与全共享词表 OPD 相当，且优于所评估的跨分词器基线。
诊断三：补齐覆盖会怎样。
- 在不匹配组上，对跨度对数概率（span log-probabilities）加均方误差（MSE）监督。
- 这实现了完整的监督覆盖。
- 但精度反而下降。
诊断四：梯度方向。
- 取只用严格损失训练的检查点。
- 跨度梯度与严格梯度的方向一致性弱，甚至为负。
- 其幅度相对严格梯度还在增长。
作者据此提出：应从最大化对齐覆盖，转向优先保证监督可靠性。
关键结论
- 严格 1:1 对齐已覆盖学生生成的大部分 token，词表不匹配没有想象中严重。
- 严格位置上，共享词表平均保留几乎全部师生概率质量。
- 学生自选 top-16 的紧凑监督，精度追平全共享词表 OPD，并超过所评估的跨分词器基线。
- 补齐覆盖的跨度 MSE 监督反而降低精度。
- 跨度梯度与严格梯度方向不一致，幅度还在增长，这可能是精度下降的原因。
- 结论：紧凑且可靠的监督，胜过更广但弱对齐或冲突的监督。
读后思考
这篇论文的价值在于把「覆盖度」和「可靠性」拆开。过去跨分词器蒸馏的改进，多半在想办法对齐更多位置、纳入更多词表。本文指出，多出来的信号未必有用。
一个反直觉点：完整覆盖反而更差。原因不在覆盖本身，而在被纳入的监督质量。跨度梯度与严格梯度方向不一致，等于在训练中注入噪声甚至反向信号。
另一个启发是 top-16 的紧凑设计。它不追求覆盖，而是把监督集中在学生真正会选的候选上。这与「学生自生成、学生自选择」的在线蒸馏逻辑一致。
对工程实践的含义：与其花力气设计复杂对齐，不如先检查监督信号是否可靠。梯度方向一致性可以作为一个诊断工具。
局限与开放问题
- 实验仅覆盖 3 组异构师生对，任务限于数学推理与代码生成，泛化性待验证。
- 摘要未给出具体模型规模、数据集与训练配置，复现细节不明。
- top-16 是固定超参，其他 k 值或自适应选择是否更优，摘要未给出。
- 跨度梯度方向不一致的成因未展开，是分词器差异还是目标函数冲突，摘要未给出。
- 如何自动识别「可靠」的监督位置，本文只给出诊断，未给出通用准则。
- 该思路能否推广到多教师、多模态或非文本序列，仍是开放问题。