TTPO: Test-Time Policy Optimization
一句话概括
TTPO（Test-Time Policy Optimization）提出了一种无需任何标注数据的测试时训练方法，通过「多数投票伪标签 + 非对称优化」的设计，让大语言模型在推理阶段也能持续自我提升，在数学推理基准上达到了与有监督后训练相当的水平。
问题背景
大语言模型在数学推理上的能力提升，很大程度上依赖两类后训练方法：强化学习（RL）和同策略自蒸馏（OPSD）。前者通过奖励信号引导模型探索正确推理路径，后者则让模型向自身的高质量输出学习。这两种方法都取得了显著成效，但它们有一个共同的前提——需要大量带标注的 ground-truth 标签。
这带来一个根本性限制：模型一旦部署上线，就失去了继续学习的能力。测试时训练（TTT）试图打破这个瓶颈，让模型在推理过程中也能更新自身参数。最自然的替代方案是用多数投票产生的伪标签代替人工标注，但这种方法非常脆弱——一旦投票结果错误，错误的「教师」就会污染所有 token 的学习信号，导致错误被放大而非修正。
作者敏锐地观察到这种失败模式具有不对称性：无论伪标签本身是否正确，那些与伪标签不一致的 rollout（推理轨迹）几乎总是错误的。这个观察看似简单，却为设计更鲁棒的优化目标提供了关键支点。
方法要点
TTPO 的核心是一个非对称的双分支优化框架，根据 rollout 与伪标签的一致性进行分流：
一致分支（蒸馏）：对于与多数投票结果一致的 rollout，采用 OPSD 进行自蒸馏，让模型向这些「正确」的推理轨迹学习。但并非所有 token 都同等重要——通过 token 级选择，对已经收敛、模型已经很有把握的位置降低蒸馏权重，把学习资源集中在尚未掌握的关键步骤上。
不一致分支（强化学习）：对于与伪标签不一致的 rollout，使用分组强化学习（Grouped RL）进行惩罚。这里的精妙之处在于，惩罚只针对「高置信度的错误」——即模型很确定但确实做错的 token。这种选择性惩罚避免了在模型本来就模糊不清的位置引入噪声信号。
路由机制：多数投票不仅产生伪标签，还充当路由器的角色，决定每条 rollout 进入哪个分支。随着模型不断自我改进，投票的可靠性也在提升，形成良性循环——作者称之为「多数投票路由产生更紧致的自监督」。
整个框架在伪标签频繁出错的情况下依然能保持更新方向的合理性，这是其鲁棒性的关键来源。
关键结论（仅基于摘要可合理推断的部分；不确定处标明「摘要未给出」）
- 性能对齐：在五个竞赛级数学推理基准上，TTPO 无需任何标签即可达到与有监督 OPSD 相当的水平。这表明「无监督」与「有监督」之间的性能差距已被有效弥合。
- 测试时提升显著：以 Qwen3-1.7B 为例，TTPO 在测试时训练中将准确率从 38.0% 提升至 45.2%，提升幅度约 7 个百分点（摘要未给出具体测试集划分与评估细节）。
- 无思考模式增益：在禁用思维链（即「不思考」）的设置下，TTPO 带来 +25.2% 到 +36.4% 的相对提升（摘要未明确该提升是相对值还是绝对值，也未说明具体基准）。
- 跨任务泛化：摘要声称 TTPO 展现出「强跨任务泛化能力」，但未给出具体迁移实验的设置与数据（摘要未给出跨任务的具体任务类型与迁移方向）。
读后思考 / 适用场景
TTPO 最吸引人的地方在于它把「测试时训练」从理论概念变成了实用工具。想象一个数学解题助手部署在云端，每次用户提问后，模型不仅给出答案，还能从自己的推理过程中学习——不需要任何人标注数据，不需要额外的奖励模型，只需要多次采样和多数投票。这种「自助式进化」在数据标注成本高昂的垂直领域（如医学推理、法律分析）尤其有价值。
另一个值得注意的设计哲学是「不对称性」。作者没有试图让模型在所有 token 上均匀学习，而是区分「该学的」和「该罚的」，并且在不同分支中采用不同的 token 级策略。这种精细化设计提示我们：在自监督场景下，与其追求信号的全覆盖，不如精准识别哪些信号值得信任。
从工程角度看，TTPO 的部署成本相对可控——它不需要额外的教师模型或外部奖励模型，只依赖模型自身的多次采样和投票，这与现有推理基础设施的兼容性较好。
局限与开放问题
投票成本问题：多数投票需要多次采样，这意味着推理时的计算开销会成倍增加。摘要未讨论延迟预算和计算成本的具体权衡，在实时性要求高的场景中可能成为瓶颈。
伪标签错误的边界：虽然 TTPO 对伪标签错误更鲁棒，但当错误率超过某个阈值时，整个框架是否还能保持稳定？摘要未给出理论保证或经验上的错误容忍上限。
任务泛化范围：摘要提到的跨任务泛化具体指什么？是从一个数学子领域迁移到另一个，还是从数学迁移到代码、常识推理等更远的领域？「强泛化」的边界尚不清晰。
与在线学习的交互：TTPO 在测试时持续更新模型参数，这会不会导致灾难性遗忘——模型在优化当前问题的同时，逐渐丢失了之前学到的能力？摘要未涉及长期运行的稳定性分析。
小模型的适用性：实验基于 1.7B 参数的模型，对于更大规模模型（如 70B+），多数投票的计算成本和参数更新的稳定性是否依然可控？这是一个值得验证的开放问题。