TTPO: Test-Time Policy Optimization

一句话概括

TTPO（Test-Time Policy Optimization）让大语言模型在推理阶段用多数投票伪标签自我提升，无需任何标注数据。它在五个竞赛级数学基准上追平有监督 OPSD。

速览

• 任务与方法：用非对称目标做测试时训练（TTT），一致 rollout 走 OPSD 蒸馏，不一致 rollout 走分组强化学习（Grouped RL）惩罚。
• 关键数字：Qwen3-1.7B 在 TTT 中从 38.0% 提升到 45.2%；禁用思考时相对提升 +25.2% 到 +36.4%。
• 对比结果：无标签条件下，在五个竞赛级基准上追平有标签监督的 OPSD。
• 数据与开源：摘要未给出数据集名称、开源情况与跨任务泛化的具体设置。

问题背景

数学推理的后训练主要靠两条路线：强化学习（RL）和同策略自蒸馏（OPSD）。两者都依赖带标注的真值标签（ground-truth label）。

这带来一个限制：模型部署后无法继续学习。测试时训练（TTT）想打破它，让模型在推理时更新参数。

最自然的替代是用多数投票生成伪标签（pseudo-label）。但作者指出这条路很脆弱：一次投票出错，错误的「教师」就会误导每个 token。

作者观察到一个不对称现象：与伪标签不一致的 rollout（推理轨迹），无论投票本身对错，通常都是错的。这个观察成为设计优化目标的支点。

方法要点

TTPO 是一个非对称的双分支框架，按 rollout 与伪标签是否一致分流。

• 一致分支（蒸馏）：用 OPSD 向这些轨迹学习。token 级选择会降低已收敛位置的蒸馏权重，把学习集中到未掌握的关键步骤。
• 不一致分支（强化学习）：用分组强化学习惩罚。惩罚只落在「高置信度的错误」上，即模型很确定却做错的 token，避免在模糊位置引入噪声。
• 路由机制：多数投票既产生伪标签，也充当路由器，决定每条 rollout 进入哪个分支。模型变强后投票更可靠，形成更紧致的自监督。

作者称，即使伪标签频繁出错，两个分支的更新方向依然合理，这是鲁棒性的来源。

关键结论

• 性能对齐：无任何标签时，TTPO 在五个竞赛级数学推理基准上追平有监督 OPSD。
• 测试时提升：Qwen3-1.7B 在 TTT 中准确率从 38.0% 升到 45.2%，约 7 个百分点（摘要未给出测试集划分与评估细节）。
• 无思考模式增益：禁用思维链时，相对提升为 +25.2% 到 +36.4%（摘要未说明是相对值还是绝对值，也未给出具体基准）。
• 跨任务泛化：摘要称有「强跨任务泛化能力」，但未给出迁移设置与数据。

读后思考

TTPO 把测试时训练从概念推向可用工具。模型每次答题后能从自己的推理中学习，不需要人工标注，也不需要额外奖励模型。

它的设计哲学是不对称性：不追求信号全覆盖，而是区分「该学的」和「该罚的」，并在两个分支用不同的 token 级策略。这提示在自监督场景下，精准识别可信信号比均匀学习更重要。

工程上，它不依赖外部教师或奖励模型，只靠自身多次采样与投票，与现有推理基础设施兼容性较好。

局限与开放问题

• 投票成本：多次采样会成倍增加推理开销。摘要未讨论延迟与算力的权衡，实时场景可能受限。
• 伪标签错误的边界：错误率超过某阈值后框架是否稳定？摘要未给出理论保证或经验上限。
• 任务泛化范围：跨任务指数学子领域之间，还是数学到代码、常识推理？边界不清。
• 与在线学习的交互：测试时持续更新参数，是否导致灾难性遗忘？摘要未涉及长期稳定性分析。
• 小模型适用性：实验基于 1.7B 模型，更大规模模型（如 70B+）的投票成本与更新稳定性仍待验证。