SLAI T-Rex: Full-Parameter Post-training of the DeepSeek-V4 Family on Ascend SuperPOD

一句话概括

本文在昇腾（Ascend）NPU 超大规模集群上对万亿参数级 MoE 模型 DeepSeek-V4 家族做全参数后训练，实现 34.22% 的模型算力利用率（MFU）与 2.93 倍加速。基于该基础设施构建的运筹优化（Operations Research, OR）专用模型，零样本 Pass@1 达 71.81%。

速览

任务与方法：面向 DeepSeek-V4 家族，在昇腾 NPU SuperPOD 上做全参数后训练，并搭建运筹优化（OR）的持续预训练（CPT）与指令微调（SFT）流程，整体框架称 SLAI T-Rex。
关键数字：34.22% MFU，较开源基线方案提升 2.93 倍；SFT 数据集 10K 样本；零样本 Pass@1 为 71.81%，分别超过 GPT-5.4-Mini 与基础 DeepSeek-V4-Flash 3.98 和 11.27 个百分点。
数据与开源情况：数据由收集的领域资源与求解器验证的合成优化文档组成，覆盖 4 类任务与 3 种问题表示；开源情况摘要未给出。
训练稳定性：摘要称保持训练稳定性，具体指标摘要未给出。

问题背景

万亿参数级 MoE 模型的全参数后训练带来系统级挑战。摘要点出三类问题：显存压力大、通信开销未被计算掩盖、算子执行效率低。

现有大规模训练系统多围绕 GPU 集群构建。本文把目标放在昇腾 NPU SuperPOD，验证非 GPU 生态能否达到同等训练效率。

作者还希望把训练好的模型用于运筹优化任务。这类任务需要数学推理与约束求解能力，对后训练数据的质量与领域适配性要求更高。

方法要点

本文提出分层优化框架，覆盖三个层面。

模型级并行：结合张量并行、专家并行与数据并行，并优化专家路由的负载均衡，减少专家分配不均带来的空闲等待。
计算-通信协同编排：用预取与异步调度，让通信与后续层计算重叠，从而缓解非重叠通信开销。
底层算子优化：针对昇腾 NPU 硬件特性手工调优核心算子，包括内存访问模式优化、算子融合与 NPU 向量指令。

训练流程上，作者先用该框架对 DeepSeek-V4 基础模型做全参数后训练。随后针对运筹优化任务构建 CPT 与 SFT 数据管道。

数据来自收集的领域资源（如运筹学教材、论文、竞赛题解）与求解器验证的合成优化文档。最终 SFT 数据集含 10K 高质量样本，覆盖 4 类任务与 3 种问题表示。

关键结论

训练效率：优化后系统达到 34.22% MFU，较开源基线方案提升 2.93 倍，且训练保持稳定。基线名称与稳定性指标摘要未给出。
领域性能：基于 DeepSeek-V4-Flash 的运筹优化专用模型，零样本 Pass@1 平均得分 71.81%，分别超过 GPT-5.4-Mini 与基础 DeepSeek-V4-Flash 3.98 和 11.27 个百分点。评测数据集名称与任务数量摘要未给出。
数据有效性：10K 规模 SFT 数据即带来显著提升，说明合成数据在结构化推理任务中效率较高。不同数据量的消融实验摘要未给出。

读后思考

本文的价值之一，是展示国产硬件生态在万亿参数级训练上的可行性。2.93 倍加速比说明，系统层深度优化可以让 NPU 集群支撑顶尖模型训练。

运筹优化是工业与学术界的核心需求。传统做法依赖人工建模与求解器，本文尝试用大模型直接生成优化方案，展示了替代部分人工建模的潜力。

10K 数据即见效，说明这类任务规则性较强，模型易从有限样例中学到模式。这为代码生成、定理证明等结构化推理任务的数据构建提供了思路。

局限与开放问题

硬件可迁移性：优化针对昇腾 NPU 特定架构，能否迁移到其他 NPU 或 GPU 平台？摘要未给出跨平台对比。
训练稳定性细节：摘要未提供 loss 曲线、梯度范数、专家负载分布等指标，而这些对复现很关键。
评测基准局限：仅报告零样本 Pass@1，未涉及多步推理或带反馈的迭代求解性能。
数据合成质量：合成文档占比、是否覆盖非线性与随机性等复杂约束，摘要未说明。
对比公平性：GPT-5.4-Mini 为通用模型，与领域特化模型对比意义有限；同等参数量的领域特化模型对比摘要未给出。
推理效率：本文聚焦训练优化，部署后的推理延迟与吞吐量摘要未涉及。