彩云科技两次刷新大模型训练速度世界纪录 压缩至1分16秒

会懂网AI资讯，9月14日，彩云科技基础模型算法团队在全球开源AI技术竞速项目NanoGPT Speedrun中连续两次刷新大模型训练速度世界纪录，将达标训练时间压缩至1分16秒，相关代码已正式并入官方开源仓库，可供外部研究者直接拉取、复现与验证结果，也让国内团队的算法能力获得国际社区认可。

NanoGPT Speedrun是一项由开源社区维护的竞速基准，参与者在统一硬件与统一目标损失的前提下比较训练耗时，比拼的不是谁堆的卡更多，而是谁能在相同条件下更快收敛。这种设定让架构与优化器的改进效果得以被量化，也因此成为算法团队展示工程能力的窗口，吸引了不少研究者参与。

彩云科技的两项突破分别基于团队原创的DCMHA（可动态组合多头注意力）和MUDD（多路动态稠密连接）架构创新。前者改造注意力头的组合方式，后者调整层间连接结构，两者都指向同一目标：在不增加参数与算力的前提下提升信息流动效率，从而加快收敛速度，减少无效计算开销。

相关研究并非临时起意，团队的工作分别于2024年、2025年发表于国际机器学习大会ICML，并入选口头报告。口头报告通常只占收录论文的一小部分，评审标准更严，说明这两项架构创新在方法论层面已经过同行评议的检验，而不是仅靠工程调优取胜，因而具备较高的可信度与参考价值。

这一结果的意义在于提示行业：训练效率提升并不只能依赖算力规模扩张，模型架构优化与算法创新同样能显著降低成本。在高端芯片供给受限、训练集群电价与折旧压力高企的环境下，单位算力的产出效率正在成为与参数规模同等重要的竞争维度，是行业需要重新审视的方向。

代码并入官方开源仓库也让成果具备了可传播性。外部团队可以直接拉取实现、在自己的集群上复现结果，或把DCMHA与MUDD迁移到其他模型结构中。若后续有更多第三方验证，这类架构创新有望从竞速项目走向更广泛的工程实践，真正影响训练成本，并逐步进入主流训练流程。