前天，DeepSeek发布了一篇新的工作[1]。
标题是：mHC: Manifold-Constrained Hyper-Connections
翻译一下：mHC：流形约束的超连接
这篇工作是一个阶段性的研究成果，而不是模型更迭。
原文的数学性很强，本文主要从更容易理解的宏观层面，看看它在做什么。
回顾残差结构
这篇工作用一张图就能概括。
下图a是早已广泛应用的残差结构，图b是24年新提出的超链接结构(HC)，图c则是这篇工作提出的mHC结构。
残差结构主要是应对解决深度神经网络的训练不稳定的问题。
因为当神经网络层数增加，每一层都有可能丢一部分信息，层出多了就容易出现梯度消失或梯度爆炸。
ResNet提出的残差结构是在旁路多加了一条 shortcut，即
输出 = x + F(x)这样处理，就把网络从学一个复杂映射变成学一个接近 0 的修正项。
它可以保证网络每一层在最差情况下什么都不学，参数也和上一层保持一样，不会变坏。
这样网络就可以叠得更加深。
超链接结构(HC）
虽然普通残差很有效，但它会导致的一个现象是：“这一层的特征，只和上一层的同一条特征有关。”
因为每一层都是对应通道的相加，通道之间没有相互交流。
为了更充分地增加信息利用：HC 把 “一条残差流” 变成 “n 条并行残差流”，并允许它们互相交换信息。
这样处理，大模型会更“灵活”，特征组合方式更多样。
一句话总结：残差保证“不会退步”，HC 追求“用得更全”。
流形约束的超连接结构(mHC）
虽然HC的思想很好，但存在的一个局限性就是模型训练不稳定。
因为残差通道的组合是模型自己通过学习得到的，它破坏了残差连接固有的恒等映射特性，导致梯度消失/梯度爆炸会重新出现。并且，扩宽的残差流带来了显著的内存访问开销。
mHC的思路是将HC的残差连接空间投影到一个特定的流形（manifold）上，以恢复恒等映射特性，保障训练稳定。
同时，mHC还在系统层面，采用了内核融合、选择性重计算、通信重叠等方式减小内存访问开销。
mHC在27B的模型上进行了实验，发现训练的稳定性得到了提升。
并且，模型的性能整体也得到提升。
总之，这是一项偏基建类型的工作，作者团队也只是拿小参数量模型进行了验证。
估计这一项改进会应用到下一代的模型中，期待他们在过年前放出大招。
参考
[1] https://arxiv.org/pdf/2512.24880
