Muon作者仅用一篇博客就被openai看中了

时间：2025-06-19 15:48:02  编辑：翡翠原石网  访问：534

Muon作者仅用一篇博客，就被openai看中了，比如NanoGPT速通结果就已经被多次刷新了，下面展示了KellerJordan托管的...根据设计，Muon仅适用于2D参数（对于卷积滤波器则需展平处理），因此网络...

Muon作者仅用一篇博客，就被openai看中了，也就是说，它们几乎都是低秩矩阵，所有神经元的更新仅由少数几个方向主导。我们...这与Muon类似，但区别在于：