AI 产品

技术讨论：Kimi K3 MoEs训练稳定性突破

根据Twitter/X AI List上的非官方讨论，Kimi K3的Mixture of Experts模型在高度稀疏训练中未发生预期崩溃，其稳定性归功于Stable LatentMoE技术。该技术包括路由分支归一化、专家内部SiTU-GLU以及路由器分位数平衡。请注意，此信息基于社交媒体帖子，尚未得到官方确认，属于讨论范畴。

多来源证据

事件时间线

1. 8月18日 05:00
   Twitter/X AI List
   Kimi K3的MoEs本应崩溃，但没有。他们如何稳定高度稀疏MoEs的训练？关键是Stable LatentMoE：• 在路由分支上归一化 • 每个专家内部的SiTU-GLU • 路由器上的分位数平衡