苏神复盘 Kimi K3：896 个专家背后，藏着哪些关键技术取舍？

从异常激活到专家拥堵，拆解超大模型训练难点。 作者丨郑佳美 编辑丨岑 峰 这几天，Kimi 研究员、RoPE 提出者苏剑林发布了一篇名为《简单谈谈 K3 的 MoE 和 Attention》的文章，集中讨论了 Kimi K3 在专家架构、训练稳定性、负载均衡和注意力设计上的几项关键取舍。苏神在文章中提到 K3 拥有 2.8 万亿总参数，并配置了 896 个路由专家。但模型不会让每个 Token 调用全部专家，而是只从中激活 16 个。在注意力结构上，K3 也没有沿用单一方案，而是将 KDA 与 Gated MLA 交替排列。这些配置共同指向了 K3 的基本设计思路：模型可以继续扩大容量，但不能让计算成本随着总参数量和上下文长度同步增长。更多专家意味着模型拥有更细致的能力分工，混合注意力则让模型能够以更低成本处理长上下文。然而，规模扩张也会带来新的问题。 当专家数量增加时，Router 不仅

阅读原文 →