月之暗面开放 Kimi K3 模型权重与技术报告，开源关键 Infra 技术加速 AGI 研究

【导语昨日晚间月之暗面在 Kimi K3 开放日宣布发布 Kimi K3 的模型权重、技术报告并开源支撑其训练的关键 Infra 技术旨在加速前沿智能部署与普及促进 AGI 研究。】2.8 万亿参数Kimi K3 能力再升级月之暗面本月中旬推出的 Kimi K3 是该公司迄今能力最强的模型拥有 2.8 万亿参数是 Kimi K2.5 参数规模的 3 倍左右。它是一个混合专家MoE模型具备原生视觉理解能力还支持 100 万 token 的上下文窗口。四大技术细节解锁 Kimi K3 高效建模秘诀公开的 Kimi K3 技术报告中包含多项技术细节。在 KDA AttnRes 方面以 3:1 比例混合 KDA 与 Gated MLA实现高效长上下文建模同时通过块级注意力残差增强跨层信息流动。Stable LatentMoE 让每个 token 从 896 个路由专家中激活 16 个并通过 SiTU - GLU 与 Quantile Balancing 保持极高稀疏度下的训练稳定。MoonViT - V2 视觉编码器从零开始使用 next - token prediction 训练无需对比预训练达到 SigLIP 初始化基线效果且优化过程更稳定。后训练与评估则在通用推理、通用 Agent 和编程 Agent 三大领域进行大规模任务合成等。三项 Infra 技术覆盖关键链路提升训练效率支撑 Kimi K3 训练的三项 Infra 技术分别为 MoonEP、FlashKDA 和 AgentEnv覆盖从高性能通信、高性能算子到分布式 RL 环境的关键链路。其中 FlashKDA 此前已开源MoonEP 和 AgentEnv 随本次发布正式开源。MoonEP 是为超大的细粒度 MoE 打造的高性能通信库能让专家并行的通信在不均衡情况下实现极致效率。FlashKDA 是 Kimi Delta Attention 高性能算子在英伟达 H20 上相比 flash - linear - attention 基线prefill 速度提升 1.72 - 2.22 倍可直接作为其替换后端。AgentEnv 是与 KVCache.ai 合作开发的沙箱系统为 Kimi K3 后训练提供高保真、强隔离沙箱能应对大规模并行的 Agent 工作流与训练任务。编辑观点月之暗面此次开放 Kimi K3 相关资源及开源关键技术将降低获取智能的门槛有望推动 AGI 研究发展也为行业带来更多创新活力。