Mellum2.1-12B-A2.5B-Thinking架构详解：64专家MoE、滑动窗口注意力与128K长上下文的秘密

【免费下载链接】Mellum2.1-12B-A2.5B-Thinking项目地址https://ai.gitcode.com/hf_mirrors/JetBrains/Mellum2.1-12B-A2.5B-Thinking点击查看免费下载Mellum2.1-12B-A2.5B-Thinking是 JetBrains 开源的思考型大模型Thinking Model采用Mixture-of-ExpertsMoE架构总参数约 12B、每次前向仅激活约 2.5B并集成了64 专家路由、滑动窗口注意力Sliding Window Attention与128K 长上下文面向代码生成、数学推理与 Agent 工具调用等场景。下面用通俗的语言带你拆解它的三大架构秘密。 一分钟看懂 Mellum2.1 核心规格指标数值说明总参数 / 激活参数12.15B / 2.5BMoE 稀疏激活层数2821 层滑动 7 层全注意力隐藏层维度2304hidden_size每层专家数64激活 Top-8稀疏路由专家中间维度896moe_intermediate_size上下文长度131,072128KYaRN 扩展滑动窗口1,024占 28 层中的 21 层注意力头Q 32 / KV 4GQAhead_dim 128词表大小98,304精度bfloat16权重约 24.3 GB规格来源config.json权重文件分为 5 个分片如 model-00001-of-00005.safetensors。 秘密一64专家MoE混合专家架构为什么12B像2.5B一样快用餐厅点餐理解 MoE传统 Dense 模型里每个 token 都要经过一整套大 MLP而 Mellum2.1 的每个 Transformer 层都内置了64 个专家Expert子网络一个**路由器Router**先给每个 token 打分挑选得分最高的8 个专家参与计算其余 56 个专家对该 token 下班不做任何计算。这样总参数保有 12.15B 的容量而单次前向只消耗约 2.5B 的算力——存储像大模型推理像小模型这正是 MoE 的经典权衡。关键 MoE 参数一览参数取值含义num_experts64每层专家总数num_experts_per_tok8每个 token 激活 Top-8 专家moe_intermediate_size896单个专家内部隐藏层宽度norm_topk_probtrue路由得分做 Top-K 概率归一化router_aux_loss_coef0.001专家负载均衡辅助损失系数以上配置见 config.json。在权重分片索引 model.safetensors.index.json 中可以逐层看到每个专家的gate_proj / up_proj / down_proj三个权重总参数 12,149,923,072共 5,631 个张量。 秘密二滑动窗口注意力把长文本计算量砍到约四分之一每 4 层只有 1 层看全局全量注意力的开销随上下文长度平方增长。Mellum2.1 的 28 层采用混合排布见 config.json层: 0 1 2 [3] 4 5 6 [7] ... [24] 25 26 [27] 类型: S S S F S S S F S S S F S sliding_attention 1024 窗口F full_attention 全局长度21 层滑动注意力每个 token 只关注最近1,024个 token负责局部语法与短期依赖开销几乎不随总长文变贵7 层全注意力每隔 3 层出现一次关注完整 128K 上下文负责跨段落、跨文件的全局信息流动。配合use_sliding_window: true与sliding_window: 1024config.jsonKV Cache 大幅缩小长文本推理速度和显存占用明显更优。GQAKV 头再瘦身一倍注意力头配置为32 个 Query 头、仅 4 个 KV 头Grouped-Query AttentionGQAhead_dim 128。8 个 Q 头共享 1 组 KV使 KV 缓存比标准 MHA 再缩小 8 倍——对 128K 长上下文场景是实打实的成本优化。 秘密三128K长上下文如何做到答案是 YaRN 外推Mellum2.1 的基础位置编码只支持8,192个 token。要扩展到131,072128K它在全注意力层上启用了YaRN一种对长上下文更稳健的 RoPE 外推方案参数取值含义rope_typeyarnYaRN 外推策略factor16.08,192 × 16 131,072rope_theta500,000更高的 RoPE 基础频率beta_fast/beta_slow32 / 1高低频段插值系数attention_factor≈ 1.277注意力幅度补偿系数21 个滑动层则使用普通 RoPErope_theta同为 500,000窗口不超过 1024无需外推。完整配置见 config.json。实际收益很直观一次可以装入一个中小型项目的全部源码配合工具调用在仓库内直接边读边改这正是它主打 Agent 编码的原因。 思考模式与 Agent 能力它如何先想后答Mellum2.1 是thinking 模型回答前先在think标签内逐步推理再输出最终答案。从对话模板 chat_template.jinja 可以看到它的工程细节支持多轮工具调用函数调用以 XML 形式返回推理解析器为qwen3工具解析器为hermes支持reasoning_content与正文分离的结构化输出。而 special_tokens_map.json 中大量特殊 token 更透露了训练意图commit_before / commit_after / commit_msg、reponame、issue_start / issue_comment、jupyter_code / jupyter_output等——模型在真实仓库提交流、Issue 处理与 Jupyter 工作流环境中受过专门训练。 两步快速部署vLLM 一键开启 128K 服务# 基础模式不带工具调用 vllm serve JetBrains/Mellum2.1-12B-A2.5B-Thinking \ --max-model-len 131072 \ --reasoning-parser qwen3官方推荐采样参数temperature0.6、top_p0.95、top_k20最大输出 81,920 tokens完整部署说明见 README.md。 性能亮点思考 RL 带来的代际提升基准测试Mellum2.1 ThinkingMellum2 Thinking提升LiveCodeBench v6pass182.069.412.6HumanEvalpass191.590.90.6AIME 25/26精确匹配83.360.123.2SWE-bench Verified解决率47.02.023.5 倍Terminal-Bench 2.117.40.6大幅提升SWE-bench Verified 从 2.0 跃升到 47.0说明它真正学会了在真实仓库里修 bug、跑测试、验证改动的完整工程闭环。完整对比表见 README.md。 关键文件速查文件作用config.json架构核心配置MoE、注意力排布、RoPE/YaRNtokenizer.json分词器定义词表 98,304chat_template.jinja对话模板思考标签 工具调用special_tokens_map.json特殊 token仓库、Issue、Jupyter 场景generation_config.json生成配置BOS/EOS 定义model.safetensors.index.json权重分片索引12.15B / 24.3GBREADME.md官方说明、部署命令与基准成绩总结三句话记住 Mellum2.1 的架构MoE 64 专家 Top-8用 12B 的容量、2.5B 的推理成本换取性价比21 层滑动窗口 7 层全注意力1,024 窗口层打底长文本又快又省显存YaRN 16 倍外推8K 基础上下文无痛扩展到 128K直接服务整仓级 Agent 场景。模型以Apache 2.0协议发布可自由商用。如果你想深入理解某个参数比如路由器如何负载均衡、YaRN 的插值公式可以对照上表中的文件逐项查看。赞分享【免费下载链接】Mellum2.1-12B-A2.5B-Thinking项目地址https://ai.gitcode.com/hf_mirrors/JetBrains/Mellum2.1-12B-A2.5B-Thinking点击查看免费下载相关推荐131K长上下文怎么实现Mellum2-12B-A2.5B-Thinking-6bit滑动窗口注意力与YaRN机制揭秘131K长上下文怎么实现Mellum2 12B A2.5B Thinking 6bit滑动窗口注意力与YaRN机制揭秘 Mellum2 12B A2.5B TMellum2-12B-A2.5B-Instruct-mxfp4的131K长上下文如何实现滑动窗口注意力与YaRN详解Mellum2 12B A2.5B Instruct mxfp4的131K长上下文如何实现滑动窗口注意力与YaRN详解 Mellum2 12B A2.5B I深度拆解gemma-4-26B-A4B-it-OptiQ-4bit-REAP-14B架构30层滑窗注意力、256K长上下文与64专家MoE路由深度拆解gemma 4 26B A4B it OptiQ 4bit REAP 14B架构30层滑窗注意力、256K长上下文与64专家MoE路由 gemma 4上一篇Video Download Helper免费浏览器扩展终极指南一键下载网页视频资源下一篇WindowResizer突破Windows窗口限制的终极解决方案创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考