K2-Horizon-MoVA-36B-A4B-oQ4e 在 Apple Silicon 上能跑多快？48 TPS 实测与内存占用

【免费下载链接】K2-Horizon-MoVA-36B-A4B-oQ4e项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/K2-Horizon-MoVA-36B-A4B-oQ4e点击查看免费下载K2-Horizon-MoVA-36B-A4B-oQ4e 是把 IFM 团队的旗舰 MoE 大模型 K2-Horizon 转换为 MLX 格式、专为 Apple Silicon 优化的本地部署版本。实测单流吞吐量约48.1 TPS峰值内存占用 22 GB——一台 24GB 起步的 Mac 就能跑起这款 512K 上下文的前沿推理模型。本文基于仓库内 README.md 中的实测数据拆解它的速度、内存与真实能力帮你判断它值不值得部署。K2-Horizon 是什么36B 总参数、4B 激活的稀疏 MoE在谈速度之前先理解为什么 MoE 模型在 Mac 上特别香稀疏激活36B 总参数但每个 token 只激活约4B参数。计算量按 4B 算能力按 36B 走速度自然快于同激活量级的稠密模型。MoVA 注意力Mixture-of-Values 设计注意力侧另有64 个 value 专家、每 token 激活 4 个见 config.json 中的mova_num_experts/mova_num_experts_per_tok。超长上下文max_position_embeddings为 524288即512K tokens原生上下文本地模型里属于第一梯队。oQ4e 量化imatrix 增强的混合精度 4-bit基础 4-bit按层混入 5/6/8-bit 敏感层group_size为 64。校准报告 oq_imatrix_report.json 显示使用了1024 条多语言代码样本做校准专家激活覆盖率达96.97%量化质量有保障。一句话这是一台用 4B 的饭量吃 36B 的饭的推理引擎。实测吞吐量48.1 TPS 与 20.9 ms 单字延迟下面是仓库中 oMLX 单流测试的关键数据对比对象为同量级的 Qwen 3.6 35B A3B指标K2 Horizon 36B A4BQwen 3.6 35B A3B差距TG TPS单流吞吐48.188.4Qwen 快约 84%TTFT首 token 延迟ms6,3002,371Qwen 快约 62%TPOT每 token 延迟ms20.911.4Qwen 快约 46%峰值内存GB22.021.9基本持平 几个关键解读48 TPS 是什么水平TPOT 20.9ms 对应理论生成速度 1000 ÷ 20.9 ≈ 47.8 tok/s与实测 48.1 TPS 吻合。对于 4B 激活参数的 MoE 模型这个速度已足够日常对话与 Agent 任务流畅使用。为什么比 Qwen 慢约 1.8 倍Qwen 激活参数仅 3BK2 为 4B且支持 MTP多 token 预测。K2 是拿吞吐换质量——这一点在下文的基准对比里会得到验证。TTFT 6.3 秒偏高长 prompt 下的首 token 等待明显长上下文场景下建议配合流式输出改善体感。内存占用分析22 GB 峰值从哪来22.0 GB 的峰值内存由三部分构成4-bit 量化权重36B 参数 × 约 0.5 字节 ≈ 18 GB这是大头KV Cache512K 上下文的模型 KV Cache 随对话长度线性增长短对话下占比小长对话下是主要变量激活值与运行时开销单次前向的临时内存。 部署建议24GB 统一内存的 Mac可跑但长对话、多轮 Agent 任务下余量偏紧32GB 及以上推荐配置能同时容纳权重与较大 KV Cache跑长上下文更从容权重文件按 5 个分片存放如 model-00001-of-00005.safetensors索引文件 model.safetensors.index.json 记录了完整映射。速度之外能力实测8 项基准赢下 7 项如果只看 48 TPSK2 似乎不够快。但它的定位是本地 Agent 与结构化输出基准成绩说明速度换来的质量回报很可观榜单成绩基准测试得分%GPQA Diamond研究生级科学问答80.8AA-LCR长上下文推理66.3Terminal-Bench 2.1Agentic 终端操作58.6tau3-BankingAgentic 工具调用26.8与 Qwen 3.6 35B A3B 正面交锋均分 82.4 vs 73.4K2 赢 7/8基准K2Qwen赢家工具调用Tool Call9363K230安全Prompt Authority8060K220结构化输出9587K28信息抽取9084K26Bugfix / 编码7673K23推理与数学7880Qwen2K2 的优势集中在工具调用可靠性、结构化输出、信息抽取与安全——恰好是本地 Agent 流水线最在意的维度Qwen 仅在推理与数学上小胜 2 分且支持原生多模态。在 Mac 上快速跑起来三步上手第一步安装 mlx-lmpip install -U mlx-lm第二步命令行生成最快验证python3 -m mlx_lm.generate \ --model hermitdave/K2-Horizon-MoVA-36B-A4B-oQ4e \ --prompt Explain why long-context evaluation is difficult. \ --max-tokens 512 --temp 1.0 --top-p 0.95第三步开启高质量推理K2-Horizon 是推理模型官方建议始终使用reasoning_efforthigh。通过 OpenAI 兼容接口如 oMLX 本地服务调用时response client.chat.completions.create( modelhermitdave/K2-Horizon-MoVA-36B-A4B-oQ4e, messages[{role: user, content: Explain quantum entanglement.}], extra_body{chat_template_kwargs: {reasoning_effort: high}}, )⚠️一个容易踩的坑如果你用 oMLX 作为服务框架需要v0.6.4 且包含 K2-Horizon 支持补丁的版本新增k2_horizon模型类型、ifm|think推理块解析、工具调用解析与多轮对话支持。版本不对时会直接报错ValueError: Model type k2_horizon not supported。仓库关键文件导读文件说明README.md完整文档快速上手、基准成绩、oMLX 补丁说明config.json模型结构48 层、100 专家 top-8、逐层量化位宽4/5/6/8-bit 混合k2_horizon_mova_mlx.pyMLX 版模型实现Apple Silicon 推理主路径modeling_k2_horizon.pyHugging Face 版建模代码MoE 路由与 MoVA 注意力细节configuration_k2_horizon.py模型配置定义oq_imatrix_report.jsonoQ4e 量化校准报告1024 样本、专家覆盖率统计chat_template.jinja自定义对话模板推理块、工具调用标签generation_config.json采样与生成默认参数结论48 TPS 的 K2-Horizon 值不值得跑你的场景推荐本地 Agent 流水线、工具调用、结构化输出✅ K2-Horizon oQ4e大批量高并发推理、吞吐优先Qwen 3.6 35B A3B长上下文512K 高质量本地推理✅ K2-Horizon oQ4e总结K2-Horizon-MoVA-36B-A4B-oQ4e 用48.1 TPS / 22 GB的资源账单换来了 8 项基准 7 胜、平均 82.4 分的本地 Agent 能力。如果你的 Mac 是 24GB 以上统一内存且更在意回答质量与工具调用可靠性而非极限速度它就是目前 Apple Silicon 上最值得部署的 MoE 推理模型之一。赞分享【免费下载链接】K2-Horizon-MoVA-36B-A4B-oQ4e项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/K2-Horizon-MoVA-36B-A4B-oQ4e点击查看免费下载相关推荐K2-Horizon-MoVA-36B-A4B-oQ4e 快速开始3步在 Mac 上跑通你的第一条 AI 推理K2 Horizon MoVA 36B A4B oQ4e 快速开始3步在 Mac 上跑通你的第一条 AI 推理 K2 Horizon MoVA 36B A4B读懂 K2-Horizon-MoVA-36B-A4B-oQ4e 架构36B 总参数、4B 激活到底省在哪读懂 K2 Horizon MoVA 36B A4B oQ4e 架构36B 总参数、4B 激活到底省在哪 K2 Horizon MoVA 36B A4B oQ512K 长上下文实测:K2-Horizon-MoVA-36B-A4B-oQ4e 处理超长文档到底行不行512K 长上下文实测:K2 Horizon MoVA 36B A4B oQ4e 处理超长文档到底行不行 本文实测 K2 Horizon MoVA 36B创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考