Apple Silicon跑35B级MoE大模型：Qwen3.5-35B-A3B-OptiQ-4bit-REAP-19B内存与速度指南

【免费下载链接】Qwen3.5-35B-A3B-OptiQ-4bit-REAP-19B项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Qwen3.5-35B-A3B-OptiQ-4bit-REAP-19B点击查看免费下载想在 Mac 上本地运行 35B 级别的大模型最大的拦路虎就是内存。Qwen3.5-35B-A3B-OptiQ-4bit-REAP-19B 就是为解决这个问题而生它把 Qwen3.5-35B 的 MoE混合专家大模型压缩到12.8 GB 磁盘占用、11.7 GB 运行内存同时通过 REAP 专家剪枝保留全部推理速度是 Apple Silicon 上跑 35B 级 MoE 大模型的实用选择。 先搞懂它是怎么做到更小但不更慢的这个模型由 mlx-optiq叠加了两层瘦身技术OptiQ 4bit 量化把绝大多数权重压到 4bit目标 4.5 bits/参数同时对敏感层保留 8bit量化明细记录在 optiq_metadata.json 中397 个张量用 8bit、113 个用 4bit实测 4.513 bpw。REAP 专家剪枝MoE 模型每层有大量专家expert但每个 token 只激活其中 8 个。REAPICLR 2026 提出的 MoE 一次性剪枝方法按路由权重 × 专家输出范数的统计量给专家打分删掉最没用的专家。本模型每层从 256 个专家保留 128 个剪掉一半专家但每 token 激活的 8 个不变——所以体积变小速度却几乎不变。关键结论被保留的专家是逐比特拷贝自父模型的量化版本没有反量化、没有重训练精度损失可控。 核心参数一览表内存与规格速查属性父模型35B 量化版本模型REAP-19B变化磁盘占用21.9 GB12.8 GB−42%总参数量35.1B18.8B−47%每 token 激活专家8 个8 个不变每层保留专家256128−50%运行内存~20 GB11.7 GB显著降低架构层面详见 config.json40 层、hidden_size 2048混合注意力线性注意力 每 4 层一组全注意力长上下文开销更低支持256K 上下文max_position_embeddings: 262144词表 248320且自带视觉塔权重optiq/optiq_vision.safetensors即支持图像输入的多模态 MoE 模型KV Cache 也做了量化kv_config.json10 个全注意力层的 KV 被压到 4bit/8bit进一步省下长对话时的内存。 内存预算你的 Mac 能跑吗模型本体约11.7 GB再加上系统开销建议按下面的档位参考机型内存运行体验建议16 GB能跑偏紧张运行前关闭浏览器等吃内存的应用上下文长度建议控制在几万 token 以内24 GB舒适日常对话、代码辅助都够用32 GB 及以上宽裕可开更长上下文KV 量化在此更有价值提速小贴士由于 KV Cache 已按层量化长对话时内存增长远低于未量化模型同样的 32 GB 机器能装下更长的历史消息。⚡ 速度预期为什么 A3B 是重点名称里的A3B 每 token 约激活 3B 参数。MoE 的妙处就在于模型总参数 18.8B带来大模型的知识容量每个 token 实际只走 8 个专家计算量接近小模型在 Apple Silicon 统一内存上专家权重全部常驻内存、按需读取无需像多卡方案那样搬来搬去。因此它的推理速度会比同体积稠密模型快得多适合日常对话、写作、代码补全。需要说明的是本 checkpoint 未单独做速度基准测试官方也未公布具体 tokens/s 数值实际速度请以你自己机器上的表现为准。️ 一键部署步骤最快上手方法方式一用 optiq 命令行服务推荐pip install mlx-optiq optiq serve --model mlx-community/Qwen3.5-35B-A3B-OptiQ-4bit-REAP-19B方式二mlx-lm 直接加载from mlx_lm import load, generate model, tok load(mlx-community/Qwen3.5-35B-A3B-OptiQ-4bit-REAP-19B) print(generate(model, tok, promptHello, max_tokens64))方式三clone 仓库离线使用git clone https://gitcode.com/hf_mirrors/mlx-community/Qwen3.5-35B-A3B-OptiQ-4bit-REAP-19B权重分片为 model-00001-of-00003.safetensors、model-00002-of-00003.safetensors、model-00003-of-00003.safetensors权重索引见 model.safetensors.index.json。 仓库文件清单与说明文件作用README.md模型说明、压缩方法与使用示例config.json架构配置40 层 MoE、混合注意力、4bit/8bit 混合精度方案optiq_metadata.jsonOptiQ 量化元数据397 个 8bit 张量 113 个 4bit 张量kv_config.jsonKV Cache 量化配置4bit/8bit按层指定generation_config.json生成参数temperature 0.7、top_k 20、top_p 0.8、presence_penalty 1.5chat_template.jinja对话模板保证聊天格式正确tokenizer_config.json分词器配置optiq/optiq_vision.safetensors视觉塔权重多模态图像输入optiq/mtp.safetensorsMTP 模块文件 剪枝代价质量上损失了什么剪枝不是免费的官方给出了同架构、同保留比例50%的 Qwen3.6 版本的全流程验证数据作为参考综合能力评分80.03 → 76.57损失主要集中在 MMLU−21.4事实类知识有所削弱程序化能力基本无损甚至略有提升GSM8K 2.6、IFEval 4.3、BFCL −1.0、HumanEval −1.3。另一个硬指标是剪枝后与未剪枝父模型的KL 散度仅 0.067——经验上超过 1.0 才会在评审中被看出明显退化本模型远在这条线以内。简单说日常对话、写作、代码场景几乎无感重事实检索MMLU 类场景会有一定折损。 总结内存11.7 GB 即可运行16 GB Mac 可用、24 GB 舒适、32 GB 宽裕速度MoE 只激活 8 个专家A3B 的激活规模让 35B 级模型在 Mac 上依然轻快质量剪掉一半专家、体积省 42%能力保留在实用区间程序化能力基本无损。如果你手上有 M 系列芯片的 Mac又想要 35B 级的模型能力Qwen3.5-35B-A3B-OptiQ-4bit-REAP-19B 目前是内存与速度平衡上非常值得尝试的本地 MoE 大模型方案。赞分享【免费下载链接】Qwen3.5-35B-A3B-OptiQ-4bit-REAP-19B项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Qwen3.5-35B-A3B-OptiQ-4bit-REAP-19B点击查看免费下载相关推荐Agents-A1-OptiQ-4bit-REAP-19B 快速上手指南3步在Apple Silicon上跑起35B级MoE智能体模型Agents A1 OptiQ 4bit REAP 19B 快速上手指南3步在Apple Silicon上跑起35B级MoE智能体模型 Agents A1 O人工智能大模型模型量化模型优化本地部署14.5GB内存就能跑35BOrnith-1.5-35B-A3B-OptiQ-4bit-REAP-19B硬件要求与Mac机型选购清单14.5GB内存就能跑35BOrnith 1.5 35B A3B OptiQ 4bit REAP 19B硬件要求与Mac机型选购清单 Ornith 1.5 3大模型人工智能模型压缩模型量化本地部署35B 大模型仅需 11.6GB 内存Qwen3.6-35B-A3B-OptiQ-4bit-REAP-19B 完整评测与新手入门指南35B 大模型仅需 11.6GB 内存Qwen3.6 35B A3B OptiQ 4bit REAP 19B 完整评测与新手入门指南 Qwen3.6 35B上一篇react-native-maps动画API详解创造流畅过渡效果下一篇Muse-Glimmer-30B-OptiQ-4bit视觉塔探秘3.8GB bf16 sidecar与809个张量的秘密创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考