Qwen3.5-35B-A3B-OptiQ-4bit-REAP-19B本地推理教程：mlx_lm与optiq serve两条路径实战

【免费下载链接】Qwen3.5-35B-A3B-OptiQ-4bit-REAP-19B项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Qwen3.5-35B-A3B-OptiQ-4bit-REAP-19B点击查看免费下载Qwen3.5-35B-A3B-OptiQ-4bit-REAP-19B 是一款面向 Apple Silicon 的 MLX 本地推理模型12.8 GB 文件体积、约 11.7 GB 内存即可跑起 18.8B 参数的 MoE 大模型。本教程围绕mlx_lm与optiq serve两条本地推理路径展开从硬件准备、模型下载到参数调优带你 10 分钟内完成部署。一、模型速览更小不更慢的 MoE 本地推理模型这个模型由 mlx-community 发布基于 MLX 生态的 OptiQ 工具链构建。它的核心看点是「剪枝不减速」指标父模型35B 全量本模型REAP-19B磁盘体积21.9 GB12.8 GB−42%参数规模35.1B18.8B−47%每 token 激活专家数8 个8 个不变运行内存需求—约 11.7 GB它使用 REAP 方法删除了 50% 的路由专家每层 256 个只保留 128 个但每个 token 依然只激活 8 个专家——所以体积变小了推理速度却不降。保留下来的专家是从父模型逐位拷贝的没有反量化、没有重训练。官方给出的与未剪枝模型的 KL 散度仅0.067明显退化的剪枝模型通常超过 1.0日常生成质量几乎无感知差异。硬件门槛约 11.7 GB 运行内存意味着 16 GB 统一内存的 M 系列芯片即可运行24 GB 及以上则更从容可开更长上下文。二、部署前检查文件清单与硬件速查硬件要求速查表统一内存是否可跑建议场景16 GB✅ 可以短对话、代码补全24 GB✅ 推荐日常主力使用32 GB✅ 充裕长上下文、多任务并发仓库文件导览相对路径文件作用README.md项目说明与两种用法config.json模型架构与量化配置40 层、每层 128 专家、top-8 路由、262144 上下文generation_config.json官方推荐采样参数kv_config.jsonKV 缓存逐层 4bit 量化配置长上下文的显存优化optiq_metadata.json混合精度量化元数据4bit 为主、敏感层升 8bit实际 4.51 bpwmodel.safetensors.index.json三个权重分片共 2090 个张量的索引optiq/mtp.safetensorsMTP多 token 预测sidecar 权重optiq/optiq_vision.safetensors视觉编码器权重支持图像输入chat_template.jinja聊天模板兼容图像/视频占位符tokenizer.json分词器三、获取模型两种方式方式一用模型 ID 自动下载推荐两条路径的工具都支持直接写模型 ID首次运行时自动下载并缓存# 模型 ID 全文 mlx-community/Qwen3.5-35B-A3B-OptiQ-4bit-REAP-19B方式二克隆到本地目录如果想离线使用或固定版本可以克隆镜像仓库git clone https://gitcode.com/hf_mirrors/mlx-community/Qwen3.5-35B-A3B-OptiQ-4bit-REAP-19B之后把两条路径中的模型 ID 替换为本地目录路径即可例如optiq serve --model ./Qwen3.5-35B-A3B-OptiQ-4bit-REAP-19B。四、路径一mlx_lm 三行代码跑通本地推理适合写脚本、二次开发、快速验证效果。一键安装 mlx-lmpip install mlx-lmPython 三行完成推理from mlx_lm import load, generate model, tok load(mlx-community/Qwen3.5-35B-A3B-OptiQ-4bit-REAP-19B) print(generate(model, tok, prompt用一句话解释什么是 MoE 模型, max_tokens256))也可以直接用命令行不用写任何 Pythonmlx_lm.generate --model mlx-community/Qwen3.5-35B-A3B-OptiQ-4bit-REAP-19B \ --prompt 你好介绍一下你自己 --max-tokens 256⚡ 首次加载需要把约 12.8 GB 权重读入内存稍等片刻之后的对话速度取决于你的 M 系列芯片。五、路径二optiq serve 一键启动本地推理服务适合想让 IDE 插件、聊天工具或其他应用以 API 方式接入模型。安装并启动服务pip install mlx-optiq optiq serve --model mlx-community/Qwen3.5-35B-A3B-OptiQ-4bit-REAP-19B服务启动后终端会给出本地访问地址。按提示的端口用任何兼容 OpenAI 接口的客户端IDE 插件、桌面聊天应用等填入模型名即可调用无需额外配置密钥。两条路径怎么选需求推荐路径写脚本、嵌入自己的代码mlx_lmPython API 更直接给 IDE / 应用当后端 APIoptiq serve一条命令起服务本地离线、固定目录两者均支持传本地路径六、采样参数推荐值与常见问题官方推荐采样参数来自 generation_config.json参数推荐值temperature0.7top_p0.8top_k20presence_penalty1.5在 mlx_lm 中可这样带上generate(..., temp0.7, top_p0.8, top_k20)。常见问题排查现象原因与对策启动时报内存不足关闭占用内存的大应用16 GB 机型建议缩短上下文长度首次生成很慢属正常现象加载 12.8 GB 权重后续请求会快很多模型下载中断重新执行命令即可断点续传或改用 git clone 本地目录想输入图片提问本模型带视觉编码器optiq/optiq_vision.safetensors需使用支持多模态输入的调用方式七、进阶读懂量化与剪枝配置对细节感兴趣的话三个配置文件值得看一眼混合精度optiq_metadata.json 记录了逐层位宽——绝大多数专家权重是 4bit少数敏感层如 embedding、路由 gate升为 8bit整体 4.51 bits/weight是「更小不更糊」的关键。KV 缓存量化kv_config.json 为 10 个全注意力层每 4 层一个配置了 4bit KV 缓存长上下文时显著省内存。加速 sidecaroptiq/mtp.safetensors 是 MTP多 token 预测权重配合服务端可提升解码吞吐。✅ 总结如果你想在 Mac 上跑一个「体积减半、速度不减」的 19B 级 MoE 模型Qwen3.5-35B-A3B-OptiQ-4bit-REAP-19B 目前是很省心的选择——脚本场景用mlx_lm三行代码起步服务场景用optiq serve一条命令上线。赞分享【免费下载链接】Qwen3.5-35B-A3B-OptiQ-4bit-REAP-19B项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Qwen3.5-35B-A3B-OptiQ-4bit-REAP-19B点击查看免费下载相关推荐mlx_lm 三行代码加载 Qwen3.6-35B-A3B-OptiQ-4bit-REAP-19B本地推理快速上手指南mlx_lm 三行代码加载 Qwen3.6 35B A3B OptiQ 4bit REAP 19B本地推理快速上手指南 Qwen3.6 35B A3B Opt一条命令开启 OpenAI 兼容 APIoptiq serve 部署 Qwen3.6-35B-A3B-OptiQ-4bit-REAP-19B 实战一条命令开启 OpenAI 兼容 APIoptiq serve 部署 Qwen3.6 35B A3B OptiQ 4bit REAP 19B 实战 如果你想在GPUStack 推理性能调优指南引擎选型、量化、投机解码与参数深调的实验驱动方法论GPUStack 推理性能调优指南引擎选型、量化、投机解码与参数深调的实验驱动方法论 GPUStack 的 Performance Lab 是基于真实硬件A上一篇Make-A-Video社区贡献指南如何参与项目开发与改进下一篇Godot 引擎 int 内置类型完全指南64 位整数、字面量语法、构造器与全部运算符详解创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考