新手入门投机解码：一文看懂 NVIDIA Nemotron 的 LiLiCorr 草稿模型是什么

【免费下载链接】NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4-LiLiCorr项目地址https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4-LiLiCorr点击查看免费下载NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4-LiLiCorr是 NVIDIA 官方发布的投机解码Speculative Decoding草稿模型它与 120B 大模型 Nemotron-3.5-Super-VL-120B-A12B 配对在不改变大模型输出质量的前提下显著加快文本生成速度专为 DGX Spark 和低并发数据中心场景优化。本文面向新手带你看懂草稿模型在投机解码中的角色、这个 LiLiCorr 检查点的具体构成以及如何用 vLLM 快速部署。一、什么是投机解码为什么需要草稿模型大模型生成文本时要逐个输出 token速度常被 GPU 带宽卡住。投机解码用先猜后验的策略解决这个问题一个轻量**草稿模型Draft Model**快速打草稿一口气提出一串候选 token大的**目标模型Target Model**一次并行验证这整串候选被接受的 token 直接保留被拒绝的丢弃并由目标模型重新采样关键保障是最终输出分布与目标模型单独生成时完全一致——草稿模型只影响速度不影响质量。LiLiCorrLightweight Likelihood Correlation of Parallel Drafts for Speculative Decoding是面向并行草稿的投机解码方法用一个极轻量的相关性头部对草稿模型并行产出的多个候选 token 做评估筛选在保留块式草稿低延迟优势的同时进一步提升接受长度。二、这个仓库里有什么仓库非常精简只有 4 个核心文件文件作用README.md模型卡架构、训练数据、评测结果与使用说明config.json模型配置架构、注意力与量化参数hf_quant_config.jsonModelOpt 生成的 NVFP4 量化配置model.safetensors草稿模型权重约 1.3 GB120B 目标模型动辄数百 GB 存储而这个 LiLiCorr 草稿模型的权重只有约1.3 GB——这正是投机解码的核心价值用极小的额外开销换取大模型的显著提速。三、读懂 config.json草稿模型的解剖图config.json 揭示了草稿模型的完整架构参数设计处处讲究小巧整体架构Dense GQADense MLP Grouped Query Attention仅5 层config.json基于 qwen3 结构hidden_size为 4096注意力草稿块内使用双向 GQA32 个 query 头 / 8 个 KV 头配合覆盖最近8,192个上下文的滑动窗口注意力每个注意力 / MLP 子层外还包裹了分组动态卷积草稿块大小block_size 8每轮一次提出8 个 tokenconfig.jsonLiLiCorr 头部独立的2 层小头在每个草稿槽位对top-8候选做相关性打分约 37M 参数配置见 config.json复用目标模型表示从目标模型 88 层中的 1、22、43、64、85 共 5 层取中间特征config.json体量1.13B 训练参数外加目标模型 LM head 的一份 0.54B NVFP4 拷贝一句话总结草稿模型是个 5 层的迷你模型LiLiCorr 头额外开销不到 4000 万参数。四、NVFP4 量化草稿模型再减重该检查点由 NVIDIAModel OptimizerModelOpt库构建采用W4A16_NVFP4量化方案权重以 4-bit NVFP4 存储quant_method: modelopt_fp4group size 16显存与 IO 占用大幅下降hf_quant_config.json 列出了不参与量化的模块注意力、卷积、归一化层以及全部lilicorr头相关参数均保持高精度保证打分头部的数值稳定目标模型同样有 NVFP4 版本Nemotron-3.5-Super-VL-120B-A12B-NVFP4两者配对使整条推理链路都更加省显存五、它是怎么训练、怎么验证的训练数据纯后训练语料合计约582 亿 token——22.6B token 以 4096 窗口训练 3 个 epoch再接 35.6B token 以 8192 窗口训练 2.9 个 epoch500K 步训练目标回复全部由 Nemotron-3.5-Super 自身以 temperature 1.0 重新生成覆盖推理、数学、代码、工具使用、智能体与多语言等任务评测基准SPEED-Bench核心指标是接受长度每轮草稿中平均被目标模型接受的 token 数草稿长度取 7 时各任务在 T0 下的接受长度数据来自 README.md任务接受长度rag5.69coding5.65multilingual5.53summarization5.37math4.93reasoning4.87qa4.37roleplay3.78整体平均4.74整体平均 4.74意味着每轮提出 7 个 token平均约 4.7 个能被直接接受在最常见的编码、RAG 场景下可超过 5.6接近一次验证、全部通过。六、快速上手vLLM 部署清单NVIDIA 在目标模型NVFP4 版模型卡的 Quick Start 中提供了 LiLiCorr 的官方部署配方。新手可以按以下步骤走准备NVIDIA Blackwell含 DGX Spark / GB10或HopperGPU 环境Linux 系统 CUDA获取目标模型 Nemotron-3.5-Super-VL-120B-A12B-NVFP4 与本草稿模型如从代码托管平台克隆本仓库地址为git clone https://gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4-LiLiCorr用vLLM启动服务同时加载目标模型与这份草稿检查点用一段简单对话验证加速效果观察生成速度提升注意本检查点是针对DGX Spark 与低并发数据中心工作负载调优的。高并发服务场景下投机解码收益可能下降Nemotron-3.5-Super-VL 也内置了 MTP 路径可供对比选择。七、新手常见问题FAQ问草稿模型会改变大模型的回答吗不会。在目标模型验证机制下投机解码严格保留目标模型的输出分布草稿模型只改变速度。问它和 MTP 有什么区别Nemotron-3.5-Super-VL 支持两条投机解码路径原生 MTP多 token 预测与LiLiCorr。本仓库即 LiLiCorr 检查点设计目标是兼顾低延迟与高接受长度特别适合 DGX Spark 这类紧凑 Blackwell 系统。问可以商用吗模型受OpenMDW-1.1许可证约束官方声明可用于商业与非商业场景具体条款以官方许可文本为准。写在最后这个 LiLiCorr 草稿模型的作用可以概括为一句话用约 1.3 GB 的额外权重让 120B 的 Nemotron 大模型每一步批量通过多个 token在 DGX Spark 等单机设备上带来最直观的提速而答案仍与大模型自己生成的分毫不差。新手只需记住草稿模型是大模型的加速器不是发动机。赞分享【免费下载链接】NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4-LiLiCorr项目地址https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4-LiLiCorr点击查看免费下载相关推荐ZenML 发布分支回迁实战把 develop 上的文档与示例改动 Backport 到在版 ReleaseZenML 发布分支回迁实战把 develop 上的文档与示例改动 Backport 到在版 Release 本文基于 ZenML 仓库内置的 ClaudeNVFP4是什么从Qwen3.8-27B-NVFP4入手一文读懂NVIDIA 4位浮点量化NVFP4是什么从Qwen3.8 27B NVFP4入手一文读懂NVIDIA 4位浮点量化 这篇文章带你一文读懂 NVFP4 NVIDIA 4位浮点量化人工智能大模型模型量化多模态segmind-vega-amdnpu 是什么一文看懂 AMD 官方的 NPU 加速文生图模型segmind vega amdnpu 是什么一文看懂 AMD 官方的 NPU 加速文生图模型 segmind vega amdnpu 是 AMD 官方推出的创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考