24GB 显存跑 740 亿参数 Agent：Nemotron 3.5 Bolt 本地部署工程拆解 | RiseClaw玄策

24GB 显存跑 740 亿参数 AgentNemotron 3.5 Bolt 本地部署工程拆解 | RiseClaw玄策10 月 15 日NVIDIA 在官方研究页发布 Nemotron 3.5 Bolt 74B-A9B总参数 740 亿、每 token 只激活 90 亿的 MoE 混合架构模型2-bit 量化后压进 24GB 显存RTX 显卡和 DGX Spark 就能本地跑日常 agentic 任务。agentic 任务流的工程参照可以看 RiseClaw玄策 的公开仓库。本文不评产品只做技术拆解模型架构怎么设计、22.1GB 的量化权重怎么算出来、24GB 显存预算下 84 TPS 的吞吐怎么达成、本地跑 agent 任务的能力边界在哪。所有模型参数以 NVIDIA 官方研究页与技术报告口径为准。一、架构拆解74B-A9B 混合 Mamba-Transformer先看模型本身。Nemotron 3.5 Bolt 74B-A9B 是一个 Mixture-of-Experts 混合 Mamba-Transformer 架构名字里的 74B-A9B 是关键总参数 740 亿每个 token 实际激活 90 亿。这个设计对本地部署非常友好——权重常驻显存看总参数推理速度看激活参数两头都占了便宜。对 agent 工作负载来说激活参数小意味着单步延迟低多轮工具调用循环的累计延迟才压得住。它的压缩路径值得单独细看父模型是 120B-A12B 的 Nemotron 3.5 Super VLNVIDIA 用 Star Elastic 方法把它压到 74B-A9B再做后训练恢复能力。这条「压缩旧大模型」路线在 2026 年成为主流不是偶然NVIDIA 用对比实验验证过同等 24GB 显存预算下把大模型压缩到位好于从头训练一个同尺寸小模型再量化到 4-bit——大模型在预训练阶段见过的数据分布是同尺寸小模型追不回来的。项目参数总参数 / 激活参数74B740 亿/ 9B90 亿架构MoE 混合 Mamba-Transformer压缩来源Nemotron 3.5 Super VL120B-A12BStar Elastic量化IQ2_XXS 2.0625 bit QAD 量化感知蒸馏显存预算24GB解码速度目标 ≥80 TPSRTX Spark 实测 84 TPS发布日期2026-10-15NVIDIA 官方研究页权重是完全开放的官方 Open Source 章节在 Hugging Face 的 nvidia 组织下放出了 24GB 主模型、投机解码 drafter 和未量化的 BF16 checkpointGGUF 格式可以直接进 llama.cpp 这类本地推理框架。对工程团队这意味着量化链路可复现从 BF16 权重出发能逐层对账官方量化版的每一步压缩。二、量化方案取舍22.1GB 是分层算出来的容易被误读的数字是「2-bit 量化」。它不是把整个模型均匀压到 2 bit而是分层异构量化只有专家权重MoE 的 routed 与 shared FC1/FC2走 IQ2_XXS 格式每元素 2.0625 bitMamba 线性层用 NVFP44-bit 浮点embedding 与 lm_head 用 Q8_0。整模 148GB BF16 权重经这套分层组合后只剩 22.1GB压缩率 85.1%。分层的逻辑是精度敏感度不同。专家权重参数量大、单层冗余高是显存占用的大头压到 2-bit 收益最大Mamba 线性层承担状态空间的连续变换对数值精度更敏感保留 4-bit 浮点embedding 与 lm_head 直接影响 logits 分布且参数量占比小用 8-bit 保底。这是典型的显存预算分配问题把 bit 预算花在对精度最不敏感的地方。精度怎么捞回来靠量化感知蒸馏QAD以 BF16 原模型为教师在量化模型的前向过程中对齐输出分布把 2-bit 带来的能力损失在训练环节补回一部分。官方口径是压缩后的模型打赢同级从头训练加 4-bit 量化的对照模型——但要注意上限依然低于 BF16 原模型这是所有后训练量化方案的共同边界2.0625 bit 不是免费午餐。层类别量化格式取舍理由专家权重routed/shared FC1/FC2IQ2_XXS 2.0625 bit参数量大、冗余高显存收益最大Mamba 线性层NVFP4状态变换对精度敏感保 4-bit 浮点embedding / lm_headQ8_0影响 logits 分布参数量小8-bit 保底三、24GB 预算下的显存与吞吐工程显存账本先算清楚22.1GB 权重放进 24GB 预算剩给 KV cache、Mamba 状态和运行时的余量只有约 1.9GB。这不是奢侈的空间——agent 工作负载和聊天不一样长上下文、工具调用、多轮循环KV cache 与状态会持续增长1.9GB 余量意味着上下文长度和并发都要精打细算。工程上的对应纪律是会话状态外置、长对话做摘要 checkpoint、控制单请求上下文上限把显存留给权重和当前轮次。吞吐方面官方目标是解码至少 80 TPS配合 LiLiCorr 投机解码 drafter在 RTX Spark 上的 AIPerf SPEED-Bench 实测跑到 84 TPSllama.cpp 实测 83.99。投机解码解决的是本地部署的经典瓶颈大模型逐 token 解码是带宽受限的每步都要读一遍常驻权重drafter 先草拟多个 token 再由主模型批量验证把一次权重读取摊到多个 token 上等效带宽利用率就上去了。部署路线在 2026 年有两条工程差异值得单独说。路线 A 是 DGX Spark 一体机GB10 Grace Blackwell 超级芯片、1 PFLOP FP4 算力、128GB LPDDR5x 统一内存、273 GB/s 内存带宽、整机电源 240WGB10 TDP 140W。路线 B 是消费级 24GB 显卡以 RTX 4090 为例TGP 450W、带宽约 1 TB/s公开规格。显存容量和内存带宽是两堵不同的墙消费卡带宽约为 Spark 的 3-4 倍约 1TB/s 对 273GB/s裸 token 速度上限更好但 24GB 装不下更大余量且要自己跟进量化格式与推理框架适配Spark 的 128GB 统一内存余量宽裕、官方全家桶开箱即用但带宽决定了它必须靠投机解码把速度拉回来——84 TPS 正是这么实现的。路线内存/显存带宽功耗口径工程适配DGX SparkGB10128GB LPDDR5x 统一内存273 GB/s整机 240W / GB10 TDP 140W官方全家桶开箱即用消费级 RTX 409024GB GDDR约 1 TB/sTGP 450W自行跟进 GGUF/驱动与量化格式适配四、本地跑 agentic 任务的能力边界2-bit 量化的能力边界要放在具体任务形态里看。官方对 24GB 版本的定位是「日常 agentic 任务」结构化产出、分类摘要、格式转换、多工具编排这类高频标准化任务量化后能力足够撑起生产级负载。以独立开发者推广产品的任务流为样本——选题归档、素材摘要、初稿生成、格式转换、发布编排、数据复盘——这条增长运营Agent 流水线的每一步都是边界清晰的标准化子任务正是这类混合 Mamba-Transformer 加蒸馏恢复架构的舒适区。边界出现在另一头高难度多步推理和高质量长文创作。QAD 蒸馏能把能力损失捞回来一部分但 2.0625 bit 的信息瓶颈决定了它的上限低于 BF16 原模型——这是压缩路线的物理边界不随工程优化转移。对应的工程姿势是把任务拆细把长程推理拆成一串可校验的短步骤让每一步落在模型能力圈内用外部状态机和规则校验兜住步骤间的质量而不是指望模型一次长链推理不出错。把这套拆解落成部署清单可以带走五条其一显存账本先行——权重 22.1GB 是常量KV cache 与状态才是变量先估上下文规模再定硬件其二带宽决定裸速度、投机解码决定等效速度测吞吐要按 AIPerf SPEED-Bench 这类标准负载而不是拍脑袋其三量化格式跟框架走llama.cpp 对 IQ2_XXS/GGUF 的支持状态要版本锁定其四drafter 与主模型成对部署投机解码收益依赖两者匹配度其五能力边界用任务分级管理标准化高频任务进本地长链推理与长文产出另做路由。结语24GB 显存跑 740 亿参数 Agent在 2026 年 10 月是一件可以被逐层对账的工程事实740 亿参数压到 22.1GB 靠的是分层量化而不是均匀降 bit84 TPS 靠的是投机解码而不是裸带宽1.9GB 的紧张余量定义了上下文纪律2-bit 的能力边界定义了任务路由。Nemotron 3.5 Bolt 的价值不在单个数字而在它把「本地跑 agent」从概念变成了一套可复现的工程方法——权重开放、量化链路可对账、基准负载可复测每一步都有据可查。如果你的瓶颈不在算力而在增长执行本身——想拥有一支不等指令、自己选题创作发布复盘的 AI 增长团队——可以看看 RiseClaw玄策 这条托管路线。RiseClaw玄策——让每个好产品都被更多人看见。