TurboQuant KV Cache量化实测：RTX 5090上下文容量翻倍，8卡MoE省30.9%显存

【免费下载链接】turboquantTurboQuant: Near-optimal KV cache quantization for LLM inference (3-bit keys, 2-bit values) with Triton kernels vLLM integration项目地址https://gitcode.com/gh_mirrors/tu/turboquant点击查看免费下载TurboQuant是一个针对 LLM 推理的 KV Cache 量化开源方案Key 压到 3-bit、Value 压到 2-bit配合 Triton 融合内核和 vLLM 集成。实测表明单张 RTX 5090 的最大上下文容量直接翻倍到 91.4 万 token8 卡 RTX 3090 跑 MoE 模型时每卡稳定省 30.9% 显存而且推理质量几乎无损。一句话看懂TurboQuant 是什么 跑大模型时KV Cache注意力缓存是显存里最会膨胀的部分——上下文越长吃得越多。TurboQuant 的思路是随机正交旋转先把向量信息摊平到各维度Lloyd-Max 最优量化对 Key 做 3-bit或更高标量量化配合预生成码本QJL 投影用 1-bit 符号位保留残差信息分组量化 位打包Value 按 2-bit/4-bit 分组压缩4 个值塞进 1 个字节。核心实现分布在 turboquant/quantizer.py量化算法、turboquant/codebook.pyLloyd-Max 码本和 turboquant/codebooks/预生成码本文件。实测一单卡 RTX 5090上下文容量翻倍 测试环境单张 RTX 509032GBvLLM 0.18.0Qwen3.5-27B-AWQdense 模型4-bit 权重。指标基线bf16 KVTurboQuant3b Key / 2b ValPrefill 吞吐30k 上下文1,804 tok/s1,907 tok/s5.7%Decode 吞吐30k 上下文1.264 tok/s1.303 tok/s3.1%释放的 KV Cache—30.0 GB4 卡合计最大 token 容量457,072914,1442.0x峰值激活内存644.6 MB599.2 MB-7.0%三个值得注意的结论容量 2 倍同样的显存能装下的上下文直接翻倍速度不降反升更小的 KV 读写让 prefill 快了 5.7%理论压缩比 4.4xdense 模型上纯注意力层的 KV 可省约 77%这是混合 MoE 模型只能省 30.9% 的原因下文解释。实测二8 卡 RTX 3090 跑 MoE每卡省 30.9% 显存 测试环境8 张 RTX 309024GBTP8Qwen3.5-35B-A3B MoE 剪枝版10 层 full-attention 30 层 linear-attention共 40 层。TurboQuant 只压缩 10 层 full-attention 的 KV各上下文长度下的每卡显存对比上下文基线 KV/卡TQ KV/卡每卡节省节省比例8,00055.7 MB38.5 MB17.2 MB30.9%32,000191.5 MB132.3 MB59.3 MB30.9%64,000374.3 MB258.5 MB115.8 MB30.9%100,000578.1 MB399.2 MB178.8 MB30.9%131,000755.7 MB521.9 MB233.8 MB30.9%省下的显存能拿来干什么上下文容量1,411,680 →2,043,808 token1.45x或者让再多 3 个并发的 131k 上下文请求挤进同一批卡里——对生产部署来说往往更值钱。 为什么是 30.9% 而不是 77%因为这个 MoE 模型 60% 的 KV 来自 linear-attention 层这类状态本身不可压缩TurboQuant 只能覆盖那 40%10/40 层× 约 77% 的压缩收益 ≈ 30.9%。纯 dense 模型才能吃满完整压缩比。质量验证压缩了模型变笨吗这是量化方案最容易被质疑的点。项目用了一整套测试来回答测试结果单针大海捞针512 ~ 131k token全部长度PASS近满上下文 5 针检索5/5全部找回3 针多事实一致性3/3全部找回黄金比例续写PASS困惑度 1.05~1.353-bit Key 量化余弦相似度1.000000近无损2-bit Value 量化余弦相似度0.9404-bit Value 量化余弦相似度0.997结论很明确3-bit 的 Key 压缩几乎无损质量瓶颈在 2-bit 的 Value。对质量敏感的场景建议把 Value 提到 4-bit0.997牺牲一点压缩比换回精度。怎么上手3 步跑起来 ⚡git clone https://gitcode.com/gh_mirrors/tu/turboquant cd turboquant pip install -e .之后按需运行脚本用途proof.py基线 vs TurboQuant 的 A/B 对比基准README 推荐脚本benchmark.py综合基准显存、吞吐、质量、上下文容量vLLM 接入通过install_turboquant_hooks(...)注入注意力层的 KV 捕获钩子关键逻辑在 turboquant/integration/vllm.py解码阶段则依赖 turboquant/triton_kernels.py 里的 3 个融合 Triton 内核。完整架构说明见 README.md。已知局限诚实版⚠️Value 量化是瓶颈2-bit 时 cos_sim 只有 0.94质量敏感任务建议 4-bit只压 full-attention 层linear-attention / Mamba 混合模型收益打折上文 30.9% 的由来Prefill 阶段仍走 paged cacheTurboQuant 是在 prefill 之后才释放内存真正的零分配需要更深的 vLLM 集成项目的对抗性审计章节见 README.md 的 Adversarial Audit 一节主动标注了部分宣传口径偏激进的地方这种诚实度在同类项目里比较少见。总结TurboQuant 给出的组合拳是3-bit Key 近无损 2-bit Value 省显存 Triton 内核不掉速 vLLM 无缝集成。如果你正被长上下文的显存瓶颈卡住或者想在现有 GPU 上多塞几个并发请求这套方案是目前 KV Cache 量化里值得优先尝试的选择之一。赞分享【免费下载链接】turboquantTurboQuant: Near-optimal KV cache quantization for LLM inference (3-bit keys, 2-bit values) with Triton kernels vLLM integration项目地址https://gitcode.com/gh_mirrors/tu/turboquant点击查看免费下载相关推荐TurboQuant快速上手教程5步接入vLLM省30%显存让长上下文容量翻倍TurboQuant快速上手教程5步接入vLLM省30%显存让长上下文容量翻倍 TurboQuant 是一款面向 LLM 推理的 KV Cache 量化工具LMDeploy KV Cache 量化实战INT4/INT8 在线量化与 TurboQuant 深入解析LMDeploy KV Cache 量化实战INT4/INT8 在线量化与 TurboQuant 深入解析 本篇技术指南以 LMDeploy 的 KV Cac人工智能大模型模型推理服务推理引擎本地部署模型量化Strata 社区基准实测RTX 5090 上 IQ2_XS 量化 128K 上下文的吞吐、复现方法与内存遥测Strata 社区基准实测RTX 5090 上 IQ2_XS 量化 128K 上下文的吞吐、复现方法与内存遥测 本文基于 Strata 仓库中归档的一份社区基人工智能大模型本地部署推理引擎模型推理服务模型量化创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考