SGLang 亚秒级引擎恢复：权重缓存守护进程实现快速重启

TL;DR随着SOTA模型规模持续扩大服务崩溃后重新加载模型的成本极高。为此我们推出Weight Cache Daemon一个持久化GPU进程通过CUDA IPC零拷贝映射将后量化模型权重保留在GPU内存中并提供给新的SGLang引擎实例。这将权重加载时间从数分钟缩短至秒级。Weight Cache Daemon是Fast Engine Recovery Framework的第一阶段目标是实现生产级LLM服务的冷重启小于10秒、热备用切换小于1秒。关键成果权重加载~495s → ~0.63s加速约785倍基于Ling-2.6-1T FP8模型总启动时间8.8min →0.528min端到端引擎启动时间减少93.9%多实例权重共享同一GPU上的多个引擎实例共享IPC句柄消除重复磁盘I/O和后量化转换主动-备用故障转移1秒通过零拷贝共享权重实现近零停机时间切换无需为备用副本预留完整GPU多节点实例权重共享支持大型模型的多节点模式背景随着LLM模型规模增长如Qwen3-235B、Ling-2.6-1T及新发布的2.8T Kimi K3服务引擎的冷启动时间已成为生产效率的关键瓶颈。Ling-2.6-1T FP8实例在8×H20-3e GPU上仅就绪就需约8.52分钟权重存储在3.5T NVME SSD中。分析显示权重从磁盘加载占启动时间的93.9%。每次重启都重复执行相同的磁盘读取、反序列化、TP分片和后量化操作尽管结果张量是确定性的。设计核心思路通过CUDA IPC实现持久化权重缓存Weight Cache Daemon是一个持久化GPU进程保存后量化、TP分片的权重。引擎重启时通过CUDA IPC零拷贝映射权重无需磁盘I/O、无需反序列化、无需重新量化。基于Meta Device的零拷贝加载引擎在meta device上初始化模型然后直接将参数数据指针替换为IPC映射的张量实现零拷贝。配置验证与安全机制任何配置不匹配都会触发完整磁盘重新加载确保正确性。量化方法受IPC白名单限制。生产场景应用该方案支持多实例权重共享、优先级共服务以及主动-备用故障转移等生产模式。本文首发于赢政天下(https://www.winzheng.com/article/barret-zoph-joins-google)获取更多深度技术内容与资源欢迎访问官网。