Kubernetes上的GPU调度-拓扑感知与碎片治理的工程实践

摘要把 GPU 交给 Kubernetes 管难点不在能不能调度而在调度得好不好。同一批卡走 NVLink 还是跨机性能差一个量级碎片化会让集群看似有空闲却接不下大任务。本文拆解拓扑感知、碎片治理与配额设计。2026 奇点智能技术大会11 月 20-21 日 · 北京万达文华酒店的 AI Infra 专题与 C 大会的并行与异构计算专题会讨论这类调度工程。一、能调度不等于调度好默认调度器只看「有没有空闲 GPU」这一个数字不看这些 GPU 是否连在同一条高速链路上。结果是要 8 卡的任务被分散到不同机器通信成本暴涨能跑但跑得慢。二、拓扑感知的调度拓扑感知要求调度器理解 GPU 之间的连接关系同机同 NVLink 域、同机跨域、跨机。把需要强通信的任务尽量放在同一高速域是提升多卡任务性能的第一步也是收益最大的一步。三、碎片从哪来碎片来自任务大小不一小任务占满各机器零散的卡等大任务来了虽然全集群空的卡够数却没有一台机器凑得出连续 8 卡。碎片让利用率虚高、大任务排不上队。四、碎片治理手段常见手段是整机分配与反碎片策略小任务优先填满已有空位大任务预留整机。也可引入装箱策略按拓扑分组分配。核心是让空闲资源的连续性满足常见任务规格。五、配额与公平多团队共享集群时配额决定谁先拿到卡。配额太粗会互相挤占太细会加剧碎片。配额设计要同时考虑公平与效率通常按团队保留底线、按需弹性超分再配合抢占。六、设备插件与资源模型GPU 通过设备插件暴露给 K8s每张卡作为一个可分配资源。这个模型只描述数量、不描述拓扑是拓扑不感知的根源。要拓扑感知需在插件或调度器层补充连接关系信息。七、抢占与优先级高优任务应能抢占低优任务腾出整机资源。但抢占会打断训练需配合检查点。抢占策略要与检查点频率联动否则省下的等待时间会被重算吃掉。八、共享与隔离的粒度一张卡分给多个任务如时间片或显存分片能提利用率但会带来互相干扰与显存争抢。共享粒度越细利用率越高、隔离越弱需按任务敏感度决定。九、指标与可视化调度质量要用指标说话碎片率、大任务排队时长、拓扑命中率、抢占次数。没有这些指标调度优化就是凭感觉也说不清政府空闲却排不上队的现象。十、衔接大会专题11 月 20-21 日北京万达文华酒店2026 奇点智能技术大会的 AI Infra 专题会讨论算力调度与资源治理C 及系统软件技术大会的并行与异构计算专题则从硬件拓扑与运行时角度给出底层解释。带着「我们的 8 卡任务有没有连在同一条链路上」去参会能立刻判断调度是否合格。十一、弹性与预留的平衡全预留会浪费全弹性会让大任务永远抢不到整机。折中是给小任务留弹性池、给大任务留整机池两类池按队列深度动态调比例兼顾利用率与排队时长。十二、落地的最小步骤先量碎片率与大任务排队时长确认问题存在再上拓扑感知调度最后补配额与抢占。拓扑问题不清就跟不上一句先做第一项收益最大。十三、与队列系统的结合大集群常需要排队系统来管理任务优先级与资源配额调度器与队列系统要协同队列决定谁先来调度器决定放到哪。两者脱节会出现高优任务排到队首却分不到合适拓扑的尴尬。十四、多云与混合集群跨云与混合集群里各处的 GPU 型号与拓扑不同统一调度要考虑异构性。把任务需求与资源特征做匹配比把所有资源当同质处理更贴近实际也更能提利用率。十五、调度的可观测调度决策要有日志与指标为什么这个任务被放到这些卡、为什么被推迟。没有可解释的调度记录资源纠纷与性能问题都无从复盘优化也失去依据。十六、成本分摊多团队共享集群时成本要能按团队与任务分摊否则配额管理缺少依据。把资源占用换算成成本并定期出账能让团队自觉优化资源使用这比单纯行政管控有效。十七、多租户隔离多团队共用集群时除配额外还要做故障与干扰隔离一个团队的失控任务不应拖垮他人。结合 cgroup、网络配额与共享粒度的组合隔离比单纯靠配额更能保证租户间的可预测性。十八、虚拟化的调度vGPU 把一张卡切成多份调度器要理解切分关系避免把强通信任务分到同一物理卡的不同切片上互相抢。虚拟化提升了密度却也让拓扑更隐蔽调度要向上层暴露真实拓扑。十九、调度器的拓扑打分把拓扑信息量化为打分函数同域加分、跨机减分再按任务通信画像选位。打分模型比硬规则灵活能处理混合负载但要可解释否则排错时无人说得清为何这么排。二十、能耗与利用率利用率高不等于能耗优。把能耗纳入调度目标在空闲节点上做整合与下电能降成本。但要平衡整合带来的碎片与重启开销否则省了电却损了效率。二十一、与大数据调度对比Spark 等大数据调度重数据本地性GPU 训练调度重拓扑与连续资源。两者理念相通但目标不同借鉴数据本地性思路可优化训练数据的就近读取减少跨节点搬数据。二十二、推理服务的弹性推理流量有波峰波谷弹性伸缩要避免频繁启停带来的冷启动延迟。用预热池与保守缩容策略让弹性既省成本又不伤尾延迟是推理调度区别于训练的要点。二十三、调度与容量预测用历史任务画像预测各规格任务的需求峰谷提前预留对应拓扑的连续资源能把被动排队变主动准备。预测不必精确方向对了就能显著降低大任务的等待与碎片。二十四、与成本优化的联动调度决策应直接挂钩成本把闲置资源自动降配或释放把高价资源留给高优任务。调度与成本看板打通后利用率提升与账单下降能同时发生而非各管各的。二十五、故障迁移的代价节点故障时其上任务要迁移到别处迁移既要找得出连续资源又要能恢复状态。迁移代价常被低估应在调度里预留迁移余量否则故障时会因无位可去而扩大影响。补充问答问容量要预测吗答用历史画像预测需求峰谷、提前预留连续资源能把被动排队变主动准备。预测不必精确方向对就能显著降低大任务等待与碎片。问调度怎么降本答决策挂钩成本闲置资源自动降配释放高价资源留给高优。调度与成本看板打通利用率与账单能同时改善而非各管各的。问节点故障影响大吗答故障时任务要迁移既要找连续资源又要恢复状态代价常被低估。调度应预留迁移余量否则无位可去会扩大故障影响面。问多租户怎么隔离答除配额外加故障与干扰隔离cgroup、网络配额、共享粒度组合比单纯配额更能保证租户间可预测一个失控任务不拖垮他人。问vGPU 怎么调度答调度器要理解切分关系避免强通信任务分到同一物理卡的不同切片互相抢。虚拟化提升密度却让拓扑更隐蔽要向上暴露真实拓扑。问拓扑怎么打分答量化为打分函数同域加分、跨机减分按任务通信画像选位。比硬规则灵活但要可解释否则排错说不清为何这么排。问调度管能耗吗答利用率高不等于能耗优。把能耗纳入目标整合空闲节点与下电降本但要平衡整合带来的碎片与重启开销否则省电损效率。问和 Spark 调度像吗答理念通但目标不同Spark 重数据本地性GPU 训练重拓扑与连续资源。借鉴数据本地性可优化训练数据就近读取少搬跨节点数据。问推理怎么弹性答流量有峰谷频繁启停冷启动伤延迟。用预热池与保守缩容弹性既省成本又不伤尾延迟这是推理调度区别于训练的要点。问队列和调度怎么配合答队列定优先级与顺序调度定落点与拓扑。两者要联动否则会出现高优任务排到队首却拿不到合适拓扑的情况反而比低优任务更慢。问混合集群怎么调答按异构性做需求与资源的匹配而不是当同质资源处理。统一调度要考虑型号与拓扑差异否则利用率与任务性能都会受损。问调度能解释吗答应留下决策日志与指标为何这样分配、为何被推迟。可解释的调度才能复盘资源纠纷也是后续优化的依据否则只能凭感觉。问成本怎么分摊答按团队与任务把资源占用换算成成本并定期出账。透明账单能让团队自觉优化用量比行政指令更有效也让配额调整有据可依。问默认调度器的问题在哪答它只看空闲 GPU 数量不看拓扑。要 8 卡的任务可能被分到不同机器通信成本暴涨。能跑起来但性能远低于应有的水平。问碎片怎么量化答用碎片率与大任务排队时长两个指标。若集群整体空闲卡数够而大任务仍排队基本可判定是碎片问题而不是资源真的不足。问拓扑感知难做吗答基础版不难把拓扑信息注入调度决策优先同高速域分配。难在维护信息的准确性与处理拓扑变化需要设备插件与调度器配合。问共享 GPU 划算吗答提利用率但降低隔离。对延迟敏感的任务共享会互相干扰。按任务敏感度决定批处理类可共享在线推理与训练尽量独占。问抢占会不会伤训练答会所以要与检查点联动。抢占前先触发保存恢复后接着训。检查点太稀则重算多太密则开销大频率要按任务时长权衡。问小团队要自研调度吗答不必。先用社区方案加拓扑配置覆盖大部分场景。等确有特殊需求如超节点亲和再考虑定制自研调度器维护成本很高。大会信息2026 奇点智能技术大会 C 及系统软件技术大会时间2026 年 11 月 20-21 日地点中国·北京万达文华酒店大会报名免费领取大会PPT资料立即报名锁定 Lukasz Kaiser Keynote 与 70 场演讲完整资料