AI数据中心液冷：提高流速对下一代液冷系统的影响

一、提高流速对下一代液冷系统的影响1. GPU的TDP和流速核心问题: 随着GPU的TDP热设计功耗呈指数级增长冷却系统的流速也必须大幅提升这会带来一系列连锁问题。行业标准: 目前普遍遵循OCP建议的“每千瓦1.5升/分钟”的流量标准。流速增长预测:当前GPU1200W约1.0 LPM。下一代GPU2400W约4.0 LPM。未来GPU3600W约6.0 LPM。连锁问题: 流速的大幅增加会导致压降、泵功和流速的急剧上升超出当前基础设施的设计范围。结论: 需要在刀片内部和外部采用新的架构来应对。文档文本视频中英文版本已上传至星球https://t.zsxq.com/NImzO或知识星球搜索星球号542951542. 流速和压降物理定律:压降: 根据达西-魏斯巴赫方程压降ΔP与流速Q的平方成正比。泵功: 泵功Power与压降和流速的乘积成正比即与流速的立方成正比。实际影响: 流速的微小增加会导致压降和泵功的剧烈增长。举例: 流速从1 LPM增加到4 LPM4倍压降可能增加16倍泵功需求可能增加64倍。结论: 压降和泵功将从次要问题变为系统设计的关键变量。3. 机架密度增加冷却范围扩大: 液冷不再仅限于GPU客户开始要求对DIMM、SSD、互连等所有组件进行液冷。影响: 刀片内的总热密度增加“每千瓦1.5升/分钟”的标准不再适用。单刀片GPU数量增加: 单个刀片内的GPU数量从2个增加到8个甚至更多。影响: 刀片的总流速随组件数量线性增加进一步加剧了高流速带来的挑战。4. 流速、速度和侵蚀核心关系: 流速增加流体速度也随之增加。行业标准: 目前行业默认的最大流速限制约为3米/秒10英尺/秒该标准源自ASHRAE手册旨在最小化侵蚀。现状: 该标准正在被讨论和研究中可能会根据材料、几何形状等因素进行调整。过高流速的风险:导致材料降解和侵蚀腐蚀。最终后果: 产生泄漏对昂贵的机架造成巨大风险。5. 系统级影响仿真模型模型设定: 使用一维流网络模型模拟传统数据中心部署。基础设施: 3英寸母管、1.5英寸支管、6个125kW机架并联由CDU供液。冷却介质: PG25。研究目标: 在不改变任何基础设施的前提下将流量比从0.7 LPM/kW提升至2.0 LPM/kW观察其影响。6. 系统级影响仿真结果关键发现: 压降和泵功需求呈指数级增长。压降: 从8.0 psid增加到54.1 psid增长了6.8倍。泵功: 从0.7 kW增加到13.9 kW增长了19.4倍。流速问题: 系统内的流速接近6米/秒远超3米/秒的安全上限。结论: 简单地增加流速而不改造基础设施是行不通的存在物理限制。7. 刀片中的解决方案方案一微通道并行化: 通过增加并行微通道的数量缩短单个流道长度在保持高换热效率的同时大幅降低压降。方案二高性能几何结构: 采用先进的微通道设计降低冷板的基础热阻从而在相同TDP下使用更低的流速。方案三两相冷却: 利用冷却液的相变潜热相比单相冷却可以在显著降低流速的情况下带走更多热量。注意: 两相冷却需要对数据中心基础设施进行较大改动。1流道并行化示例仿真对比:标准微通道: 200μm宽200μm壁厚40mm长。并行化微通道: 将相同体积分割成9个4mm长的并行通道。测试条件: 使用PGW256 LPM流量45°C入口温度4kW热负载。结果:压降: 并行化通道的压降比标准通道低33倍。热性能: 并行化通道的平均壁温比标准通道低7°C。原因: 每个短通道的边界层会重新发展从而获得更高的有效换热系数。8. 系统级缓解措施最小化阻抗: 尽可能使用全通径阀门和连接器。探索并行路径: 为机架支管和快接头设计并行路径。面向未来设计:根据未来的流量需求预先选择更大的管道/软管直径。预留额外的支管和隔离阀以便未来增加CDU和IT设备机架。模块化解决方案: 采用模块化CDU和TCS歧管设计使基础设施能够随负载扩展。1未来证明系统示例改进设计:使用6英寸母管和4英寸支管带变径至2英寸。支持并行部署两个CDU。结果:在2.0 LPM/kW的流量下所需液压功率为7.5 kW比之前案例降低了19%。系统内流速降至3米/秒以下符合安全标准。核心观点: 提前规划是应对未来高流速挑战的关键。9. 行动号召问题重申: 不断上升的流速正对压降、泵功和整个系统设计构成挑战。行动建议:制定OCP规范: 创建标准化的测量方法和系统级压降预算用于建模、比较和验证基础设施能否扩展。参与OCP工作流: 积极参与冷板、浸没、门式换热器等冷却环境工作流。联系作者: 欢迎合作与交流。二、知识小结要点归纳主题核心观点主要论据文中金句下一代液冷系统流量增加的影响随着GPU TDP指数级增长冷却液流量必须大幅提升但现有基础设施无法应对压力降、泵功率和流速的剧增GPU TDP从当前水平增至2400-3600W流量需求从1 L/min增至4-6 L/min压力降与流量平方成正比泵功率与流量立方成正比“这些我们今天不太担心的量压力降和泵功率可能很快成为驱动系统设计的变量”流量增加带来的物理限制压力降、泵功率和流速将呈指数级增长超出传统设计范围流量增加4倍可能导致压力降增加16倍、泵功率增加64倍流速接近6 m/s远超行业公认的3 m/s限值“你不能只是增加流量然后期望一切正常工作存在物理限制”刀片内部解决方案微通道并行化可显著降低压力降并保持高热性能并行化微通道9个并行通道相比标准微通道压力降降低33倍平均壁温降低7°C“每次有一个小微通道边界层重新开始从而获得更高的有效传热系数”基础设施规划策略提前规划、适度超配是应对未来高流量需求的关键使用6英寸集管和双CDU并行配置可降低19% 泵功率并将流速控制在安全范围内“提前规划听起来简单但确实是关键”流体特性对比PG25和乙二醇在热性能上存在差异但毒性是选择的关键因素乙二醇具有更好的导热性、热容量和更低粘度但毒性限制了大规模应用“从热管理角度看很难反驳应选择EGW而非PGW但毒性是巨大缺点”两相冷却前景两相冷却可大幅降低流量需求但面临环境与健康挑战常见两相制冷剂全球变暖潜能值较低但PFAS问题令人担忧CO₂作为冷却剂具有GWP1的优势“两相冷却值得研究但单相冷却仍有很长的路要走”趋势对比对比项当前状态未来趋势影响程度GPU TDP当前水平2400-3600W指数级增长流量需求1 L/min4-6 L/min4-6倍增长压力降可忽略16倍增长系统设计关键变量泵功率可忽略64倍增长能源成本剧增流速安全范围内6 m/s超限值侵蚀/泄漏风险冷却组件范围仅GPUGPUDIMMSSD互连总热密度增加