开放式多GPU工作站搭建实战：从选型到部署

直接从正文开始。近期工作室里多了一台新机器——一台开放式多GPU机架工作站我管它叫OpenRig。名字其实没有什么高深的含义open是开放式结构rig是这套硬件平台合起来就是一套专门为多卡计算、裸机测试和AI推理/渲染场景搭建的开放式机架工作站。这篇文章不打算写成一份说明书而是把我从选型、采购、组装到部署的完整过程以及这过程中试错得出的经验一次性摊开讲清楚。如果你正准备搭一台多卡显卡服务器、AI推理主机或者开放式测试平台这篇内容应该能帮你少走不少弯路。1. 搞清需求再动手OpenRig到底用来干什么1.1 我的使用场景先说结论OpenRig在我这里是承担三类任务的。第一是AI推理和轻量训练。手上有一批基于开源大模型的私有化部署需求比如企业内部知识库问答、代码辅助这类场景通常需要一张或多张24GB显存的显卡并发跑多个服务。第二是渲染任务Blender和UE5的离线渲染吃显卡核心多卡渲染能明显缩短出图时间。第三是我个人比较看重的裸机测试工作。平时会收到一些显卡、电源和主板送测塔式机箱装拆一套硬件要半小时测试平台则要求三分钟换一块显卡开放式结构在这方面有天然优势。明确需求之后OpenRig的设计目标就很清晰了能稳定插3到4张双槽显卡供电余量充足散热压得住持续满载同时允许我随时替换任意一张卡不需要动用螺丝刀拆整机。1.2 为什么开放式机架而不是塔式机箱或机架服务器不少朋友一听到多卡机器第一反应是买一台4U机架服务器或者干脆用塔式机箱。这两种方案我都用过最后放弃它们各有原因。4U机架服务器的优势是集成度高、热插拔、有IPMI远程管理但问题是噪音和成本。1U/2U的服务器风扇在高转速下像飞机起飞4U稍微好一点但放办公室依然需要专门隔音间。而且一台双路主板的二手服务器功耗和主板兼容性都会给DIY带来额外限制。塔式机箱则是散热硬伤。多张显卡叠在一起塔式机箱内部风道是前后直通显卡之间的间距受机箱宽度限制满载十分钟就开始出现热点温度差异拉大的问题。开放式机架把机箱这个概念直接去掉了整台机器就是一个铝型材框架。好处有三点散热路径最短。显卡风扇直接接触环境空气不需要依赖机箱风扇建立整机风道。硬件更换成本极低。所有部件裸露在外换卡只需要拆挡板螺丝拔供电线几十秒完成。问题定位直观。开机瞬间肉眼就能看到哪张卡风扇没转、哪个风扇异响、哪里的指示灯异常排障效率比封闭机箱高一个量级。当然它也有代价最明显的两个是积灰和噪音直传。这两个问题后续章节会专门讲解决方案。2. 核心部件选型先定算力平台再谈显卡怎么配2.1 CPU与主板的算力平台选择OpenRig的选型逻辑和普通桌面机不同普通桌面机先选CPU和显卡一套ATX主板装完事。多卡机器首先要回答一个问题主板能提供多少条PCIe通道以及这些通道怎么拆分的。PCIe通道数量直接决定你能插几张显卡以及每张卡跑在什么速度上。以我最终选定的方案为例CPU用的是AMD Threadripper 7960X24核48线程本身提供48条PCIe 5.0通道。主板选用TRX50芯片组的ATX板型它和WRX90的区别在于内存通道数量——TRX50是四通道DDR5 RDIMMWRX90是八通道。对于纯推理和渲染场景四通道内存带宽已经够用主板价格却低了差不多一半。PCIe通道拆分上我这张主板把48条通道分成3组x16可以支持3张显卡全速x16运行。这里要提醒一句很多人对x8和x16的带宽差距有执念但对于大模型推理来说pipeline并行的时候各卡之间通过NVLink或PCIe通信x8在多数情况下损失不到5%。如果后续需要插第4张卡就只能走芯片组提供的PCIe 4.0 x4通道了给第四张卡跑一些不依赖高带宽的任务也够用。2.2 内存与电源的搭配逻辑内存方面多卡机器优先考虑容量和稳定性其次才是频率。我配了4条32GB DDR5 ECC RDIMM总容量128GB。选择RDIMM而不是普通U-DIMM是因为RDIMM带寄存缓冲在多通道高负载时信号完整性更好这也是工作站和服务器平台的常用选择。电源是OpenRig最不能省钱的部件。三张显卡满载功耗加CPU满载峰值功耗可能摸到1800W左右。我最终选了双电源方案两张额定1000W的ATX电源支持ATX 3.0规格。之所以用双电源而不是单只2000W以上的电源一是可用型号很少二是双电源可以分摊负载单张电源运行效率更高。后面章节会详细说明双电源启动的正确接法这里先记住核心原则给每张显卡单独的供电线路避免共享线缆导致过流发热。2.3 显卡配置思路OpenRig的显卡配置属于按需变化因为开放测试平台的特性就是允许随时换卡。现在我插的是三张RTX 4090涡轮版选择涡轮卡的原因在于其尾部出风的散热方式——在开放式机架上涡轮卡可以并排紧贴热气直接往后排出不会在卡间堆积。如果你的主要场景是渲染而非大模型推理那可以选择三张普通双风扇或三风扇卡间距则需要比涡轮卡更宽否则中间那张卡的进风会被两侧挡住。显卡间距在我这套框架方案里要预留到3槽甚至3.5槽这一点在第3章会详细说结构设计。3. 框架与结构件一份可以直接抄的采购清单3.1 铝型材规格与尺寸设计OpenRig的框架主体采用4040欧标铝型材也就是截面40mm x 40mm、槽宽8mm的工业铝型材。这种材料在工业自动化和DIY圈子里非常成熟网上直接按米切割精度足够价格也不贵。选择4040而不是更细的3030是为了保证框架的刚性——三张4090加两块电源加上主板托盘整机重量超过20kg细型材在搬运过程中容易发生扭转。我设计的尺寸是长600mm、宽320mm、高450mm。这个高度能同时容纳顶部电源层和底部显卡层。框架的拼装用角件加M8螺栓四个立柱各用两个角件固定确保结构稳定不晃动。600mm的长度刚好可以放下ATX主板加两块电源320mm的宽度给3张双槽显卡留下了余量同时边缘走线不会互相挤压。3.2 需要准备的连接件与配件配件部分我直接给一份清单照着买就行4040欧标铝型材按6根长600mm、4根长450mm、4根长320mm的数量切割40系列角件16个配M8x16内六角螺栓和T型螺母主板托盘250mm x 300mm的3mm厚铝板四角开孔固定到型材上显卡支架两条水平铝型材或用显卡转接线支架防止显卡尾端下垂电源支架一个电源托架固定两个电源或者两块铝板分别固定1U涡轮风扇若干、风扇调速器、扎带、防尘网这里有一个容易被忽略的点主板托盘必须带铜柱安装孔位或者你没有工具加工铝板就直接购买成品ATX主板测试台托盘几十块钱的东西省心很多。3.3 显卡安装方向与承重设计显卡安装方向在OpenRig里需要特别讲究。常规塔式机箱显卡是垂直插在主板PCIe插槽上显卡本体水平朝向侧板。OpenRig开放式机架上我选用的方案是主板平躺放置显卡垂直于主板、卡身竖直朝上。这样显卡尾部没有承重问题PCIe插槽受力最小。另一种常见布局是主板竖装显卡水平横插。这种方式的好处是节省纵向空间但长显卡重心全部压在PCIe插槽上散热器又重时间长了容易导致插槽脱焊或显卡PCB板变形。我在这个项目上坚持用主板平躺的方案显卡挡板朝上固定在型材横梁上受力均匀更换时也是从上方拔卡非常顺手。4. 组装顺序与供电走线中间最容易出错的环节4.1 从框架到托盘的组装顺序组装顺序我建议按照框架—托盘—电源—显卡—线缆这五步走。第一步拼框架把四条立柱立起来依次锁上底框和上框型材。锁角件的时候要先用T型螺母预定位不要一次性锁死等对角线尺寸调准确之后再全部拧紧。这步如果偷懒后面装主板托盘时可能发现孔位对不上返工很麻烦。第二步装主板托盘。托盘的四角需要与框架的前后横梁固定我用的方法是把铝型材的T型槽当作滑轨在托盘上开长条孔位置可以微调几毫米安装宽容度很大。第三步装电源。两块电源一左一右放在托盘上方电源风扇面朝机架外侧。这里要注意一点电源的出风口不能对着显卡方向否则热风直接吹到显卡背面进风温度会显著升高。第四步才是装显卡。装卡时先把显卡尾端插入PCIe槽然后锁挡板螺丝到型材边缘。如果使用显卡转接线要先把转接线插在主板上再插显卡顺序反过来会很难插。最后是走线。OpenRig虽然没有机箱盖板但走线仍然要理出逻辑尤其是供电线。显卡电源线从电源上方绕行到显卡顶部用扎带固定在型材上避免垂到风扇进风口附近。4.2 双电源的启动与接线方案双电源在OpenRig里是个避不开的话题也是最容易翻车的地方。两张电源不能直接接同一个开机信号因为ATX电源的PS_ON信号线需要短接才能启动。最常见的做法是用一个双电源启动转接线把两个电源的24pin口并联实现同时开机。我的做法更简单粗暴用一根启动跳线帽把主电源的PS_ON和GND短接然后主电源的输出线通过一个继电器模块去控制从电源的220V输入。这样主电源一开机继电器吸合从电源跟着上电。这种开关机方式的可靠性测试我已经跑了三个月逻辑上完全没毛病但要注意一个前提两个电源的地线必须通过同一路220V接地不能分开接。否则两张电源之间的零地电位差可能通过显卡供电线形成回流轻则USB接口不稳定重则烧板。4.3 线缆整理与防拉扯多卡机器的线缆数量是灾难级的。三张显卡需要6根8pin供电线两张电源需要4根线到插座还有风扇线、开机线、USB线。我在OpenRig上的做法是买了两卷不同颜色的硅胶线红色统一走电源黑色统一走数据再用魔术贴扎带按区域固定。防拉扯这件事容易被忽视。显卡电源线如果长度紧绷小幅震动就会让接头松动导致显卡掉驱动。我特意把每根供电线都留了10cm以上的余量走一个弧度再插入显卡接头部位不吃力。这个细节在后续频繁换卡测试时帮了大忙。5. 散热设计与噪音控制开放式机架不代表没有散热设计5.1 风道方向与显卡形态的匹配有人觉得开放式机架不需要散热设计四周都是空气温度一定没问题。实际情况没这么简单。开放式机架上显卡风扇进风是四面八方但如果卡间距太近中间卡的进风被两侧卡挡住就会出现中间卡比两侧卡高5到8度的现象。我第一版方案是三张卡紧挨着只留标准双槽间距结果满载时中间那张卡热点温度到了82度两侧只有73度。后来把三张卡按4槽间距重新布置中间卡的热点温度降到了76度左右。所以开放式机架同样需要给显卡留呼吸空间涡轮卡可以压缩到2槽普通轴流卡则建议3槽以上。5.2 风扇选型与调速策略框架上加装风扇的关键在于选对转速和噪音的平衡点。我用的方案是4个12038工业风扇额定转速3000转装在框架后部向外抽风辅助把显卡尾部和电源排出的热空气带出机器范围。工业风扇在3000转时的噪音约为45分贝这个数字在办公室环境还能接受。但要注意12038风扇的额定电压是12V如果直接接主板风扇接口开机自检会满速运转几秒钟噪音会到55分贝以上。我的解决方案是通过一个PWM调速器将风扇转速固定在1200到1500转之间实测风量已经足够带走机架周围的热量。5.3 实测温度与噪音数据下面这组数据是在室温26度、三张4090满载烤机半小时之后记录的位置温度摄氏度说明显卡1核心68靠近机架外侧显卡2核心71中间卡显卡3核心67靠近机架外侧显卡1热点76距核心差8度显卡2热点82热点与核心差11度CPU61一体式水冷电源外壳44双电源负载均衡噪音方面贴着机架1米的位置实测约52分贝3米外约45分贝。这个水平白天在办公室完全可以接受晚上夜深人静时还是能明显听到风扇声。后续如果要做静音改造可以换更大尺寸的14025风扇降低转速弥补风量或者把显卡温度和风扇转速做联动曲线负载低时压到1000转以下。6. 系统部署与远程管理让OpenRig老老实实工作6.1 系统安装与显卡驱动OpenRig部署的是Ubuntu 22.04 LTS这是目前AI和GPU生态兼容性最好的发行版。安装系统本身没有特殊之处U盘启动盘分区安装即可。驱动部分有两件事需要单独讲。第一多卡机器的驱动安装必须在系统安装完成后第一时间做不要先装别的软件冲突NVIDIA驱动。我用的是NVIDIA官方runfile驱动先通过CtrlAltF2进入纯命令行模式停止显示服务器再执行驱动安装。第二安装完驱动后要确认所有显卡都能被正确识别用nvidia-smi查看三张卡应全部显示GPU-Util 0%。如果某张卡显示不出来第一排查PCIe插槽供电第二查转接线第三才是驱动问题。6.2 远程访问与日常监控OpenRig运行起来之后我不太可能每次都跑到机架前面操作所以远程管理成了刚需。基础的配置是SSH这个不多说。进阶的部分我做了一个简单的web监控页面读取nvidia-smi的XML输出然后定时刷新到浏览器上。这样即使在公司也能随时看到三张卡的温度、功耗和显存占用。开机自动启停方面我的经验是设置一个简单的systemd服务。比如AI推理模型加载用systemd托管一个python服务服务异常退出自动拉起。另外如果机器长时间空闲我会用一个脚本定时检测显卡利用率连续30分钟低于5%就自动关机。这个逻辑非常实用多卡机器的闲置功耗很高三张4090即使空载也有近百瓦的损耗。7. 实测数据与踩坑记录7.1 压测数据部署完毕后我对OpenRig做了一轮完整的稳定性压测覆盖三类典型负载。第一类是AI推理负载用vLLM起了一个70B参数的量化模型三个并发请求同时推理显存占用约180GB三张卡各60GB单卡功耗280W整个场景稳定运行48小时无报错。第二类是渲染负载用Blender的CYCLE引擎跑了三张卡并行渲染一个复杂场景对比单卡速度三卡并行几乎线性提升完成时间从27分钟缩短到9分钟出头。第三类是四卡高负载测试但这台机器目前只有三张卡留给后续扩展。整机功耗实测三卡满载加CPU满载峰值大约到了1700W满载噪声和温度都保持在可接受范围。7.2 我踩过的几个坑接下来必须分享一下我在OpenRig上踩过的几个坑每一个都花了一两天才找到原因。第一个坑是双电源启动时序问题。最初我用的是最简单的双电源启动线两根PS_ON并联。问题是这套方案依赖两路电源同时上电如果主电源芯片的软启动时间略快从电源插电的一瞬间会先短暂输出电压但随即又被主电源拉低GT/RT显卡会瞬间掉电再上电。复现症状就是开机偶尔进不了BIOS必须按重启键。最终的解决方案就是前文提到的继电器控制220V方案主电源完全起来之后再把电送给从电源时序问题直接消失。第二个坑是PCIe转接线质量。为了测试第四卡位我买了一根PCIe 4.0 x16的转接线接上后nvidia-smi能识别但一跑负载就掉驱动查看dmesg发现PCIe链路反复在Gen4和Gen1之间切换。换了一根品牌转接线之后问题消失。这里提醒所有用转接线的人转接线对屏蔽和走线管控要求极高不要买杂牌也不要让转接线出现90度以上硬折弯。第三个坑是机架接地。铝型材表面有阳极氧化层本身不导电但螺丝孔位和T型螺母接触点是导电的。OpenRig最开始没接地触摸机架时偶尔有静电麻手的感觉后来直接把一条黄绿接地线从电源螺丝接到墙插地线端彻底解决。多卡机器一定要有接地静电累积对PCIe高速信号影响很大表现为随机死机或USB设备失灵。7.3 后续扩展方向OpenRig目前是三卡满载状态后续我有两个扩展方向。第一是加第四张PCIe 4.0 x4通道的低功耗卡专门处理一些并行度不高的任务比如视频转码或者小的推理请求。第二是考虑给显卡上水冷水冷能进一步压低噪声但也就意味着失去了开放式机架随时换卡的核心便利所以在找到刚需场景之前我会保持风冷方案。最后再分享一个小技巧铝型材框架的侧面凹槽是天然的线缆槽用3D打印几个卡扣插进T型槽就能把线缆稳稳固定在框架上不需要缠一大堆扎带。这个细节让我在日常维护时省了很多时间OpenRig的open精神也应该体现在维护方便上。