GPU租赁平台实测：AutoDL、秘塔智算等价格与避坑指南

先交代一下背景我从今年年初开始密集地折腾大模型微调、LoRA 训练和 Diffusion 类的推理项目。家里的显卡在跑 7B 模型时已经明显吃力一上来显存就报警训练一个 LoRA 动辄十几小时更别提同时开多个实验了。于是我把目光转向了云端的 GPU 租赁。断断续续对比了差不多一个月把国内主流和几个有点名气的 GPU 租赁平台都注册了一遍充过值、跑过训练、测过推理、踩过坑。这篇文章就把我这一个月的真实对比过程、价格差异、平台优缺点和最终的选型逻辑完整记录下来。先说明我的测试条件尽量保证对比的公平性所有平台我都选择 NVIDIA RTX 3090 24GB 这一档作为基准因为这是单卡跑 7B 模型 LoRA 微调的最低门槛也是绝大多数个人开发者和中小团队最常租的卡型。测试任务统一为用一份约 5 万条中文指令数据对 ChatGLM3-6B 做 LoRA 微调batch size 4序列长度 2048训练 3 个 epoch同时跑一次 FP16 的 batch size 1 推理来记录显存占用和生成速度。比价时同时参考包月、包周、按时计费和竞价实例等多种计费模式不只是看单卡每小时多少钱还要看附加费用存储、带宽、镜像、停机计费与否。为了避免广告嫌疑个别平台我用拼音缩写代替。好下面进入正题。1. 一个月实测下来的平台格局谁在服务个人用户谁在服务大客户先说一个总体印象国内 GPU 租赁市场表面上百花齐放实际上分成几个层次——以大厂云厂商为代表的标准化算力平台阿里云、腾讯云、华为云、火山引擎以 AutoDL 为代表的个人开发者友好型租卡平台以及主打高性价比和灵活计费的共享算力平台如揽睿星舟、秘塔智算、矩池云等。另外还有一批以昇腾、寒武纪等国产芯片为主的算力平台主要面向政企和科研机构个人开发者比较少接触但我也简单测了一两家。第一个感受是大厂云的 GPU 租赁并不适合个人用户跑 AI 训练。不是说性能不行而是门槛和费用结构对个人太不友好。以阿里云为例它的 GPU 云服务器 ECS 一般要求按整台实例购买不是按卡租。你要租一台带 3090 的实例通常要同时付 CPU、内存、系统盘、数据盘、带宽的费用。哪怕你只需要一张卡也要绑定一堆用不上的资源。而且大厂云的包年包月价格很高按量付费的单价也很感人。以华东 2上海的 ecs.gn6i-c4g1.xlarge 为例配 1 张 NVIDIA T4 16GB按量付费大概每小时 8 块多包月更是要 2500 块上下。T4 的算力放在今天跑大模型已经不太够看这个价格就更没吸引力了。腾讯云的情况类似GPU 云服务器要绑定 CPU 内存套餐灵活性差。我测试过腾讯云的 GN7 实例1 张 T4被驱动和 CUDA 版本折腾了半天。华为云的裸金属 GPU 服务器性能确实稳但价格直接翻倍而且最少按周起租。火山引擎相对好一点有按卡计费的机器学习平台但主要面向企业用户个人注册后要用企业认证才能开通学生党或独立开发者基本被挡在门外。真正让个人用户用得起的是 AutoDL、揽睿星舟、矩池云这类平台。它们本质上做的是算力中介或算力超市模式把闲置的 GPU 资源很多来自矿场转产、数据中心余量或专门的算力池聚合起来按卡、按小时、按周灵活出租不强制绑定 CPU 内存。AutoDL 的 3090 大概 1.98 元/小时包月约 700-900 元揽睿星舟的 3090 大约 1.6-2.0 元/小时包周有折扣秘塔智算的价格更低3090 甚至能压到 1.2 元/小时左右但有明显的使用限制高峰时段排队严重、非 Root 权限、存储空间要额外买。矩池云的 GPU 型号选择很多样但实际放出的卡量不稳定我遇到过一次下单后等了半天才开机的窘境。我还试过几类非主流平台一种是咸鱼或淘宝上那种整机租用的卖家价格很低但没有任何 SLA 保障数据安全基本裸奔另一种是以 PaddlePaddle 生态为核心的飞桨 AI Studio免费算力给的是 V100 16GB跑跑小模型可以想跑 7B 微调显存不够且免费额度不稳定。此外还有一类AI 绘画云平台像青椒云、赞奇云等专门跑 Stable Diffusion按次数或按时间充值我个人觉得不适合正经跑训练任务因为环境封闭、可定制性太差。为了让大家有个直观认知我把评测过的平台按卡型和价格做了一个简单汇总以 3090 为例价格采集时间是我实测那一周现在可能有波动平台计费方式3090 单价元/小时存储费用排队情况备注AutoDL按小时/包周/包月1.98系统盘免费数据盘 0.5 元/GB/天一般镜像系统好用学术资源多揽睿星舟按小时/包周/包月1.6-2.0数据盘按量较好有自己的镜像市场秘塔智算按小时/包周1.2-1.5存储费低高峰严重价格最低但限制多矩池云按小时/包天/包周1.5-1.8按 GB/天不稳定卡型多偶尔缺货阿里云 ECS GN6i按量/包月T4 约 8 元/时跟实例绑定几乎不排队贵绑定资源多腾讯云 GN7按量/包月T4 约 7-9 元/时跟实例绑定几乎不排队贵镜像不友好青椒云按时长约 2.5 元/时3090有套餐一般预装 SD适合出图这里要强调一点单价看着相近最终实际花费差别很大。后面我会详细拆解。2. 价格背后的隐性成本存储、带宽、停机费、进出数据传输很多新手在比价时只看GPU 每小时多少钱这是个天大的误区。GPU 租赁平台真正拉开花费差距的是那些藏在小字里的附加费用。首先是存储费用。AutoDL 的做法比较透明系统盘免费数据盘按 0.5 元/GB/天计费。听起来不多但你想想一份 7B 模型的权重文件 fp16 大概 14GB训练数据集 10GB加起来 24GB光数据盘一天就是 12 块一个月 360 块——这甚至比某些平台本身租卡的钱还多。我一开始没注意以为租卡便宜就行结果月底一看账单愣住了。后来学聪明了用完就把数据和权重传到网盘或自己的 OSS平台数据盘里只留当前实验需要的文件停机时用无卡模式挂载数据盘AutoDL 有这个功能按小时租用数据盘比按天便宜一个量级这样能省下不少。第二个坑是带宽和数据传出费用。大厂云的带宽是按月购买的最低 1Mbps 也要几十块往上加带宽价格飙升。你在服务器里下模型文件、传训练数据、拉取镜像全都走这个带宽。如果买低了下载一个大模型能等一两个小时。个人租卡平台一般提供 5-10Mbps 的免费带宽AutoDL 是 10Mbps秘塔智算我实测下载速度有时候连 2Mbps 都不到——训练任务还没开始先花了一个小时下数据体验非常差。这里建议各位在租卡前先把数据传到自己的对象存储或网盘然后用平台内置的学术资源加速器或命令行工具直连下载。AutoDL 内置了学术资源加速下载 HuggingFace 模型速度快很多。第三个坑是停机计费策略。大厂云的按量付费实例只要实例存在哪怕关机也收费因为 CPU 内存资源还占着个人租卡平台普遍支持无卡模式停机——即把 GPU 释放掉只保留系统盘和数据盘按更低的费率计费。AutoDL 的无卡模式是 0.1 元/小时揽睿星舟也有类似功能。我强烈建议所有跑训练的人养成习惯训练完就用无卡模式停机别让显卡空转也别让整机在那儿耗着——一晚上就是几十块。第四个隐性成本是镜像和环境配置时间。大厂云镜像是标准化的自带 CUDA 驱动但往往版本不合适PyTorch 还得自己装。我在腾讯云上折腾 CUDA 11.7 和 PyTorch 2.0 的兼容问题花了三小时这些时间折合成算力成本比租卡本身还贵。个人平台普遍提供了预装好 PyTorch、TensorFlow、Miniconda 的镜像开箱即用。AutoDL 的镜像系统做得最好社区镜像里有直接带好 CUDA 12.1 PyTorch 2.1 常用依赖的版本选好镜像开机就能跑。这也是为什么后来我把大部分工作负载都放在 AutoDL——省下的时间是真金白银。另外还有一个容易被忽略的点多次开机后的环境持久化问题。有些平台在你释放实例后系统盘数据会保留但系统内安装的软件、依赖可能因为底层镜像重置而丢失需要自己打包成镜像或写入启动脚本。AutoDL 和揽睿星舟支持自定义镜像保存我都是把环境配置写成 conda export 或者 Dockerfile开机后用脚本一键重建。这一步看起来麻烦但能让你在不同平台之间自由迁移不用被某个平台的环境锁死。我整理了一个表格把附加费用和隐性时间成本放在一起对比基于我的实测平均值平台数据盘价格无卡模式带宽/下载速度镜像友好度综合隐性成本AutoDL0.5 元/GB/天支持0.1 元/时10Mbps学术资源加速极佳中揽睿星舟按量收费支持5-10Mbps良好中秘塔智算1 元/GB/天约不支持慢可能 2Mbps一般高矩池云1 元/GB/天约部分支持5Mbps一般高阿里云与云盘绑定无此概念自选带宽费用另算标准化极高腾讯云与云盘绑定无此概念自选带宽费用另算标准化极高3. 核心环节实测3090 和 4090 跑微调与推理的真实体验对比价格是筛选条件但真正决定一个平台能不能长期用的是实际跑任务的体验。我用同一份数据和脚本在一个多月里反复在多个平台租卡跑训练和推理这里把 3090 和 4090 的实际体验分别说一下。先说 3090 24GB 跑 ChatGLM3-6B LoRA 的基本盘。用 bitsandbytes 的 4-bit 量化加载LoRA rank16alpha32只训练 attention 层的 q_proj、v_proj。训练 5 万条指令、3 个 epoch序列长度 2048batch size 4。我记录了每个平台的每 step 耗时和整体显存占用。在 AutoDL 的 3090 上平均每 step 大约 18-22 秒显存占用稳定在 20GB 左右偶尔会摸到 22GB一个 epoch 跑完约 5 个小时三个 epoch 要 15 小时。在揽睿星舟的 3090 上数据几乎一致毕竟同款 GPU。矩池云的 3090 跑同样的任务有时候会快 10%但我怀疑是不同厂商的散热和功耗墙差异。3090 的卡间性能差距通常在 5% 以内基本可以忽略。再说 4090。现在不少平台开始提供 RTX 4090 24GB虽然官方已经禁售但存量卡和特殊渠道还是有不少流入了租赁市场。4090 的 fp16 算力是 82.6 TFLOPS比 3090 的 35.6 TFLOPS 高了一倍多内存带宽也从 936 GB/s 提升到了 1008 GB/s。实测下来同样的 LoRA 训练任务4090 单卡每 step 大约 8-10 秒训练时间缩短到 5 小时以内显存占用和 3090 差不多同样 24GB。价格方面平台的 4090 普遍比 3090 贵 1.5-2 倍AutoDL 的 4090 大约 3.6 元/小时。如果按完成单位训练任务的成本算4090 其实是更划算的——15 小时 3090 的费用是 30 元5 小时 4090 的费用是 18 元省了 40%还大幅缩短了实验迭代周期。推理场景的差异更明显。我测试了 FP16 精度下 batch size 1 的 ChatGLM3-6B 生成性能用 100 条真实用户指令测平均生成速度。3090 大约每秒生成 12-15 个 token4090 能达到 25-30 个 token几乎是两倍。这个差异对于跑 chat 类 demo 和批量推理服务非常重要——线上服务如果每秒只能出 12 个 token用户体验极其糟糕4090 勉强能支撑一个小规模的并发请求。所以如果有推理服务需求别犹豫直接上 4090。另外一个容易被忽略的点是多卡训练时的卡间通信。个人租卡平台上要租到同一台物理机上的多张卡通常得选多卡实例价格比单卡翻倍。我试过在 AutoDL 上租 2×4090 跑 DeepSpeed ZeRO-2但由于 PCIe 带宽限制和平台本身对实例 QoS 的限制加速比只有 1.6 倍左右并没有想象中接近线性。所以如果你是个人跑 Lora 微调单卡 4090 是最优解真正要上 70B 模型的全参数微调个人租卡平台的多卡实例性价比并不高不如去大厂云用企业级 A100/H800 集群或者用更省显存的方法QLoRA 梯度检查点在单卡上硬啃。关于 A100、H800 这些高端卡我在揽睿星舟上短暂租过一张 A100-80G大约 11 元/小时主要是为了跑一个 13B 模型的全参数微调实验。显存充裕的感觉确实是 24GB 卡体会不到的batch size 可以开得很大梯度累积步数也不需要太多。但价格摆在那儿除非是公司报销或者科研经费充足否则个人开发者不用考虑这个档位。还有昇腾 910B我在某个算力平台上试过性能对标 A100但是生态适配是硬伤——PyTorch 需要跑在昇腾适配过的容器里很多算子不支持我传了一个带着自定义 CUDA 算子的模型上去直接报错。华为昇腾适合跑 MindSpore 生态的项目传统 PyTorch 用户慎选。4. 一个月踩过的坑驱动、CUDA、镜像与数据迁移的连环雷现在聊聊踩坑的部分。这是我认为这篇文章里最有价值的内容——因为价格和性能都能查到但这些坑不亲历一次很难意识到。第一个大坑是驱动和 CUDA 版本的强迫症式兼容问题。有一次我在矩池云上租了台 3090选了 PyTorch 1.13 镜像结果 torch.cuda.is_available() 返回 False。排查了半天发现平台的镜像里装的是 CUDA 11.7 驱动但 PyTorch 1.13 默认编译用的是 CUDA 11.6版本不匹配导致 CUDA 上下文初始化失败。解决办法是强制安装对应版本的 PyTorchpip install torch1.13.1cu117 --extra-index-url https://download.pytorch.org/whl/cu117这才把问题解决。后来我学乖了租卡后第一件事就是跑 nvidia-smi 查看驱动版本再跑 python -c import torch;print(torch.version.cuda) 查看 PyTorch 的 CUDA 版本确保二者兼容再开始干活。第二个坑是平台内置镜像自带的环境污染。有些平台为了开箱即用在镜像里预装了一堆你根本用不到的包比如 TensorFlow、Jupyter、各种视觉库而这些预装包往往和你要用的 PyTorch 版本冲突。我遇到过 pip 安装某个包时因依赖冲突把系统里的 torch 给卸载了然后重新安装时又因为网络问题下载失败整个环境直接废了。后来我养成了习惯拿到实例后先 conda create -n myenv python3.10新环境里啥都不预装再手动装 PyTorch 和自己的依赖隔绝镜像自带的垃圾环境。第三个坑是数据迁移和持久化。个人平台的实例是有状态的但如果你主动释放实例数据盘标记为删除那里面所有数据就都没了。我一开始没注意在秘塔智算上跑完一个模型结果忘了把权重下载到本地关机后整个数据盘清空白跑了两天训练。自那以后我在本地写了一个同步脚本训练过程中每完成一个 epoch 就把 checkpoint 同步到自己的 OSS 或网盘确保即使实例丢失也不至于血本无归。第四个坑是高峰期的排队问题。秘塔智算的价格最低但晚高峰19:00-23:00想开机基本要排 1-3 小时甚至有一次我等了 4 小时都没开出来。AutoDL 也会排队但通常在 10-30 分钟内。我的做法是如果当晚有重要的训练任务白天就把实例开好跑批量实验晚上用无卡模式停机但保留数据盘第二天再开卡续跑。这个错峰开机的技巧极大提升了效率。第五个比较隐蔽的坑是竞价实例的稳定性。AutoDL 有一种竞价实例可以比常规价格低 20% 左右但随时可能被平台回收。我试过一次用竞价实例跑一个 8 小时的训练任务跑到第 2 个小时时实例被警告即将回收直接白干。后来我只在跑短任务1 小时或做实验性探索时用竞价实例正式训练绝不用。第六个坑是我的个人教训不要把敏感数据直接传到 GPU 云平台。因为大多数个人租卡平台的数据盘是不加密的平台管理员理论上可以访问到你的数据。我的处理方式是所有涉及商业秘密或用户隐私的数据在传输前先加密权重文件可以明文数据也要脱敏。毕竟你只是租了他们的显卡数据安全责任还是要自己扛起来。我在各个平台踩过的坑值得汇总一版踩坑类型具体表现解决方案CUDA 版本不匹配torch.cuda.is_available() 返回 False租卡后先核对驱动和 torch 版本镜像环境污染预装包导致依赖冲突用 conda 新建隔离环境释放实例丢失数据关机不保存数据盘训练中定期同步 checkpoint高峰期排队严重晚上开机等数小时白天错峰开好实例竞价实例被回收训练中途实例没了只跑短任务不跑长训练数据安全无保障数据盘不加密敏感数据先加密再上传5. 我的最终选型建议按预算和任务类型对号入座比了差不多一个月踩了这么多坑之后我对国内 GPU 租赁市场的判断已经非常清晰了。如果你问我现在推荐哪个平台我的回答是没有绝对最好的平台只有最适合你当前任务的平台。下面给出我的选型建议按预算和任务类型两个维度拆开讲。如果你只是偶尔跑一次实验、学习为主、预算很紧月预算 100 元内优先考虑免费或极低成本的资源。Google Colab 免费版有个把小时的 T4 可用额度用来跑跑小型测试足够了百度的 AI Studio 也有免费 V100 额度。如果你一定要在国内租卡选择秘塔智算的低峰时段用 3090 按小时租错开晚高峰一次实验控制在 1-2 小时内这样一个月可能只花 30-50 元。但要做好排队和数据丢失的心理准备。如果日常跑 LoRA 微调、模型推理 demo、预算中等月预算 300-1000 元AutoDL 是最稳妥的选择。它的 3090 包周大概是 250-300 元一个月 700-900 元价格不是最便宜但胜在稳定——排队可控、镜像好用、无卡模式省钱、文档详细。如果你对性能有更高要求直接上 4090 包月大约 1200-1500 元训练速度翻倍体验提升明显。这段时间用下来AutoDL 的综合体验确实是最让个人用户省心的。如果要跑更大模型13B 甚至 70B 的微调、对算力要求很高月预算 3000 元以上建议去大厂云开企业认证用真正的多卡集群和高速互联。个人平台上那些 2×4090、4×3090 的多卡实例卡间通信用的是 PCIe性能损失严重跑大模型反而不划算。大厂云上 A100-80G 按量付费大约 20-30 元/小时包月大概 1.5-2 万虽然贵但物有所值。如果只是偶尔跑一次 70B 的实验我建议用 DeepSpeed ZeRO-Infinity 加 8-bit 优化器在 4×4090 或 4×3090 上凑合跑但一定要做好性能和显存优化不要直接上原生 PyTorch 跑全量参数。如果你主要做 SD 出图、ComfyUI 工作流等 AIGC 推理场景实际上很多 AI 绘画云平台青椒云、赞奇云等预装了完整的 SD 生态按时间计费对不会配环境的人最友好。但如果你想省钱 灵活AutoDL 这种平台也能配出同样的环境而且定价更低3090 出图一张 1024×1024 的图大约 2-3 秒比本地 2080Ti 快不少。唯一要注意的是出图工作流要记得安装 ControlNet、LoRA 插件等依赖用自定义镜像一次保存好下次开机直接拉取。再分享一个我个人的组合拳方案主力任务放 AutoDL临时任务放秘塔智算大任务去大厂云。AutoDL 上长期租一张 4090 跑日常实验和微调工作用无卡模式休眠实际消耗不高遇到短时高并发需求比如帮朋友批量推理几千条数据就去秘塔智算用最便宜的卡跑一下午反正我只需要它算得快不在乎排队和数据风险如果哪天真要跑 70B 全参微调就去阿里云或火山引擎开一台 A100 实例跑完直接释放求一个稳字。这个组合让我把月度算力成本控制在 1500 元左右同时覆盖了绝大多数场景。最后再强调几个实用建议每个平台都先充一二十块试跑一小时用 nvidia-smi 和一个小模型验证环境是否正常别等真跑大任务时才发现环境有问题。把环境配置脚本化用 conda export 或 shell 脚本随时准备迁移平台。训练任务跑之前先在本地用 CPU 或小数据集上过一遍流程确认代码没有问题再上 GPU否则钱全白烧了。留意平台的优惠活动和代金券。有些平台新用户注册就给几十块的体验金AutoDL 偶尔有充值返现积少成多也能省不少。GPU 租赁这件事本质上是用钱换时间、用云端的卡换实验效率。平台再怎么比适合自己的才是最好的。希望我这一个月的踩坑记录能让你少走弯路直接找到合适的平台把时间花在真正有价值的实验上而不是和驱动、镜像、排队这些破事儿较劲。