DeepSpeed Windows 快速安装指南

DeepSpeed Windows 快速安装指南【免费下载链接】DeepSpeedDeepSpeed is a deep learning optimization library that makes distributed training and inference easy, efficient, and effective.项目地址: https://gitcode.com/GitHub_Trending/de/DeepSpeed在 Windows 上跑 DeepSpeed 没有想象中麻烦官方原生支持 Windows 单 GPU 的训练、微调和推理pip 装的是预编译包不需要本机 CUDA Toolkit 和 C 编译器。这份指南覆盖三个判断——环境能不能装、怎么装最快、装完能干什么。硬件与软件体检单校验 CUDA 是否匹配 PyTorch4GB 显存够单卡微调和推理但当前 Windows 版只支持单 GPU多卡训练暂时别指望。组件建议版本关键约束校验命令系统Windows 11 23H2家庭版需开启开发者模式winverPython3.10 / 3.11需能装支持 CUDA 的 PyTorchpython --versionPyTorch2.3.0cu121CUDA 版本须与显卡驱动匹配python -c import torch; print(torch.cuda.is_available())显卡4GB 显存起步官方测试环境即 4GB越大越从容nvidia-smipip 预编译包不要求你本机装 CUDA Toolkit算子随包分发。走源码构建则必须有 CUDA 12.x 和 Visual Studio Build Tools。Python 版本不合时先换 3.10/3.11 重试别急着升级硬件或折腾 WSL。安装决策路径pip 预编译包优先源码构建兜底新手直接用 pip 预编译包装完即可用源码构建只留给要改算子的人。路线 Apip 预编译包推荐适用人群单卡训练、微调、推理的普通用户核心命令pip install deepspeed验证标准运行ds_reportCUDA、ZeRO 等模块显示为 ENABLED且能看到当前 GPU 型号路线 B源码构建进阶适用人群需要跟最新分支或修改自定义算子的开发者核心命令git clone https://gitcode.com/GitHub_Trending/de/DeepSpeed cd DeepSpeed .\build_win.bat验证标准ds_report中目标算子显示 ENABLED注意build_win.bat 默认关闭了 AIO、稀疏注意力等 Linux 专属算子源码构建前确认 Visual Studio Build Tools 已装好否则会报cl.exe not found最小可行验证单卡跑通 CIFAR-10 训练装完先跑一个十分钟内能结束的小任务确认训练链路通了再谈大模型。用 DeepSpeed 官方示例库里的 CIFAR-10 脚本进入 cifar 目录执行deepspeed cifar10_deepspeed.py --deepspeed预期输出要点loss 逐步下降、验证准确率爬升官方在 RTX A20004GB上实测约 8 分钟跑完 5 个 epoch准确率达 89.3%。只要看到 loss 曲线正常下降你的环境就算通了。进阶场景速览offload 与 LoRA 的用法显存不够时改参数比换硬件划算。三个方向各记一条关键参数即可。CPU offload 推理ZeRO-Inference解决4GB 显存装不下 7B 模型的瓶颈。关键参数--cpu-offload把模型权重搬到 CPU 内存。官方用 Llama-2-7B 实测生成 32 个 token 约 47 秒显存峰值 3.8GB。速度慢但能跑就是胜利。LoRA 微调解决没有大显存也能继续训练的问题。关键参数--offload搭配--lora_dim 128 --zero_stage 2官方在 4GB 显存上微调了 facebook/opt-125m 并全程开启 CPU offload。多卡扩展当前 Windows 版限单 GPU。需要多卡时务实的做法是迁到 WSL2 或 Linux 环境而不是在原生 Windows 上硬等。排障速查表装不上、跑不起来时先对表再动手。错误特征根因一句话修复动作cl.exe not found源码构建缺 C 编译器装 Visual Studio Build Tools或改回 pip 预编译包torch.cuda.is_available()返回 FalsePyTorch 的 CUDA 版本与驱动不匹配重装与显卡驱动对应的 cu12x 版 torchds_report显示算子 DISABLED算子未编译或该算子在 Windows 上被禁用优先换 pip 版源码版设DS_BUILD_OPS1重新构建Access denied当前终端权限不足以管理员身份重启 PowerShell延伸与生态blogs/windows/08-2024/chinese/README.md官方中文版 Windows 支持说明含全部实测命令与测试环境docs/_tutorials/getting-started.md跨平台入门教程适合第一次接触 DeepSpeed 的人build_win.batWindows 源码构建脚本可查哪些算子被默认关闭MANIFEST_win.inWindows 打包文件清单排查装了什么时看这里op_builder/builder.py算子编译总入口自定义构建问题时从它读起【免费下载链接】DeepSpeedDeepSpeed is a deep learning optimization library that makes distributed training and inference easy, efficient, and effective.项目地址: https://gitcode.com/GitHub_Trending/de/DeepSpeed创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考