【Bug已解决】How to use AMD GPU for fastai/pytorch? 解决方案

【Bug已解决】How to use AMD GPU for fastai/pytorch? 解决方案问题描述在深度学习领域NVIDIA 的 CUDA 生态长期占据主导地位但 AMD GPU 凭借其高性价比和大显存优势越来越受开发者和研究者的青睐。然而PyTorch 和 fastai 默认只支持 NVIDIA CUDAAMD GPU 用户在搭建深度学习环境时常常面临诸多困难。核心问题在于PyTorch 官方发布的 wheel 包默认只包含 CUDA 后端不包含 AMD ROCm 后端。AMD GPU 用户需要使用 ROCmRadeon Open Compute平台来运行 PyTorch这涉及到特殊的安装方式、驱动配置和兼容性处理。常见的问题表现包括torch.cuda.is_available()返回False因为 AMD GPU 不使用 CUDA安装标准 PyTorch 后无法检测到 GPUfastai 的gpu参数无法正常工作ROCm 版 PyTorch 与标准 PyTorch 的 API 差异Windows 系统上 AMD GPU 支持有限错误复现以下代码演示了 AMD GPU 用户常遇到的问题import torch import fastai # 标准方式检测 GPU对 AMD GPU 无效 print(fPyTorch 版本: {torch.__version__}) print(fCUDA 是否可用: {torch.cuda.is_available()}) # FalseAMD GPU 不支持 CUDA # 尝试使用 GPU try: x torch.randn(3, 3).cuda() # 失败 except Exception as e: print(fCUDA 错误: {e}) # RuntimeError: CUDA is not available # fastai 中尝试使用 GPU try: from fastai.text.all import * # fastai 默认尝试使用 CUDA GPU dls TextDataLoaders.from_folder(path, devicecuda) except Exception as e: print(ffastai 错误: {e}) # 无法找到 CUDA 设备根因分析1. CUDA 与 ROCm 的架构差异NVIDIA GPU 使用 CUDA 计算平台而 AMD GPU 使用 ROCmRadeon Open Compute平台。这两个平台在架构上完全不同CUDANVIDIA 专有闭源仅支持 NVIDIA GPUROCmAMD 开源支持 AMD GPU部分支持 NVIDIA GPUPyTorch 官方发布的 wheel 包默认只编译了 CUDA 后端。要使用 AMD GPU需要安装专门编译了 ROCm 后端的 PyTorch 版本。2. ROCm 版 PyTorch 的特殊性ROCm 版 PyTorch 使用hip命名空间替代cuda命名空间但为了兼容性PyTorch 做了一层映射在 ROCm 版本中torch.cuda实际上指向torch.hip。这意味着大部分使用torch.cudaAPI 的代码可以在 ROCm 上直接运行无需修改。3. 操作系统限制ROCm 的支持因操作系统而异LinuxROCm 完整支持推荐使用 Ubuntu/RHEL/CentOSWindows通过 WSL2Windows Subsystem for Linux 2有限支持原生 Windows 支持仍在开发中macOS不支持Apple Silicon 使用 MPS 后端4. GPU 架构兼容性并非所有 AMD GPU 都被 ROCm 支持。ROCm 主要支持数据中心和专业级 GPU支持RX 7900 XTX, RX 6800/6900 XT, Vega 系列, Instinct MI 系列部分支持RX 5700 XT需要设置HSA_OVERRIDE_GFX_VERSION不支持RX 500 系列及更早型号5. fastai 的 GPU 抽象层fastai 在底层使用 PyTorch 的 CUDA API但做了一层抽象。fastai 的default_device()函数会尝试检测可用的 GPU 设备。在 ROCm 环境下由于 PyTorch 的兼容层fastai 通常可以直接工作但需要确保环境变量正确配置。解决方案方案一安装 ROCm 版 PyTorchLinux在支持的 Linux 发行版上安装 ROCm 版 PyTorch# 1. 安装 AMD ROCm 驱动Ubuntu 20.04/22.04 示例 # 添加 ROCm 仓库 wget https://repo.radeon.com/amdgpu-install/5.4.2/ubuntu/jammy/amdgpu-install_5.4.2.50402-1_all.deb sudo apt install ./amdgpu-install_5.4.2.50402-1_all.deb sudo amdgpu-install --usecasewsl,rocm --no-dkms # 2. 安装 ROCm 版 PyTorch # 使用 pip 安装推荐 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm5.4.2/ # 或使用 conda 安装 conda install pytorch torchvision torchaudio pytorch-rocm5.4.2 -c pytorch -c rocm # 3. 验证安装 python -c import torch; print(torch.cuda.is_available()) # 应输出: TrueROCm 版 PyTorch 中 cuda API 映射到 hip方案二使用 Docker 容器推荐AMD 提供了预配置的 ROCm Docker 镜像避免环境配置问题# 拉取 ROCm PyTorch 镜像 docker pull rocm/pytorch:latest # 运行容器需要 --device 参数传递 GPU docker run -it \ --networkhost \ --device/dev/kfd \ --device/dev/dri \ --group-addvideo \ --ipchost \ --cap-addSYS_PTRACE \ --security-opt seccompunconfined \ -v /path/to/project:/workspace \ rocm/pytorch:latest # 在容器内验证 python -c import torch; print(torch.cuda.is_available()); print(torch.cuda.get_device_name(0))方案三配置环境变量和兼容性设置对于不完全支持的 GPU需要设置环境变量# 对于 RX 5700 XT (gfx1010)需要伪装为 gfx1030 export HSA_OVERRIDE_GFX_VERSION10.3.0 # 设置 ROCm 路径 export ROCM_PATH/opt/rocm export LD_LIBRARY_PATH$ROCM_PATH/lib:$LD_LIBRARY_PATH # 禁用不必要的功能 export HSA_ENABLE_SDMA0 # 对于多 GPU 系统指定使用 AMD GPU export HIP_VISIBLE_DEVICES0 # 或使用 CUDA_VISIBLE_DEVICESPyTorch 兼容层会识别 export CUDA_VISIBLE_DEVICES0方案四Windows 上通过 WSL2 使用 AMD GPUWindows 用户可以通过 WSL2 运行 ROCm 版 PyTorch# 1. 在 Windows 上安装 AMD 驱动支持 WSL # 从 AMD 官网下载并安装最新的 Adrenalin 驱动 # 2. 安装 WSL2 wsl --install -d Ubuntu-22.04 # 3. 在 WSL2 中安装 ROCm # 注意WSL2 中不需要安装完整的 GPU 驱动只需安装 ROCm 运行时 sudo apt update sudo apt install -y rocm-core rocm-libs # 4. 安装 PyTorch pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm5.4.2/ # 5. 验证 python -c import torch; print(torch.cuda.is_available())完整修复代码以下是一个完整的 AMD GPU 环境检测和 PyTorch/fastai 配置代码import os import sys import subprocess import platform from typing import Optional, Dict, Any class AMDGPUManager: AMD GPU 环境管理和检测工具。 支持 ROCm 平台下的 PyTorch 和 fastai 配置。 def __init__(self): self.device None self.gpu_info {} self.is_rocm False self._detect_environment() def _detect_environment(self): 检测当前 GPU 环境 print( * 60) print(AMD GPU 环境检测) print( * 60) # 检测操作系统 os_name platform.system() print(f操作系统: {os_name} {platform.release()}) # 检测 ROCm 是否安装 self._check_rocm_installation() # 检测 AMD GPU 硬件 self._check_amd_gpu() # 检测 PyTorch ROCm 支持 self._check_pytorch_rocm() def _check_rocm_installation(self): 检查 ROCm 安装 rocm_path os.environ.get(ROCM_PATH, /opt/rocm) if os.path.exists(rocm_path): print(f[OK] ROCm 安装路径: {rocm_path}) # 检查 ROCm 版本 version_file os.path.join(rocm_path, .info/version) if os.path.exists(version_file): with open(version_file) as f: version f.read().strip() print(f[OK] ROCm 版本: {version}) # 检查 rocminfo 工具 rocminfo os.path.join(rocm_path, bin, rocminfo) if os.path.exists(rocminfo): print(f[OK] rocminfo 工具可用) else: print([WARN] rocminfo 工具未找到) else: print(f[WARN] ROCm 未安装在 {rocm_path}) print( 请参考 https://rocmdocs.amd.com 安装 ROCm) def _check_amd_gpu(self): 检查 AMD GPU 硬件 try: result subprocess.run( [rocminfo], capture_outputTrue, textTrue, timeout10 ) if result.returncode 0: output result.stdout # 解析 GPU 信息 gpu_count output.count(Agent 2) if gpu_count 0: print(f[OK] 检测到 AMD GPU) # 提取 GPU 名称 for line in output.split(\n): if Marketing Name in line: gpu_name line.split(:)[1].strip() print(f[OK] GPU 名称: {gpu_name}) self.gpu_info[name] gpu_name if Name: in line and amdgpu in line.lower(): print(f[OK] GPU 驱动: {line.split(:)[1].strip()}) else: print([WARN] 未检测到 AMD GPU) except FileNotFoundError:  print([WARN] rocminfo 未安装尝试其他检测方式) # 尝试通过 /sys 检测 if os.path.exists(/sys/class/kfd/kfd/topology/nodes/0): print([OK] 检测到 KFD 节点AMD GPU) except Exception as e: print(f[WARN] GPU 检测失败: {e}) def _check_pytorch_rocm(self): 检查 PyTorch ROCm 支持 try: import torch print(f\nPyTorch 版本: {torch.__version__}) # 检查是否为 ROCm 版本 # ROCm 版 PyTorch 的版本字符串中包含 rocm if hasattr(torch.version, hip): print(f[OK] ROCm/HIP 版本: {torch.version.hip}) self.is_rocm True else: print([INFO] 当前 PyTorch 不是 ROCm 版本) print( 安装 ROCm 版: pip install torch --index-url https://download.pytorch.org/whl/rocm5.4.2/) # 检查 GPU 可用性 # 在 ROCm 版 PyTorch 中torch.cuda.is_available() 返回 True # 因为 PyTorch 将 HIP 设备映射到 CUDA API if torch.cuda.is_available(): device_count torch.cuda.device_count() print(f[OK] GPU 可用设备数量: {device_count}) for i in range(device_count): name torch.cuda.get_device_name(i) print(f[OK] 设备 {i}: {name}) self.device torch.device(cuda:0) else: print([WARN] GPU 不可用) self._troubleshoot_gpu() except ImportError: print([ERROR] PyTorch 未安装) def _troubleshoot_gpu(self): GPU 不可用时的排查 print(\n--- GPU 排查建议 ---) # 检查环境变量 hsa_override os.environ.get(HSA_OVERRIDE_GFX_VERSION) if hsa_override: print(f HSA_OVERRIDE_GFX_VERSION: {hsa_override}) else: print( 提示: 如果使用 RX 5700 XT设置 HSA_OVERRIDE_GFX_VERSION10.3.0) hip_visible os.environ.get(HIP_VISIBLE_DEVICES) if hip_visible is not None: print(f HIP_VISIBLE_DEVICES: {hip_visible}) cuda_visible os.environ.get(CUDA_VISIBLE_DEVICES) if cuda_visible is not None: print(f CUDA_VISIBLE_DEVICES: {cuda_visible}) # 检查用户权限 try: result subprocess.run([groups], capture_outputTrue, textTrue) groups result.stdout if video not in groups and render not in groups: print( 警告: 用户不在 video/render 组中) print( 修复: sudo usermod -aG video,render $USER) except: pass def setup_fastai(self): 配置 fastai 使用 AMD GPU print(\n--- fastai 配置 ---) try: import fastai from fastai import torch_core print(ffastai 版本: {fastai.__version__}) if self.device: # fastai 使用 PyTorch 的设备抽象 # 在 ROCm 上torch.device(cuda) 映射到 HIP 设备 torch_core.default_device(self.device) print(f[OK] fastai 默认设备设置为: {self.device}) # 验证 fastai 能否使用 GPU from fastai.tabular.all import * # 创建一个小测试 import pandas as pd import numpy as np df pd.DataFrame({ x1: np.random.randn(100), x2: np.random.randn(100), y: np.random.randint(0, 2, 100) }) dls TabularPandas( df, procs[Normalize], cat_names[], cont_names[x1, x2], y_namesy, y_blockCategoryBlock, ).dataloaders(bs16, deviceself.device) learn tabular_learner(dls, layers[10, 5], metricsaccuracy) learn.fit(1) print([OK] fastai 训练测试通过) else: print([WARN] GPU 不可用fastai 将使用 CPU) except ImportError: print([INFO] fastai 未安装) print( 安装: pip install fastai) def run_gpu_benchmark(self): 运行 GPU 性能基准测试 if not self.device: print(GPU 不可用跳过基准测试) return import torch import time print(\n--- GPU 性能基准测试 ---) # 矩阵乘法基准 sizes [512, 1024, 2048, 4096] for size in sizes: # CPU 基准 x_cpu torch.randn(size, size) y_cpu torch.randn(size, size) start time.time() for _ in range(10): z_cpu torch.mm(x_cpu, y_cpu) cpu_time (time.time() - start) / 10 # GPU 基准 x_gpu x_cpu.to(self.device) y_gpu y_cpu.to(self.device) # 预热 torch.mm(x_gpu, y_gpu) torch.cuda.synchronize() start time.time() for _ in range(10): z_gpu torch.mm(x_gpu, y_gpu) torch.cuda.synchronize() gpu_time (time.time() - start) / 10 speedup cpu_time / gpu_time print(f {size}x{size} 矩阵乘法: CPU{cpu_time*1000:.1f}ms, GPU{gpu_time*1000:.1f}ms, 加速比{speedup:.1f}x) # 内存信息 if hasattr(torch.cuda, memory_allocated): allocated torch.cuda.memory_allocated() / 1024**3 reserved torch.cuda.memory_reserved() / 1024**3 print(f\n GPU 内存已分配: {allocated:.2f} GB) print(f GPU 内存已保留: {reserved:.2f} GB) def get_device(self): 获取 PyTorch 设备 return self.device or torch.device(cpu) class FastaiAMDTrainer: 在 AMD GPU 上使用 fastai 进行训练的封装类。 处理设备配置、混合精度训练等。 def __init__(self, gpu_manager: AMDGPUManager): self.gpu_manager gpu_manager self.device gpu_manager.get_device() def prepare_data(self, data, batch_size32): 准备数据并移到 GPU import torch from torch.utils.data import TensorDataset, DataLoader if isinstance(data, (list, tuple)): tensors data else: tensors [data] # 创建数据集 dataset TensorDataset(*tensors) # 创建 DataLoader dataloader DataLoader( dataset, batch_sizebatch_size, shuffleTrue, pin_memoryTrue, # 在 ROCm 上也有效 ) return dataloader def train_pytorch_model(self, model, train_loader, epochs10, lr1e-3): 在 AMD GPU 上训练 PyTorch 模型 import torch import torch.nn as nn import time model model.to(self.device) criterion nn.CrossEntropyLoss() optimizer torch.optim.Adam(model.parameters(), lrlr) # 使用混合精度训练ROCm 支持 scaler torch.cuda.amp.GradScaler() print(f\n开始训练设备: {self.device}) print(f训练轮数: {epochs}, 学习率: {lr}) for epoch in range(epochs): model.train() total_loss 0 correct 0 total 0 start_time time.time() for batch_idx, (data, target) in enumerate(train_loader): data, target data.to(self.device), target.to(self.device) optimizer.zero_grad() # 混合精度前向传播 with torch.cuda.amp.autocast(): output model(data) loss criterion(output, target) # 混合精度反向传播 scaler.scale(loss).backward() scaler.step(optimizer) scaler.update() total_loss loss.item() pred output.argmax(dim1) correct pred.eq(target).sum().item() total target.size(0) elapsed time.time() - start_time avg_loss total_loss / len(train_loader) accuracy 100. * correct / total print(fEpoch {epoch1}/{epochs}: fLoss{avg_loss:.4f}, Acc{accuracy:.2f}%, fTime{elapsed:.1f}s) return model # 示例模型定义 import torch import torch.nn as nn class SimpleClassifier(nn.Module): 简单的分类模型用于测试 AMD GPU 训练 def __init__(self, input_dim784, hidden_dim256, num_classes10): super().__init__() self.network nn.Sequential( nn.Linear(input_dim, hidden_dim), nn.ReLU(), nn.Dropout(0.3), nn.Linear(hidden_dim, hidden_dim), nn.ReLU(), nn.Dropout(0.3), nn.Linear(hidden_dim, num_classes), ) def forward(self, x): return self.network(x) if __name__ __main__: # 初始化 GPU 管理器 gpu_manager AMDGPUManager() # 配置 fastai gpu_manager.setup_fastai() # 运行基准测试 gpu_manager.run_gpu_benchmark() # 训练示例 if gpu_manager.device: print(\n * 60) print(AMD GPU 训练示例) print( * 60) # 生成模拟数据 from torch.utils.data import TensorDataset, DataLoader X torch.randn(1000, 784) y torch.randint(0, 10, (1000,)) dataset TensorDataset(X, y) dataloader DataLoader(dataset, batch_size32, shuffleTrue) # 创建模型 model SimpleClassifier() # 训练 trainer FastaiAMDTrainer(gpu_manager) trained_model trainer.train_pytorch_model( model, dataloader, epochs5, lr1e-3 ) print(\n训练完成) # 保存模型 torch.save(trained_model.state_dict(), model_amd_gpu.pth) print(模型已保存到 model_amd_gpu.pth) print(\n * 60) print(AMD GPU 环境配置完成) print( * 60)常见陷阱与注意事项1.torch.cudaAPI 在 ROCm 上的行为ROCm 版 PyTorch 将torch.cuda映射到torch.hip大部分 CUDA 代码可以直接运行。但某些 CUDA 特有的功能如torch.cuda.amp在 ROCm 上可能有性能差异或行为差异。2.HSA_OVERRIDE_GFX_VERSION的使用对于非官方支持的 GPU如 RX 5700 XT需要设置HSA_OVERRIDE_GFX_VERSION来伪装 GPU 架构。但这样做可能导致某些算子不兼容或性能下降。# RX 5700 XT (gfx1010) 伪装为 gfx1030 export HSA_OVERRIDE_GFX_VERSION10.3.0 # RX 5600 XT (gfx1010) 同样处理 export HSA_OVERRIDE_GFX_VERSION10.3.03. 用户权限问题ROCm 需要用户在video和render组中才能访问 GPUsudo usermod -aG video,render $USER # 需要重新登录或重启生效4. ROCm 版本与 PyTorch 版本的匹配不同版本的 ROCm 需要对应版本的 PyTorchROCm 5.0 - PyTorch 1.12rocm5.0 ROCm 5.1 - PyTorch 1.13rocm5.1 ROCm 5.2 - PyTorch 2.0rocm5.2 ROCm 5.4 - PyTorch 2.0rocm5.4 ROCm 5.6 - PyTorch 2.1rocm5.6 ROCm 6.0 - PyTorch 2.2rocm6.05. 混合精度训练的兼容性ROCm 支持 FP16 混合精度训练但某些算子的 FP16 实现可能与 CUDA 有差异。如果遇到精度问题可以尝试使用 BF16 代替 FP16。6. 多 GPU 训练ROCm 的多 GPU 训练使用HIP_VISIBLE_DEVICES而非CUDA_VISIBLE_DEVICES来控制可见设备。但 PyTorch 的兼容层也支持CUDA_VISIBLE_DEVICES。7. Windows 原生支持的现状截至 2024 年ROCm 在 Windows 上的原生支持仍处于早期阶段。推荐通过 WSL2 使用 ROCm或在 Linux 上双系统运行。总结在 AMD GPU 上使用 PyTorch 和 fastai 的核心在于正确安装和配置 ROCm 平台。关键要点如下安装 ROCm 版 PyTorch使用--index-url https://download.pytorch.org/whl/rocm5.4.2/安装 ROCm 版 PyTorch而非标准的 CUDA 版本。使用 DockerAMD 官方的rocm/pytorchDocker 镜像是最简单的入门方式避免了复杂的驱动和环境配置。配置环境变量对于非官方支持的 GPU设置HSA_OVERRIDE_GFX_VERSION确保用户在video/render组中。API 兼容性ROCm 版 PyTorch 的torch.cudaAPI 映射到 HIP大部分 CUDA 代码无需修改即可运行。fastai 兼容fastai 通过 PyTorch 的设备抽象层工作在 ROCm 环境下通常可以直接使用。Windows 限制通过 WSL2 使用 ROCm 是目前 Windows 上的推荐方案。随着 ROCm 生态的不断完善AMD GPU 在深度学习领域的可用性正在快速提升。对于预算有限或需要大显存的场景AMD GPU 是一个值得考虑的选择。