工业级图像语义分割GUI工具：PyQt6+PyTorch多模型热切换

简介这是一款基于Python与PyQt开发的图像语义分割桌面软件面向计算机、人工智能、自动化等专业学生及初学者解决模型调用门槛高、GUI交互缺失、学习项目难落地等问题可直接用于课程设计、毕业设计、教学演示或算法实践拓展。资源包共153个文件含37个核心Python源码含models.py等模型封装与UI逻辑、85个SVG图标资源支撑界面组件美化、7个YAML配置文件定义模型参数与数据路径、以及README.md说明文档、LICENSE协议、测试图片与UI界面文件.ui/.qrc整体压缩包仅8.74MB轻量易部署。已有248人下载学习项目源自作者高分毕设答辩均分96分所有代码经实机验证可运行附完整环境配置说明与基础使用指引。用户可快速启动软件加载图像、切换MobileNet/ResNet50等8种预训练模型进行实时分割亦可基于清晰模块化结构模型层、UI层、配置层分离开展二次开发与功能扩展。1. 这不是又一个“跑通 demo”的 GUI 工具它把图像语义分割从 Jupyter 搬进产线调试间支持 8 个工业级模型一键切换且所有代码可直接嵌入现有 Python 工程你手头有一批电表图像需要自动圈出编码区域或正在调试一条 PCB 缺陷检测流水线得在不重启服务的前提下快速替换 backbone又或者你刚用 PyTorch 训练完一个轻量级 MobileNetV3 分割模型但客户只认 Windows 双击运行的.exe—— 这时一个「能加载模型、拖拽图片、实时渲染 mask、导出带标注的 PNG」的本地 GUI 软件就不再是玩具而是交付闭环的关键一环。本项目正是为此而生它用 PyQt6 构建稳定跨平台界面非 Qt5避坑 macOS 13 兼容性后端封装 PyTorch/TensorFlow 双引擎预置 MobileNetV2/V3、ResNet50/101、EfficientNet-B0/B2、UNet 和 DeepLabV3 共 8 个模型结构全部支持 ONNX 导出与推理加速。源码无任何第三方闭源依赖文档含模型权重加载规范、自定义数据集接入模板、CUDA 显存监控技巧三类硬核内容。适合算法工程师做现场验证、嵌入式开发者做边缘部署前仿真、以及教学场景中让学生直观理解“输入一张图 → 输出像素级类别”全过程。2. 为什么选 PyQt6 而非 Tkinter 或 Dear PyGui从事件循环到 QImage 转换的底层适配逻辑2.1 GUI 框架选型的三个硬约束显存零拷贝、多线程安全、模型热加载不卡 UI图像语义分割的 GUI 不同于普通表单应用每次推理需将np.ndarrayH×W×3转为模型输入张量推理后又需将(C, H, W)的 logits 经 softmax argmax 得到(H, W)的整型 mask再叠加原图生成可视化结果。若用 Tkinter其PhotoImage对象无法直接接收QImage格式必须经PIL.Image.fromarray()中转导致 CPU 内存拷贝激增而 Dear PyGui 在 Windows 上对中文路径支持不稳定曾有用户反馈加载D:\模型\resnet50.pth时抛出UnicodeDecodeError。PyQt6 则天然满足三大约束第一QPixmap.fromImage()可直接消费QImage而QImage支持numpy.ndarray.data的内存视图绑定QImage(data_ptr, w, h, bytes_per_line, format)实现 GPU 显存→CPU 内存→QImage 的零拷贝链路第二QThreadPoolQRunnable机制确保模型加载、预处理、推理、后处理四阶段完全异步UI 线程永不阻塞第三QComboBox.currentTextChanged信号可触发模型卸载新模型加载全程不重启进程实测 ResNet50 切换至 MobileNetV2 耗时 1.2sRTX 3060。这正是工业场景要求的“热插拔”能力。2.2 核心类设计SegmentationWorker如何隔离模型状态与 UI 状态# workers/segmentation_worker.py from PyQt6.QtCore import QRunnable, pyqtSignal, QObject, QThreadPool import torch import numpy as np class WorkerSignals(QObject): finished pyqtSignal(np.ndarray) # 发射 (H, W) 整型 mask error pyqtSignal(str) progress pyqtSignal(int) # 0-100 进度 class SegmentationWorker(QRunnable): def __init__(self, image_path: str, model_name: str, device: str cuda): super().__init__() self.image_path image_path self.model_name model_name self.device device self.signals WorkerSignals() def run(self): try: # 1. 加载图像使用 OpenCV 避免 PIL 的 RGB/BGR 混淆 img_bgr cv2.imread(self.image_path) if img_bgr is None: raise ValueError(fFailed to load image: {self.image_path}) img_rgb cv2.cvtColor(img_bgr, cv2.COLOR_BGR2RGB) # 2. 动态加载模型关键每次 new 实例避免 state 污染 model self._load_model(self.model_name) model.to(self.device) model.eval() # 3. 预处理统一 resize 到 512x512归一化转 tensor self.signals.progress.emit(30) input_tensor self._preprocess(img_rgb).to(self.device) # 4. 推理no_grad 确保显存不增长 self.signals.progress.emit(60) with torch.no_grad(): output model(input_tensor) # shape: (1, C, H, W) # 5. 后处理argmax resize 回原图尺寸 self.signals.progress.emit(90) mask torch.argmax(output[0], dim0).cpu().numpy() # (H, W) mask_resized cv2.resize(mask, (img_rgb.shape[1], img_rgb.shape[0]), interpolationcv2.INTER_NEAREST) self.signals.finished.emit(mask_resized) except Exception as e: self.signals.error.emit(str(e)) def _load_model(self, name: str): 根据名称返回已注册的模型实例 from models import get_model # models/__init__.py 中统一注册 return get_model(name)提示QRunnable必须继承QObject才能发射信号但QRunnable本身不继承QObject因此需通过WorkerSignals类桥接。这是 PyQt 多线程编程的强制范式漏掉会导致finished信号无法被 UI 线程捕获。2.3 QImage 与 numpy.ndarray 的高效互转绕过 PIL 的内存拷贝陷阱# utils/image_utils.py import numpy as np from PyQt6.QtGui import QImage, QPixmap from PyQt6.QtCore import Qt def ndarray_to_qimage(arr: np.ndarray) - QImage: 将 (H, W, 3) uint8 ndarray 转为 QImage 注意arr 必须是 C-contiguous否则 data_ptr 无效 if arr.ndim ! 3 or arr.shape[2] ! 3: raise ValueError(Input array must be (H, W, 3)) if not arr.flags.c_contiguous: arr np.ascontiguousarray(arr) h, w, _ arr.shape bytes_per_line 3 * w # 使用 QImage 的内存视图构造函数data_ptr 直接指向 arr.data qimage QImage( arr.data, # 内存地址 w, h, # 宽高 bytes_per_line, QImage.Format.Format_RGB888 ) # 关键设置 Qt 的内存管理策略防止 arr 被 GC 后 qimage 崩溃 qimage.bits() # 强制访问确保引用计数生效 return qimage.copy() # 返回深拷贝避免生命周期问题 def qimage_to_ndarray(qimage: QImage) - np.ndarray: QImage → ndarray用于保存 mask 时的格式校验 size qimage.size() ptr qimage.bits() ptr.setsize(size.width() * size.height() * 3) arr np.array(ptr).reshape((size.height(), size.width(), 3)) return arr注意QImage(arr.data, ...)中的arr.data是memoryview若arr在函数作用域外被释放qimage将读取野指针。因此必须调用qimage.copy()创建独立副本。实测某次未 copy 导致在 macOS 上出现随机花屏Windows 上则直接崩溃。3. 8 个模型如何统一接入从 ResNet50 的forward重写到 MobileNet 的通道适配3.1 模型抽象层BaseSegmentor协议与get_model工厂函数所有 8 个模型必须实现BaseSegmentor协议核心是__call__方法签名统一为(x: torch.Tensor) - torch.Tensor输出(B, C, H, W)logits# models/base.py from abc import ABC, abstractmethod import torch.nn as nn class BaseSegmentor(nn.Module, ABC): abstractmethod def forward(self, x: torch.Tensor) - torch.Tensor: x: (B, 3, H, W) float32 tensor, return (B, num_classes, H, W) pass property abstractmethod def num_classes(self) - int: pass property abstractmethod def input_size(self) - tuple[int, int]: 推荐输入尺寸如 (512, 512) pass # models/__init__.py from .resnet import ResNet50Segmentor from .mobilenet import MobileNetV2Segmentor, MobileNetV3Segmentor from .unet import UNetSegmentor # ... 其他模型 _MODEL_REGISTRY { resnet50: ResNet50Segmentor, mobilenetv2: MobileNetV2Segmentor, mobilenetv3: MobileNetV3Segmentor, unet: UNetSegmentor, # ... 注册全部 8 个 } def get_model(name: str, num_classes: int 2, pretrained: bool True) - BaseSegmentor: if name not in _MODEL_REGISTRY: raise ValueError(fUnknown model: {name}. Available: {list(_MODEL_REGISTRY.keys())}) return _MODEL_REGISTRY[name](num_classesnum_classes, pretrainedpretrained)3.2 ResNet50 的改造要点移除 FC 层 插入 ASPP 模块标准 ResNet50 分类模型最后一层是nn.Linear(2048, 1000)而分割需保留空间信息。本项目采用 DeepLabV3 风格改造# models/resnet.py import torch.nn as nn import torchvision.models as tv_models class ResNet50Segmentor(BaseSegmentor): def __init__(self, num_classes: int 2, pretrained: bool True): super().__init__() # 1. 加载预训练 ResNet50去掉 avgpool 和 fc resnet tv_models.resnet50(pretrainedpretrained) self.backbone nn.Sequential(*list(resnet.children())[:-2]) # 输出 (B, 2048, H/32, W/32) # 2. 添加 ASPPAtrous Spatial Pyramid Pooling self.aspp ASPP(in_channels2048, out_channels256, rates[1, 6, 12, 18]) # 3. 解码头1x1 conv → 上采样 → 1x1 conv 分类 self.classifier nn.Sequential( nn.Conv2d(256 * 4, 256, 1, biasFalse), # ASPP 输出拼接 nn.BatchNorm2d(256), nn.ReLU(inplaceTrue), nn.Conv2d(256, num_classes, 1) # 最终输出 (B, C, H/32, W/32) ) self.num_classes num_classes self.input_size (512, 512) def forward(self, x: torch.Tensor) - torch.Tensor: x self.backbone(x) # (B, 2048, H/32, W/32) x self.aspp(x) # (B, 256*4, H/32, W/32) x self.classifier(x) # (B, C, H/32, W/32) # 双线性上采样回原图尺寸训练时用 loss 计算推理时用此步 return torch.nn.functional.interpolate( x, sizex.shape[-2:], modebilinear, align_cornersFalse )3.3 MobileNetV2/V3 的通道适配解决torch.nn.functional.interpolate的 stride 陷阱MobileNet 的特征图 stride 为 32但部分工业图像如电表编码区仅占原图 5% 面积直接上采样会模糊边界。本项目引入SubPixelConv2d替代双线性插值# models/mobilenet.py class SubPixelConv2d(nn.Module): 替代 interpolate减少上采样失真 def __init__(self, channels: int, upscale_factor: int 2): super().__init__() self.conv nn.Conv2d(channels, channels * (upscale_factor ** 2), 3, padding1) self.ps nn.PixelShuffle(upscale_factor) def forward(self, x): return self.ps(self.conv(x)) class MobileNetV2Segmentor(BaseSegmentor): def __init__(self, num_classes: int 2, pretrained: bool True): super().__init__() # 使用 torchvision 的 mobilenet_v2但替换最后两层 mbv2 tv_models.mobilenet_v2(pretrainedpretrained) # 取 features[0:18]到倒数第二个 bottleneck self.backbone nn.Sequential(*list(mbv2.features.children())[:18]) # 添加轻量解码头 self.decoder nn.Sequential( SubPixelConv2d(1280, 2), # 1280→320, H/16→H/8 nn.ReLU(inplaceTrue), SubPixelConv2d(320, 2), # 320→80, H/8→H/4 nn.Conv2d(80, num_classes, 1) ) self.num_classes num_classes self.input_size (320, 320) # MobileNet 更小输入提速 40%参数说明SubPixelConv2d中upscale_factor2表示每次上采样 2 倍两次即从H/16到H/4再经Conv2d输出(H/4, W/4)最后用interpolate一次性放大到(H, W)。实测比四次双线性插值 PSNR 提升 2.3dB。4. 模型权重加载与 ONNX 导出从model.pth到跨平台部署的完整链路4.1 权重加载规范state_dict键名映射与 strictFalse 的安全边界用户常将 PyTorch 训练的model_best.pth直接丢进 GUI却报Missing key(s) in state_dict。本项目强制要求权重文件包含model_state_dict和num_classes字段# utils/model_loader.py def load_segmentor_weights(model: BaseSegmentor, weight_path: str) - None: 安全加载权重自动处理键名差异 weight_path 应为 .pth 文件内容为 { model_state_dict: {...}, num_classes: 2, arch: resnet50 # 可选用于校验 } checkpoint torch.load(weight_path, map_locationcpu) # 1. 校验 num_classes 是否匹配 if num_classes in checkpoint and checkpoint[num_classes] ! model.num_classes: raise ValueError( fWeight num_classes ({checkpoint[num_classes]}) ! fmodel num_classes ({model.num_classes}) ) # 2. 加载 state_dict允许缺失和冗余键如分类头 model.load_state_dict(checkpoint[model_state_dict], strictFalse) # 3. 打印缺失/意外键辅助 debug missing_keys [k for k in model.state_dict().keys() if k not in checkpoint[model_state_dict]] unexpected_keys [k for k in checkpoint[model_state_dict].keys() if k not in model.state_dict()] if missing_keys: print(f[WARN] Missing keys: {missing_keys[:3]}...) if unexpected_keys: print(f[WARN] Unexpected keys: {unexpected_keys[:3]}...) # GUI 中调用示例 try: load_segmentor_weights(self.current_model, weights/resnet50_electric_meter.pth) except Exception as e: self.statusBar().showMessage(fLoad failed: {e})4.2 ONNX 导出脚本解决torch.nn.functional.interpolate的动态 shape 问题PyTorch 的interpolate在 ONNX 中默认导出为Resize算子但若输入尺寸动态如任意 H×WONNX Runtime 会报错。本项目固定输入尺寸并导出# export_onnx.py import torch import argparse from models import get_model def export_to_onnx(model_name: str, weight_path: str, onnx_path: str, input_size: tuple[int, int] (512, 512)): model get_model(model_name, num_classes2, pretrainedFalse) model.load_state_dict(torch.load(weight_path)[model_state_dict]) model.eval() # 创建 dummy input固定尺寸 dummy_input torch.randn(1, 3, input_size[0], input_size[1]) # 导出时指定 dynamic_axes让 batch 和 spatial 维度可变 torch.onnx.export( model, dummy_input, onnx_path, input_names[input], output_names[output], dynamic_axes{ input: {0: batch, 2: height, 3: width}, output: {0: batch, 2: height, 3: width} }, opset_version12 # 兼容 ONNX Runtime 1.7 ) print(fONNX exported to {onnx_path}) if __name__ __main__: parser argparse.ArgumentParser() parser.add_argument(--model, requiredTrue, helpe.g., resnet50) parser.add_argument(--weight, requiredTrue, helppath to .pth) parser.add_argument(--onnx, requiredTrue, helpoutput .onnx path) args parser.parse_args() export_to_onnx(args.model, args.weight, args.onnx)关键参数dynamic_axes中height和width的映射使 ONNX Runtime 可接受256x256或1024x1024输入无需重新导出。实测 ResNet50 ONNX 在 Intel i7-11800H 上推理耗时 42msvs PyTorch 58ms。4.3 ONNX Runtime 在 PyQt 中的集成零拷贝推理管道# inference/onnx_inference.py import onnxruntime as ort import numpy as np class ONNXSegmentor: def __init__(self, onnx_path: str, providersNone): if providers is None: providers [CUDAExecutionProvider, CPUExecutionProvider] self.session ort.InferenceSession(onnx_path, providersproviders) self.input_name self.session.get_inputs()[0].name self.output_name self.session.get_outputs()[0].name def __call__(self, image: np.ndarray) - np.ndarray: image: (H, W, 3) uint8 return: (H, W) uint8 mask # 1. 预处理resize normalize transpose → (1, 3, H, W) h, w image.shape[:2] resized cv2.resize(image, (512, 512)) normalized (resized.astype(np.float32) / 255.0 - [0.485, 0.456, 0.406]) / [0.229, 0.224, 0.225] tensor np.transpose(normalized, (2, 0, 1))[None, ...] # (1, 3, H, W) # 2. ONNX 推理零拷贝numpy array 直接传入 ort_inputs {self.input_name: tensor} ort_outs self.session.run([self.output_name], ort_inputs) # 3. 后处理argmax resize 回原图 logits ort_outs[0][0] # (C, H, W) mask np.argmax(logits, axis0).astype(np.uint8) # (H, W) return cv2.resize(mask, (w, h), interpolationcv2.INTER_NEAREST) # 在 GUI 中切换 ONNX 模式 self.inference_engine ONNXSegmentor(weights/resnet50.onnx)5. 实战用 ResNet50 检测电表编码区域从原始图像到带标注 PNG 的全流程5.1 数据准备电表图像的预处理与标签规范工业电表图像常存在反光、倾斜、低对比度问题。本项目文档提供preprocess_electric_meter.py脚本# scripts/preprocess_electric_meter.py import cv2 import numpy as np import argparse def enhance_meter_image(img_path: str, out_path: str): img cv2.imread(img_path) # 1. 自适应直方图均衡化CLAHE增强对比度 clahe cv2.createCLAHE(clipLimit2.0, tileGridSize(8,8)) yuv cv2.cvtColor(img, cv2.COLOR_BGR2YUV) yuv[:,:,0] clahe.apply(yuv[:,:,0]) enhanced cv2.cvtColor(yuv, cv2.COLOR_YUV2BGR) # 2. 非局部均值去噪保留边缘 denoised cv2.fastNlMeansDenoisingColored(enhanced, None, 10, 10, 7, 21) # 3. 透视校正手动标定 4 个角点文档提供 GUI 标定工具 # 此处省略实际使用 cv2.getPerspectiveTransform cv2.imwrite(out_path, denoised) if __name__ __main__: parser argparse.ArgumentParser() parser.add_argument(--input, requiredTrue) parser.add_argument(--output, requiredTrue) args parser.parse_args() enhance_meter_image(args.input, args.output)提示电表编码区通常为矩形建议在标注时使用labelme工具绘制多边形导出为json后用scripts/json_to_mask.py生成(H, W)二值 mask作为训练 ground truth。5.2 模型微调在电表数据集上 Finetune ResNet50使用项目内置训练脚本只需修改配置# configs/resnet50_electric_meter.yaml model: name: resnet50 num_classes: 2 # background, code_region pretrained: true data: train_dir: ./data/electric_meter/train/images mask_dir: ./data/electric_meter/train/masks val_dir: ./data/electric_meter/val/images val_mask_dir: ./data/electric_meter/val/masks batch_size: 8 input_size: [512, 512] optimizer: name: AdamW lr: 1e-4 weight_decay: 1e-3 scheduler: name: OneCycleLR max_lr: 1e-3 epochs: 50执行训练python train.py --config configs/resnet50_electric_meter.yaml # 输出weights/resnet50_electric_meter.pth5.3 GUI 中加载与验证三步完成电表编码检测启动软件python main.py加载模型点击Model → Load Weights选择weights/resnet50_electric_meter.pth加载图像点击File → Open Image选择预处理后的电表图此时界面右侧显示原图左上预测 mask右上绿色区域为编码区叠加图左下原图半透明绿色 mask统计面板右下编码区面积占比、最大连通域坐标点击File → Export Mask即可保存(H, W)二值 PNG供下游 OCR 使用。电表检测关键参数表参数值说明input_size(512, 512)ResNet50 推荐尺寸平衡精度与速度confidence_threshold0.5softmax 后背景类概率阈值低于此值视为前景min_area_ratio0.01编码区最小面积占比防噪点误检postprocess_kernel(5,5)形态学开运算核大小消除 mask 孤立点验证技巧在 GUI 中按住Ctrl键拖动鼠标可放大局部区域查看 mask 边界是否贴合编码数字边缘。若出现锯齿调高postprocess_kernel至(7,7)若漏检降低confidence_threshold至0.4。本文还有配套的精品资源点击获取