Python灰度图像彩色化实战：从Lab特征到U-Net模型与可复现报告

简介这份资源面向图像处理入门者与课程实验需求者围绕「灰度图像彩色化」这一经典任务提供可直接运行的Python实现与配套实验报告帮助读者理解从灰度到彩色的特征计算与表示思路并完成一份结构完整的实验作业。压缩包共36个文件、约14.38MB以py源码与pyc缓存为主辅以jpg、png示例图、xml配置、docx实验报告及requirements依赖说明源码、报告与素材分层清晰便于对照阅读与复现。目前已有1373人学习下载说明该方案在同类实验中具备一定参考价值。读者可从中获得完整的彩色化实现流程、模型调用与推理脚本、实验报告撰写框架以及示例输入输出图像既能直接跑通demo观察效果也能据此分析色彩真实感的改进方向适合作为课程设计、复习资料或自学练手项目。1. 灰度图像彩色化从 Python 源码到可复现报告这件事到底值不值得做你手里有一张黑白老照片或者一张卫星灰度图、医学影像、夜视监控截图想让它“长出颜色”。这件事在 Python 里有一个非常成熟的落地路径灰度图像彩色化。它本质上是一个从单通道亮度值预测双通道色度值的回归问题不是简单地上色滤镜。很多人第一次听到“图像特征计算与表示”会觉得抽象但落到代码上核心就是三件事把灰度图转成合适的特征表示、选一个能跑通的模型结构、把结果和评估写成一份别人能复现的报告。适合谁适合刚学完 Python 基础、想找一个能写进简历或课程设计的完整项目的人也适合需要快速验证彩色化效果、不想从零推导公式的工程师。源码和报告不是装饰它们决定了你这个项目是“跑通一次就扔”还是“别人能照着复现”。2. 灰度图像彩色化的特征表示与模型选型为什么不能直接套 RGB 三通道2.1 灰度图进入网络前到底该用什么颜色空间很多人第一反应是把灰度图复制三份当成 RGB 三通道塞进网络。这个做法能跑但效果通常很差原因是灰度图三个通道数值完全一样网络学不到任何颜色线索只能靠空间纹理硬猜。更合理的做法是转到 Lab 或 YCbCr 颜色空间。Lab 里的 L 通道就是亮度a 和 b 是色度YCbCr 里的 Y 是亮度Cb 和 Cr 是色度。彩色化任务就变成输入 L 或 Y预测 a、b 或 Cb、Cr最后再合并回 RGB。我一般用 Lab因为它的色度分布更接近人眼感知训练时损失函数收敛更稳。下面这段代码把一张 RGB 图拆成 L 和 ab方便你观察特征表示import cv2 import numpy as np def rgb_to_lab_channels(img_path): # 读取为 BGR再转 RGB bgr cv2.imread(img_path) rgb cv2.cvtColor(bgr, cv2.COLOR_BGR2RGB) # 归一化到 [0,1]避免后续数值过大 rgb rgb.astype(np.float32) / 255.0 # 转 Lab注意 OpenCV 的 Lab 范围L [0,100]a/b [-128,127] lab cv2.cvtColor(rgb, cv2.COLOR_RGB2Lab) L lab[:, :, 0] / 100.0 # 归一化到 [0,1] ab lab[:, :, 1:] / 128.0 # 粗略归一化到 [-1,1] return L, ab L, ab rgb_to_lab_channels(test.jpg) print(L shape:, L.shape, ab shape:, ab.shape)逻辑说明先把像素值压到 0 到 1是因为 OpenCV 的 Lab 转换对输入范围敏感不归一化会导致 a、b 通道数值溢出。参数上L 除以 100 是因为标准 Lab 的 L 范围是 0 到 100a、b 除以 128 是工程上常用的近似归一化实际范围略超但训练时影响不大。如果你用 PyTorch可以直接用 torchvision 的 rgb_to_grayscale 和自定义转换但要注意不同库的 Lab 实现范围可能不同这是第一个容易翻车的地方。2.2 选 U-Net 还是选预训练编码器小数据量下的真实取舍灰度图像彩色化本质上是一个图像到图像的翻译任务。如果你手头只有几十到几百张图从零训练一个 U-Net 基本会过拟合输出颜色要么灰蒙蒙要么乱飘。更稳的做法是拿一个在 ImageNet 上预训练过的编码器比如 ResNet-18 的前几层做特征提取后面接一个轻量解码器。这样即使数据少编码器已经学会了边缘、纹理等通用特征你只需要教它预测色度。我一般会这样搭一个最小可跑结构import torch import torch.nn as nn import torchvision.models as models class ColorNet(nn.Module): def __init__(self): super().__init__() # 用预训练 ResNet-18 的前几层做编码器 resnet models.resnet18(pretrainedTrue) self.encoder nn.Sequential(*list(resnet.children())[:6]) # 到 layer2 # 解码器逐步上采样回原图尺寸 self.decoder nn.Sequential( nn.Conv2d(128, 64, 3, padding1), nn.ReLU(), nn.Upsample(scale_factor2, modebilinear), nn.Conv2d(64, 32, 3, padding1), nn.ReLU(), nn.Upsample(scale_factor2, modebilinear), nn.Conv2d(32, 2, 3, padding1), nn.Tanh() # 输出 ab 两个通道 ) def forward(self, L): # L 是单通道复制三份适配 ResNet 输入 x L.repeat(1, 3, 1, 1) feat self.encoder(x) ab self.decoder(feat) return ab逻辑说明ResNet-18 的 children 前 6 层输出特征图尺寸大约是原图的 1/8所以解码器用两次上采样回到原尺寸。Tanh 把输出压到 -1 到 1正好对应归一化后的 ab。参数上如果你显存不够可以把 ResNet 换成更小的 MobileNetV2如果数据量上千可以解冻更多层做微调。注意 pretrainedTrue 在离线环境会尝试下载权重提前准备好缓存或手动加载。2.3 损失函数怎么选MSE 会让颜色发灰交叉熵更稳只用 MSE 训练彩色化模型结果往往饱和度很低因为 MSE 对颜色偏差的惩罚是平方的模型倾向于预测平均值而平均色就是灰色。常见做法是混合损失MSE 保证整体结构再加一项分类损失把 ab 空间量化成 313 个色块让模型预测每个像素属于哪个色块。这样颜色更鲜艳但实现复杂度高一些。如果你只想快速出效果可以用 Smooth L1 损失加一个简单的颜色直方图匹配后处理。下面是一个最小训练循环的损失部分criterion nn.SmoothL1Loss() optimizer torch.optim.Adam(model.parameters(), lr1e-3) for epoch in range(10): for L, ab_true in dataloader: ab_pred model(L) loss criterion(ab_pred, ab_true) optimizer.zero_grad() loss.backward() optimizer.step() print(fEpoch {epoch}, loss {loss.item():.4f})参数说明Smooth L1 在误差大时等价于 L1误差小时等价于 L2比纯 MSE 更不容易让颜色塌缩到灰色。学习率 1e-3 是 Adam 的常用起点如果 loss 震荡就降到 1e-4。训练轮数不是越多越好10 到 20 轮后如果验证集颜色不再变好就该停了。3. 用 Python 源码跑通灰度图像彩色化从环境配置到推理输出3.1 环境配置python安装、vscode配置python与pycharm配置python环境这一步是小白最容易卡住的地方。你不需要把 python安装教程 从头看一遍但必须确认三件事Python 版本、包管理工具、编辑器解释器路径。我一般用 Python 3.8 到 3.10太新的版本有些旧包编译不过。安装完 Python 后在终端里执行python --version pip install opencv-python numpy torch torchvision pillow matplotlib如果你用 vscode配置python按 CtrlShiftP输入 Python: Select Interpreter选中你刚安装的 Python 路径。如果你用 pycharm配置python环境在 File Settings Project Python Interpreter 里添加同一个路径。注意不要混用 conda 和 pip 安装的包否则会出现 OpenCV 能导入但 torch 报 DLL 错误的情况。提示安装 torch 时如果网络慢可以指定官方源或使用国内镜像但不要混用多个镜像源否则依赖解析会乱。3.2 数据准备把任意图片转成灰度-彩色配对彩色化模型训练需要成对的灰度图和彩色图。你可以用公开数据集也可以自己拍。关键是把彩色图转成灰度图作为输入原彩色图作为标签。下面这段代码批量生成配对import os import cv2 import numpy as np def make_pairs(src_dir, dst_dir, size256): os.makedirs(dst_dir, exist_okTrue) for i, fname in enumerate(os.listdir(src_dir)): path os.path.join(src_dir, fname) bgr cv2.imread(path) if bgr is None: continue # 统一尺寸避免训练时 batch 内尺寸不一致 bgr cv2.resize(bgr, (size, size)) gray cv2.cvtColor(bgr, cv2.COLOR_BGR2GRAY) # 保存灰度图和彩色图文件名对应 cv2.imwrite(os.path.join(dst_dir, f{i:04d}_gray.jpg), gray) cv2.imwrite(os.path.join(dst_dir, f{i:04d}_color.jpg), bgr) print(f生成 {i1} 对样本) make_pairs(raw_images, pairs)逻辑说明统一 resize 到 256x256 是为了 batch 训练方便实际推理时可以支持任意尺寸但训练时最好固定。文件名用编号对应避免中文路径导致 OpenCV 读取失败。参数 size 可以根据显存调整128 更快但细节少512 更清晰但显存翻倍。3.3 推理与合并把预测的 ab 通道拼回 RGB训练完之后推理阶段只需要输入灰度图模型输出 ab再和 L 合并。下面是一个完整的推理函数def colorize(model, gray_path, output_path): model.eval() gray cv2.imread(gray_path, cv2.IMREAD_GRAYSCALE) gray cv2.resize(gray, (256, 256)) L gray.astype(np.float32) / 255.0 L_tensor torch.from_numpy(L).unsqueeze(0).unsqueeze(0) # [1,1,H,W] with torch.no_grad(): ab_pred model(L_tensor).squeeze(0).permute(1, 2, 0).numpy() # 反归一化 L_full L * 100.0 ab_full ab_pred * 128.0 lab np.concatenate([L_full[:, :, None], ab_full], axis2) rgb cv2.cvtColor(lab.astype(np.float32), cv2.COLOR_Lab2RGB) rgb np.clip(rgb, 0, 1) cv2.imwrite(output_path, cv2.cvtColor((rgb * 255).astype(np.uint8), cv2.COLOR_RGB2BGR)) print(保存到, output_path) colorize(model, pairs/0000_gray.jpg, result.jpg)逻辑说明输入张量形状必须是 [batch, channel, height, width]所以做了两次 unsqueeze。输出 ab 是 [2,H,W]permute 成 [H,W,2] 才能和 L 拼接。反归一化时 L 乘 100ab 乘 128再转 Lab 到 RGB。注意 OpenCV 的 Lab 转 RGB 要求输入是 float32且范围符合标准否则颜色会偏。4. 避坑与排查灰度图像彩色化最常见的 5 个翻车现场4.1 现象输出全灰或颜色极淡 → 原因损失函数只用 MSE → 解决换 Smooth L1 或加分类损失这是最典型的翻车。MSE 会让模型预测条件均值而颜色分布是多峰的均值就是灰色。我一开始也踩过这个坑训练 loss 降得很低但推理出来全是灰的。改成 Smooth L1 后颜色明显改善如果再加入 ab 量化分类损失饱和度会更好。4.2 现象训练 loss 震荡不收敛 → 原因学习率太大或 batch 太小 → 解决降学习率、加梯度裁剪Adam 默认 1e-3 在彩色化任务上有时偏大尤其是 batch size 小于 8 的时候。可以降到 1e-4并加 torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)。另外如果显存只够 batch2可以累积梯度每 4 个 batch 更新一次。4.3 现象推理结果尺寸和原图不一致 → 原因训练时固定了 256推理没做还原 → 解决推理后 resize 回原尺寸训练时为了 batch 统一把图 resize 到 256。推理时如果直接输出 256再保存就会变小。正确做法是记录原图尺寸推理完把 RGB 结果 resize 回去。注意 resize 用双三次插值颜色过渡更自然。4.4 现象OpenCV 读图返回 None → 原因路径含中文或图片损坏 → 解决用 cv2.imdecode 或检查文件OpenCV 在 Windows 上对中文路径支持不好cv2.imread 会静默返回 None。可以用 np.fromfile 加 cv2.imdecode 绕过def imread_unicode(path): data np.fromfile(path, dtypenp.uint8) return cv2.imdecode(data, cv2.IMREAD_COLOR)4.5 现象显存溢出 → 原因输入尺寸太大或模型太深 → 解决降尺寸、换轻量模型、用混合精度256x256 的 ResNet-18 编码器在 4GB 显存上 batch4 基本能跑。如果溢出先把尺寸降到 128或者把 ResNet 换成 MobileNetV2。还可以用 torch.cuda.amp 做混合精度训练显存能省三分之一左右。5. 进阶技巧用报告里的评估指标判断彩色化到底有没有变好很多人跑完模型只看一张输出图觉得“有颜色了”就结束。但颜色对不对、稳不稳定需要量化。我一般会在报告里放三个指标PSNR、SSIM 和颜色直方图相似度。PSNR 和 SSIM 用 skimage 就能算颜色直方图相似度用 OpenCV 的 compareHist。from skimage.metrics import peak_signal_noise_ratio, structural_similarity import cv2 import numpy as np def evaluate(gray_path, color_path, pred_path): gray cv2.imread(gray_path, cv2.IMREAD_GRAYSCALE) color cv2.imread(color_path) pred cv2.imread(pred_path) # 统一尺寸 color cv2.resize(color, (pred.shape[1], pred.shape[0])) # PSNR 和 SSIM 在 RGB 上算 psnr peak_signal_noise_ratio(color, pred, data_range255) ssim structural_similarity(color, pred, multichannelTrue, channel_axis2) # 颜色直方图相似度 hist_color cv2.calcHist([color], [0, 1, 2], None, [8, 8, 8], [0, 256, 0, 256, 0, 256]) hist_pred cv2.calcHist([pred], [0, 1, 2], None, [8, 8, 8], [0, 256, 0, 256, 0, 256]) hist_sim cv2.compareHist(hist_color, hist_pred, cv2.HISTCMP_CORREL) print(fPSNR: {psnr:.2f}, SSIM: {ssim:.4f}, HistSim: {hist_sim:.4f}) evaluate(pairs/0000_gray.jpg, pairs/0000_color.jpg, result.jpg)参数说明PSNR 高于 20 才算能看SSIM 高于 0.8 说明结构保持不错直方图相似度高于 0.5 表示颜色分布接近原图。注意这些指标只是参考因为彩色化本身是多解的同一张灰度图可以对应多种合理颜色。报告里最好放三列灰度输入、模型输出、原彩色图再附上指标表格别人一看就知道你的方法稳不稳。我自己的习惯是每次改完模型或损失函数先跑 10 张验证图算平均指标再挑一张最差的看原因。如果最差的那张颜色崩了通常不是模型容量不够而是数据里有一类场景没覆盖到。希望帮到你。本文还有配套的精品资源点击获取