CVPR 2025 LSB模块：即插即用增强YOLO26低光检测与部署

说到 YOLO 改进很多人第一反应是“堆模块、涨点玄学”。这次我们要看的是一个不太一样的东西CVPR 2025 上 nnWNet 提出的LSB 模块Local-to-Spatial Block。按官方说法它做的是“局部特征连续传输”并且是即插即用设计可以直接接到 YOLO26 的 backbone 或 neck 里。如果你最近在折腾 YOLO26 源码下载、结构图解析、训练自己的数据集或者正在纠结低光环境检测效果差、C 部署时模型结构改动大不大那这个模块值得花十分钟了解一下。更实际的问题是它能不能在保留 YOLO26 轻量优势的同时把特征提取的连续性补上部署到 RK3588 这类边缘设备有没有障碍这篇文章会从模块原理、YOLO26 接入位置、训练验证、C 部署几个角度展开。先给结论LSB 模块不是那种“换一个激活函数、涨 0.1 个点”的微改它改变了局部特征在层间传递的方式。对于小目标、低光、遮挡场景它的收益会明显一些对于常规白天清晰场景收益则看基线。关键点在于它保持了即插即用的结构不破坏原有 YOLO26 的前向流程也不会引入过多的额外计算量。1. 核心能力速览能力项说明模块名称LSBLocal-to-Spatial Block来源论文CVPR 2025nnWNet模块类型即插即用特征增强模块核心作用局部特征连续传输增强空间细节与上下文信息适配任务YOLO26 目标检测、低光检测、小目标检测接入位置Backbone 末端、Neck 特征融合前、Detect 头部前是否支持即插即用是不需要大规模改动原有 YOLO26 结构是否支持 C 部署可以模块可用标准卷积实现转 ONNX 友好是否支持 RK3588取决于算子组合建议用 ONNX 验证 NPU 兼容性训练成本低普通单卡 GPU 可完成部署成本低不会显著增加参数量和计算量上面这些点核心就是一句话LSB 模块给 YOLO26 增加了一种更连续的特征传递方式而不是简单拼接一个注意力机制。2. 适用场景与使用边界2.1 适合谁正在做 YOLO26 改进但不想推倒重来的人。数据集存在低光、遮挡、小目标、密集场景的人。需要在边缘设备如 RK3588、Jetson上部署同时想提升精度的开发者。想用 CVPR 2025 新思路做实验发论文或者做工程优化的人。2.2 能解决什么问题从 nnWNet 的思路看LSB 模块关注的是局部特征在空间维度的连续传递。传统卷积在每一层独立提取特征层与层之间容易丢失局部连续性。LSB 模块通过局部分支与空间分支的交互让特征在传递过程中保留更多位置敏感信息。简单说它可以让 YOLO26 在检测小目标时减少漏检。2.3 不适合什么场景如果你的任务主要是高速视频流处理而且对 FPS 有极致要求LSB 模块的前向耗时需要严格控制。虽然计算量不大但毕竟是额外分支。如果你用的是非常老的显卡且显存小于 4GB训练时可能需要降低 batch size模块本身不是瓶颈但训练过程会变慢。如果你不想改动 YOLO26 结构也不想调整训练配置那就没必要引入。2.4 合规边界使用 LSB 模块改进 YOLO26 时要注意数据集的版权和隐私授权。尤其低光环境下的人体、人脸、车辆数据来源必须合法。如果模型用于商业项目需要确认 nnWNet 论文代码的许可证。部署到 RK3588 等设备时要对模型的最终输出负责避免误判导致安全问题。3. YOLO26 与 LSB 模块结合的核心思路3.1 YOLO26 的结构特点YOLO26 是 Ultralytics 系列的延续它的设计核心是高效、可扩展、部署友好。相比 YOLOv8 和 YOLOv9它在 backbone 上进一步优化了梯度流通路径把更多的计算集中在高效特征提取上。这让 YOLO26 成为改进实验的很好的基线。如果你还没跑通 YOLO26可以从源码导入开始。典型环境如下# 以 ultralytics 库为基础 from ultralytics import YOLO # 加载 YOLO26 模型如果本地没有权重会自动下载 model YOLO(yolo26.yaml) print(model.model)这里要注意YOLO26 的具体配置文件名可能随版本变化以你本地实际克隆的 ultralytics 仓库为准。用上面的代码可以快速确认模型加载是否正常。3.2 LSB 模块的设计思路LSB 模块的设计可以从名字拆解Local局部特征分支使用小卷积核如 3x3提取局部纹理。Spatial Block空间维度上做信息交互类似空间注意力但更强调局部到整体的连续映射。连续传输不是每层单独计算而是让局部分支输出的特征直接传递到后续层形成信息“接力”。这种设计和传统残差连接的差别在于残差是“加一个短接”LSB 是“做了一个局部分支并在空间上连续映射”。用公式逻辑来说就是Y Conv(X) Local_Branch(X) * Spatial_Weight(X)这个设计有一个额外的好处模块输出可以和输入同尺寸因此可以插入到 YOLO26 的颈部或主干网络的任何位置不需要额外 upsample 或 downsample。3.3 为什么适合低光检测低光图像的主要问题是对比度低、噪声多、局部纹理弱。普通卷积在低光条件下容易把噪声当成特征或者丢失局部细节。LSB 模块的“局部特征连续传输”机制可以让模型在低层次保留更多局部边缘和纹理信息再通过空间分支加权把有用信息传递到高层。这也是为什么 yolo26 低光环境检测的热词会和 LSB 模块关联的原因。但注意LSB 模块不是低光增强算法它不会把暗图变亮。它只负责在特征层面让模型更好地区分目标与背景。4. YOLO26 接入 LSB 模块的改造方法4.1 修改 YAML 配置文件以 YOLO26 的 yaml 配置为例你可以把 LSB 模块定义成一个新的组件。这里给出一种接入方式在 backbone 倒数第二层和 neck 的第一层之间插入 LSB 模块。# yolo26_lsb.yaml 简化示例 # 需要根据你实际的 YOLO26 配置调整 backbone: - [-1, 1, Conv, [64, 3, 2]] - [-1, 1, Conv, [128, 3, 2]] - [-1, 3, C3k2, [256]] - [-1, 1, Conv, [256, 3, 2]] - [-1, 6, C3k2, [512]] - [-1, 1, Conv, [512, 3, 2]] - [-1, 6, C3k2, [1024]] - [-1, 1, SPPF, [1024, 5]] - [-1, 1, LSB, [1024]] # 插入 LSB 模块 head: - [-1, 1, nn.Upsample, [None, 2, nearest]] - [[-1, 6], 1, Concat, [1]] - [-1, 1, C3k2, [512]] # ...上面的 YAML 只是示意实际配置以你下载的 YOLO26 源码为准。关键点LSB 模块必须和上一层输出通道数匹配否则会报通道错误。4.2 注册 LSB 模块在 ultralytics 的nn/modules目录下新增lsb.py然后在__init__.py中注册模块这样 YAML 里就能直接使用LSB关键字。# ultralytics/nn/modules/lsb.py import torch import torch.nn as nn import torch.nn.functional as F class LSB(nn.Module): def __init__(self, c1, c2, kernel_size3): super().__init__() assert c1 c2, LSB currently supports c1 c2 for residual hidden max(c1 // 4, 16) self.local_branch nn.Sequential( nn.Conv2d(c1, hidden, 3, 1, 1, biasFalse), nn.BatchNorm2d(hidden), nn.SiLU(inplaceTrue), nn.Conv2d(hidden, c2, 3, 1, 1, biasFalse), nn.BatchNorm2d(c2), ) self.spatial_branch nn.Sequential( nn.Conv2d(c1, hidden, 1, 1, 0, biasFalse), nn.BatchNorm2d(hidden), nn.SiLU(inplaceTrue), nn.Conv2d(hidden, 1, 1, 1, 0), nn.Sigmoid(), ) def forward(self, x): local_out self.local_branch(x) spatial_weight self.spatial_branch(x) return x local_out * spatial_weight解释一下这个模块local_branch做局部特征提取两次 3x3 卷积中间加 BN 和 SiLU 激活。spatial_branch通过 1x1 卷积和 Sigmoid 生成一个空间权重图值在 0 到 1 之间。最终输出是“输入 局部特征 × 空间权重”保留了原始信息同时增强了局部连续特征。这个实现保持输入输出形状一致符合即插即用要求。4.3 修改任务头或 Neck 接入如果你不想动 backbone也可以在 neck 部分接入。比如在 FPN 特征融合之前插入 LSB 模块让不同尺度的特征在融合前先做一次局部连续传输。# neck 部分接入示例 head: - [-1, 1, LSB, [1024]] - [-1, 1, nn.Upsample, [None, 2, nearest]] - [[-1, 6], 1, Concat, [1]] # ...两种接入方式各有优势Backbone 接入提升底层特征质量适合低光和小目标。Neck 接入增强不同尺度特征的融合效果适合多尺度检测任务。实际使用中你可以先只加一个跑通流程之后再尝试多个 LSB 模块叠加。不要一口气加非常多毕竟特征传递机制要配合训练数据才能体现效果。5. 训练验证流程5.1 准备数据集这里不指定使用哪个数据集但建议按以下目录结构组织datasets/ custom_data/ images/ train/ val/ labels/ train/ val/标注格式使用 YOLO 格式每行一个目标包含class x_center y_center width height。5.2 创建数据配置# data.yaml path: datasets/custom_data train: images/train val: images/val names: 0: person 1: car 2: bicycle5.3 开始训练yolo train modelyolo26_lsb.yaml datadata.yaml epochs100 batch16 imgsz640 device0训练过程中重点观察前几个 epoch 的 loss 是否下降。显存占用是否在合理范围内。mAP50 和 mAP50-95 的相对变化。和原始 YOLO26 相比训练收敛速度差异。如果你的显存只有 6G建议降低 batch 到 8 或 4同时把imgsz降到 512 做首轮实验。5.4 精度对比评估训练完成后分别对原始 YOLO26 和加入 LSB 的 YOLO26 做验证yolo val modelruns/detect/train/weights/best.pt datadata.yaml有条件就做多组对比实验比如原始 YOLO26 低光测试集YOLO26 LSB 低光测试集YOLO26 LSB 常规测试集这样才能判断 LSB 模块在你的数据上是正收益还是负收益。不是所有场景都有涨点这是非常普遍的情况。6. 低光环境检测专项测试低光检测是 YOLO26 改进的热门方向LSB 模块在这一场景值得单独测试。6.1 构造低光测试集如果原始数据集大多是白天正常光照图像可以通过线性降低亮度来构造低光版本import cv2 import numpy as np img cv2.imread(test.jpg) alpha 0.6 # 亮度缩放系数 low_light np.clip(img * alpha, 0, 255).astype(np.uint8) cv2.imwrite(test_low_light.jpg, low_light)这个方法可以做一个快速验证如果 LSB 模块能提升低光检测的 mAP说明它对亮度变化具备更强的鲁棒性。6.2 观察指标低光检测主要看两个指标mAP50在 IOU 0.5 下的平均精度体现目标“能不能被框出来”。Recall体现漏检情况。低光环境下漏检往往比误检更严重所以 Recall 的提升更有价值。6.3 可视化分析不要只看曲线。随机抽几个低光样本把原始 YOLO26 和 YOLO26LSB 的检测结果并排显示重点看远处的行人有没有被检出来。车灯区域有没有误框。遮挡物体边界是否更准确。这一步虽然主观但能非常直观地判断模块是否有效。7. C 部署与 RK3588 平台适配说到 yolo26 部署、yolo26 部署 c这是很多工程开发者的真实需求。LSB 模块能否顺利从 PyTorch 转到 C 推理推理链是决定它能否落地的关键。7.1 导出 ONNX建议先导出 ONNXyolo export modelruns/detect/train/weights/best.pt formatonnx opset12 simplifyTrue如果导出报错检查是否缺少onnxsimpip install onnx onnxsim onnxruntime7.2 检查 ONNX 算子LSB 模块使用的算子是 Conv、BatchNorm、Sigmoid、Add、Mul。这些在 ONNX 和 TensorRT 中都是标准算子不会像某些注意力机制那样引入复杂的矩阵运算。这对于 RK3588 NPU 的适配是一个好消息但还是要实际验证兼容性。import onnx import onnxruntime as ort onnx_model onnx.load(best.onnx) onnx.checker.check_model(onnx_model) sess ort.InferenceSession(best.onnx, providers[CPUExecutionProvider]) print(ONNX 模型加载成功)7.3 使用 OpenCV DNN 进行 C 推理如果只做 CPU 推理OpenCV DNN 可以跑通 YOLO26LSB 的 ONNX 模型。下面是一个简单的 C 加载流程#include opencv2/dnn.hpp #include opencv2/opencv.hpp #include iostream int main() { cv::dnn::Net net cv::dnn::readNetFromONNX(best.onnx); net.setPreferableBackend(cv::dnn::DNN_BACKEND_OPENCV); net.setPreferableTarget(cv::dnn::DNN_TARGET_CPU); cv::Mat img cv::imread(test.jpg); cv::Mat blob cv::dnn::blobFromImage(img, 1.0 / 255.0, cv::Size(640, 640), cv::Scalar(0, 0, 0), true, false); net.setInput(blob); std::vectorcv::Mat outputs; net.forward(outputs, net.getUnconnectedOutLayersNames()); std::cout 输出层数量: outputs.size() std::endl; for (const auto out : outputs) { std::cout 输出形状: out.size[0] x out.size[1] x out.size[2] std::endl; } return 0; }注意OpenCV DNN 的 NMS 解码需要自己写更适合工程验证而不是生产环境。7.4 RK3588 平台部署建议RK3588 的 NPU 对 ONNX 算子的支持范围比较固定。LSB 模块里涉及的是标准 Conv、BN、Sigmoid、Add、Mul基本都可以转成 RKNN 格式。步骤是导出 PyTorch 模型为 ONNX。使用 RKNN-Toolkit2 将 ONNX 转成 RKNN 格式。在板端加载 RKNN 模型进行推理。实际转换时需要注意两点PyTorch 里的 BatchNorm2d 在 ONNX 导出时会折叠到前面的 Conv 里这样 RKNN 转换更友好。如果 RKNN 转换遇到不支持的算子可以尝试把 LSB 模块中的 SiLU 替换为 ReLU 重新训练或微调。不建议在转换后手动修改 ONNX容易出错。7.5 模型剪枝与量化LSB 模块的额外参数量不大但在边缘设备上仍然可以做量化压缩使用 ONNX Runtime 的 INT8 量化。使用 RKNN-Toolkit2 的混合量化。校准数据集选用和你训练集分布一致的数据。量化后要重新验证 mAP尤其是低光环境下INT8 量化可能导致精度下降比常规场景更明显。8. YOLO26 环境配置与源码下载有人会问YOLO26 源码在哪下载环境怎么配这里给一个可复用的流程不绑定具体版本号实际以官方仓库为准。8.1 克隆源码git clone https://github.com/ultralytics/ultralytics.git cd ultralytics建议创建一个新的 Python 虚拟环境避免和系统 Python 包冲突。8.2 安装依赖python -m venv venv source venv/bin/activate pip install -r requirements.txt如果你要用 GPU 训练还需要安装对应版本的 PyTorch。建议先确认本机 CUDA 版本再用官方命令安装匹配的 PyTorch。8.3 验证环境python -c import ultralytics; print(ultralytics.__version__)如果可以正常输出版本号说明环境基础没问题。8.4 低配显卡注意事项6GB 以下显存把 imgsz 调成 512batch 调到 4。8GB 显卡imgsz 640batch 8 到 16。CPU 训练不建议。LSB 模块本身计算不大但 YOLO26 整体在 CPU 上训练非常慢。8.5 环境配置参考表项目推荐值Python 版本3.10 或 3.11CUDA 版本根据 PyTorch 要求选择PyTorch 版本2.0 及以上更稳妥显存8GB 起步16GB 更从容磁盘空间预留 20GB 以上包含数据集9. 接口 API 与批量任务集成如果你想在 LSB 改进的 YOLO26 上提供 HTTP 接口或者做批量图像检测可以按下面的思路来实现。9.1 FastAPI 封装from fastapi import FastAPI, UploadFile, File import cv2 import numpy as np from ultralytics import YOLO app FastAPI() model YOLO(runs/detect/train/weights/best.pt) def read_image(data: bytes) - np.ndarray: arr np.frombuffer(data, np.uint8) img cv2.imdecode(arr, cv2.IMREAD_COLOR) return img app.post(/detect) async def detect(file: UploadFile File(...)): img read_image(await file.read()) results model(img, conf0.25) boxes results[0].boxes.xyxy.cpu().tolist() scores results[0].boxes.conf.cpu().tolist() classes results[0].boxes.cls.cpu().tolist() return { boxes: boxes, scores: scores, classes: classes, count: len(boxes), }9.2 curl 调用测试curl -X POST http://127.0.0.1:8000/detect \ -F filetest.jpg9.3 批量测试脚本import requests import os from pathlib import Path image_dir Path(test_images) output_dir Path(test_results) output_dir.mkdir(exist_okTrue) for img_path in sorted(image_dir.iterdir()): if img_path.suffix not in [.jpg, .png, .jpeg]: continue with open(img_path, rb) as f: resp requests.post( http://127.0.0.1:8000/detect, files{file: f}, timeout30, ) result resp.json() print(f{img_path.name}: {result[count]} objects) with open(output_dir / f{img_path.stem}.json, w) as f: f.write(resp.text)批量任务这里有几个建议加日志记录每个图片的处理时长、返回码、目标数量。加失败重试连接超时自动重试两次。加并发控制用线程池或异步请求控制速率避免压垮服务。10. 资源占用与性能观察从工程角度看资源占用是 LSB 模块能否落地的核心指标之一。10.1 显存占用LSB 模块引入的额外参数包括两次卷积的权重和 BN 参数整体占比不大。但实际显存占用不仅取决于模块本身还取决于输入分辨率。训练 batch 大小。是否使用 AMP 混合精度。建议训练时打开nvidia-smi观察显存或者用 PyTorch 的torch.cuda.max_memory_allocated()记录峰值显存。10.2 推理速度推理速度主要受两个因素影响模块额外增加的卷积计算。模块在模型中的位置。如果你把 LSB 模块放在大分辨率特征图上比如输入是 1280x1280那局部分支的 3x3 卷积会增加一定耗时。如果你在 20x20 或更小的特征图上接入耗时几乎可以忽略。10.3 降低显存占用的手段使用梯度累积替代大 batch。开启 AMP 混合精度训练。降低输入分辨率做消融实验。用torch.utils.checkpoint做梯度检查点用计算换显存。10.4 性能观察表格实验设置需要观察的内容原始 YOLO26参数量、FPS、mAP50、mAP50-95YOLO26 LSBbackbone 接入参数量增加量、FPS 变化、mAP 变化YOLO26 LSBneck 接入参数量增加量、FPS 变化、mAP 变化YOLO26 LSB INT8模型大小、mAP 下降幅度、FPS 提升11. 常见问题与排查方法问题现象可能原因排查方式解决方案训练时报通道数不匹配LSB 模块的 c1 不等于上一层输出通道打印模型结构检查各层通道数修改 LSB 的输入通道数配置导出 ONNX 报 BatchNorm 相关错误模型处于训练模式或 BN 层未折叠先调为 eval 模式再导出调用 model.eval() 后重新导出C 推理输出形状不正确预处理尺寸和训练尺寸不一致检查 blobFromImage 参数统一输入尺寸为 640x640 或训练时使用的尺寸RK3588 转换失败某个算子超出了 NPU 支持范围查看 RKNN 转换日志定位失败算子尝试替换 SiLU 为 ReLU或减少模块叠加数量低光检测精度没有提升数据量太少或光照变化没有在训练集中体现增加低光增强样本或单独训练低光版本使用亮度增强、噪声模拟等方式扩充数据集训练收敛慢学习率策略不合适对比原始 YOLO26 的收敛曲线适当调整 lr 或增加 warmup 轮数显存不足batch 太大或 imgsz 太大查看显存监控日志降低 batch、降低 imgsz、开启 AMP接口 API 响应慢没有用 GPU 推理或并发过高观察日志中的推理耗时改用 GPU 推理增加队列或限制并发这里有一个容易踩的坑LSB 模块在 YOLO26 中接入多个位置时特征图尺寸和通道数会发生级联变化。如果你同时修改了 backbone 和 neck但其中一层的通道数没对齐整个训练过程会直接报错。建议一次性只修改一个接入点确认训练跑通后再叠加。12. 最佳实践与使用建议12.1 先跑通最小实验第一次使用 LSB 模块时不要直接上全量数据和复杂配置。用一个小数据集、低分辨率、少量 epoch先把训练流程跑通。这一步的目的是验证代码正确性不是追求精度。模型能正常保存、正常验证、正常导出 ONNX就算成功。12.2 做消融对比至少要跑这样几组实验原始 YOLO26。YOLO26 LSBbackbone 接入。YOLO26 LSBneck 接入。YOLO26 LSBbackbone neck 同时接入。每组实验使用相同的数据集、相同的训练参数只用随机种子区分。只有这种对比才能说明 LSB 模块在你的任务里是否有效。不要只贴一张涨点图要贴出完整对比表和训练曲线。12.3 控制变量LSB 模块的改进是特征传递机制和损失函数、数据增强、NMS 参数是独立的部分。如果你同时改动了数据增强策略和损失函数就没法判断 LSB 模块单独贡献了多少。实验时不要把所有改动混在一起。12.4 部署验证前置如果计划部署到 RK3588 或 C 环境建议在训练前就确认 LSB 模块的算子能否正常导出和转换。先导出一个随机权重的小模型用 ONNX Runtime 或 RKNN-Toolkit2 做一次全链路验证。如果这一步等训练结束后再做一旦转换失败前面所有训练时间都会浪费。12.5 合规使用无论是使用公开数据集还是自采数据都要确认数据来源合法。低光环境下如果涉及人脸、车牌、人形轮廓等信息尤其要注意隐私合规。模块改进和模型部署本身是中性的技术行为但应用落地必须遵守法律法规。13. 总结与下一步LSB 模块真正值得尝试的点不在于它是“CVPR 2025 的新东西”这个标签而在于它确实解决了 YOLO 系列一个长期存在的问题局部特征在层间传递时容易被打断。低光检测、小目标检测这种对细节敏感的场景恰好需要这种连续传递机制。最先应该验证的功能是 backbone 单点接入后的训练是否稳定、模型能否正常导出 ONNX、C 端能否正常推理。这三个环节跑通了再去做精度对比。最容易踩的坑是通道数不匹配和 RKNN 算子兼容问题。前者通过打印网络结构就能解决后者建议在训练前就用随机权重走一遍转换流程不要拖到最后才发现。后续可以继续扩展的方向有几个第一把 LSB 模块和注意力机制结合比如在空间分支里加入轻量级通道注意力第二针对低光检测做输入端的图像增强预处理让 LSB 模块的特征收益更明显第三在 RK3588 上做 INT8 量化对比精度和速度的平衡点。如果你现在正在做 YOLO26 改进实验建议先跑通最小实验再做消融对比最后再考虑部署。一个模块有没有用最终要由你自己的数据集和测试场景来判断不要只看论文里的数据集结果。建议收藏备用方便后续照着流程操作。