黑光夜视图像增强算法研究

发布时间: 2025-02-11 10:23:45

低光图像增强（LLIE）是计算机视觉领域的一个重要研究方向，旨在提升在低光环境下拍摄的图像质量。传统的低光图像增强方法通常依赖于手工设计的先验和约束条件，虽然在特定场景下表现良好，但在复杂的光照条件下往往效果不佳。近年来，随着深度学习技术的发展，许多基于深度学习的低光图像增强方法被提出，但这些方法在处理真实场景中的噪声和光照变化时仍存在一定的局限性。

本文提出的GLARE算法通过引入生成潜在特征和自适应特征变换模块，显著提升了低光图像增强的效果。GLARE算法不仅在多个基准数据集上表现优异，还在真实场景中展现了强大的泛化能力，为低光图像增强领域带来了新的突破。

问题背景及相关工作

低光图像增强（Low-Light Image Enhancement, LLIE）是计算机视觉领域的一个重要研究方向，旨在提升在低光环境下拍摄的图像质量。低光图像通常会面临多种退化问题，如细节丢失、对比度降低、传感器噪声放大以及颜色失真等，这使得许多下游任务（如目标检测、分割和跟踪）变得极具挑战性。

传统的低光图像增强方法通常依赖于手工设计的先验和约束条件，虽然在特定场景下表现良好，但在复杂的光照条件下往往效果不佳。近年来，随着深度学习技术的发展，许多基于深度学习的低光图像增强方法被提出，这些方法通过学习从低光图像到正常光图像的复杂映射，显著提升了增强效果。然而，这些方法在处理真实场景中的噪声和光照变化时仍存在一定的局限性。

最近的一些方法尝试利用语义先验、提取的特征或光照图作为指导来解决低光图像增强中的不确定性和模糊性问题。然而，这些方法仍然面临从严重退化的输入中提取稳定特征的挑战，尤其是在噪声较大且可见性较低的情况下。此外，仅利用从退化图像中提取的信息来构建低光到正常光的映射，往往在真实场景中生成的结果不尽如人意。

方法概述

为了解决上述问题，本文提出了一种新的低光图像增强网络——GLARE（Generative Latent Feature based Codebook Retrieval）。GLARE通过引入生成潜在特征和自适应特征变换模块，显著提升了低光图像增强的效果。

GLARE的核心思想是利用从正常光图像中学习到的VQ（Vector Quantization）码本先验来指导低光到正常光的映射。具体来说，GLARE通过一个生成可逆潜在归一化流（Invertible Latent Normalizing Flow, I-LNF）模块，将低光特征分布与正常光潜在表示对齐，从而确保在码本中正确检索到对应的编码。此外，GLARE还引入了一个自适应特征变换（Adaptive Feature Transformation, AFT）模块，通过可调节的函数和双解码器架构，进一步提升了增强结果的保真度。

核心设计

GLARE的核心设计包括三个主要阶段：

阶段一：正常光码本学习

在阶段一中，GLARE通过VQGAN从数千张清晰的正常光图像中学习一个全面的VQ码本。这个码本捕捉了高质量、光照良好的图像的内在特征，为后续的低光到正常光映射提供了强有力的先验知识。

阶段二：生成潜在特征学习

在阶段二中，GLARE引入了一个生成可逆潜在归一化流（I-LNF）模块，通过低光-正常光图像对进行训练，实现低光特征分布与正常光特征分布之间的转换。I-LNF模块通过精确的对数似然训练策略，将复杂的正常光特征转换为简单的分布，从而确保在码本中正确检索到对应的编码。

阶段三：自适应特征变换

在阶段三中，GLARE引入了一个自适应特征变换（AFT）模块，通过可调节的函数和双解码器架构，进一步提升了增强结果的保真度。AFT模块包括一个固定的正常光解码器（NLD）和一个可训练的多尺度融合解码器（MFD），通过灵活地融合低光信息，生成具有更精细细节和纹理的增强结果。

主要创新点

GLARE的主要创新点包括：

1. 外部正常光码本先验

GLARE首次采用外部正常光码本作为指导，通过VQGAN从清晰图像中学习到的码本先验，显著提升了低光图像增强的自然性和保真度。

2. 生成可逆潜在归一化流（I-LNF） GLARE引入了一个生成可逆潜在归一化流模块，通过学习低光特征分布与正常光特征分布之间的对齐，确保在码本中正确检索到对应的编码，从而生成更高质量的增强结果。

3. 自适应特征变换（AFT）

GLARE提出了一个自适应特征变换模块，通过可调节的函数和双解码器架构，灵活地融合低光信息，进一步提升增强结果的细节和纹理。

实验结果

GLARE在多个基准数据集和真实场景数据集上进行了广泛的实验验证。表1展示了GLARE在LOL、LOL-v2-real、LOL-v2-synthetic、SDSD-indoor和SDSD-outdoor数据集上的定量结果。GLARE在PSNR、SSIM和LPIPS指标上均显著优于当前的最先进方法（SOTA）。特别是在LOL和LOL-v2-synthetic数据集上，GLARE的PSNR分别比LL-SKF高出0.55 dB和0.74 dB，在SDSD-indoor和SDSD-outdoor数据集上，GLARE的PSNR分别比Retformer高出0.33 dB和1.01 dB。

此外，GLARE在真实场景数据集上的表现也非常出色。表2展示了GLARE在MEF、LIME、DICM和NPE数据集上的定量结果。GLARE在这些数据集上的平均NIQE得分最低，表明其在真实场景中的泛化能力非常强。

图4展示了GLARE在LOL数据集上的视觉对比结果。可以看到，GLARE在增强低光图像的同时，能够有效保留细节和颜色信息，生成的结果更加自然和逼真。

GLARE通过引入生成潜在特征和自适应特征变换模块，显著提升了低光图像增强的效果。该方法不仅在多个基准数据集上表现优异，还在真实场景中展现了强大的泛化能力。未来，GLARE可以进一步优化其计算效率，以更好地适应实际应用场景。此外，探索其他生成模型（如扩散模型）在GLARE中的应用，也是一个值得研究的方向。

支持红外夜视IRCUT的4G智能安全帽BW620Y，内部主板型号有，SAE01, W20, k61v1_32_bsp_1g, k62v1_64_bsp， soq_azw_05_Natv，soq_azw_01_Natv，AZW003，aqm6816，soq_azw_01_Natv，SC161, W25，比传统的白光照明灯效果要好很多，可以避免图像中间大块的亮光斑，可以在雾天使用。https://www.bilibili.com/video/BV1594y1E7tB/

危险气体检测仪，通过4G/5G执法记录仪或者4G/5G智能安全帽上报到平台，https://www.besovideo.com/detail?t=1&i=273

智能安全帽~生命体征检测与危险气体检测一体化集成设计还是蓝牙无线外挂式方式好？https://www.besovideo.com/detail?t=1&i=279

智能安全帽~生命体征采集上报，https://www.besovideo.com/detail?t=2&i=506

智能安全帽，检测生命体征上报平台， https://v.douyin.com/e3oP4Yx/

AIoT万物智联，智能安全帽生产厂家，执法记录仪生产厂家，为大型国企央企提供移动视频类产品的ODM/OEM服务，单北斗定位智能安全帽、智能头盔、智能头箍、头盔记录仪、独立北斗定位执法记录仪、智能视频分析/边缘计算AI盒子、车载视频监控/车载DVR/NVR、布控球、智能眼镜、智能手电、智能电子工牌、无人机4G补传系统等统一接入大型统一视频平台~融合通信可视指挥调度平台VMS/smarteye 。

什么是智能安全帽，如何选购智能安全帽，智能安全帽的主要功能，https://www.besovideo.com/detail?t=1&i=109

目前支持的AI智能算法、视频智能分析算法有哪些，https://www.besovideo.com/detail?t=1&i=297

视频演示1~单独北斗定位智能安全帽助力光伏新能源，视频演示2~石油石化

海康、大华等5000路固定点摄像头走国标GB28181接入统一视频平台smarteye，支持eHome,ISUP, SIP，萤石云，CMSV6等

海康等IP摄像头走国标GB28181接入smarteye平台， https://www.besovideo.com/detail?t=1&i=244

国网+南网电力施工作业现场安全生产风险管控应用方案，https://www.besovideo.com/detail?t=1&i=50

轻危大型厂矿可视化监管系统方案（有内部作业视频数据安全保密的需求），https://www.besovideo.com/detail?t=1&i=258

小微型4G/WiFi执法记录仪、胸牌记录仪大全~智慧养老+银发经济，https://www.besovideo.com/detail?t=2&i=1784

超薄款4G工牌视频记录仪BH128，https://www.besovideo.com/detail?t=2&i=1575

4G/5G执法记录仪前端人脸识别、人脸比对使用说明，https://www.besovideo.com/detail?t=1&i=365

防抖执法记录仪、智能安全帽、头盔记录仪大全，https://www.besovideo.com/detail?t=2&i=1692

可拆卸智能安全帽、绑带式、粘贴式、贴合式、分体式智能头盔记录仪、智能头箍记录仪大全，https://www.besovideo.com/detail?t=2&i=1697

定位安全帽大全，人员定位考勤、电子围栏脱岗检查 all in smarteye，https://www.besovideo.com/detail?t=2&i=1843

支持南方电网WAPI无线网络的4G/5G执法记录仪、智能布控球、智能安全帽产品，https://www.besovideo.com/detail?t=1&i=404

各种布控球分类列表大全，https://www.besovideo.com/detail?t=1&i=339

北斗双频高精度定位智能工卡、电子工牌大全，https://www.besovideo.com/detail?t=2&i=1689

多年来给各个行业客户定制的各种智能安全帽-头盔摄像头等，万物智联~各类智能安全帽/头盔摄像头统一接入优视多源融合统一视频可视指挥调度平台SmartEye，https://www.besovideo.com/detail?t=1&i=20

无人机4G/5G图传到远程指挥中心统一视频平台smarteye或者海康等国标大平台， https://www.besovideo.com/detail?t=2&i=1775

县级应急指挥调度系统建设， https://www.besovideo.com/detail?t=1&i=411

智慧铁路，铁路应急指挥通信系统建设，可视化作业现场风险管控系统应用方案，https://www.besovideo.com/detail?t=1&i=413

智慧港口可视化作业风险管控系统建设方案，https://www.besovideo.com/detail?t=1&i=414

石油石化可视化巡检系统安全风险管控系统应用方案，https://www.besovideo.com/detail?t=1&i=415

车载视频监控产品，车载DVR/NVR、4G行车记录仪系列产品，https://www.besovideo.com/detail?t=2&i=1850

为什么武警、特警拉练演习的MESH自组网系统都不约而同的选择了smarteye平台？https://www.besovideo.com/detail?t=2&i=1215

anti-jitter, EIS, groupPTT/push2talk/PoC, star-light night vision, explosion-proof 4G/5G/GPS body camera DVR, 4G/5G/GPS helmet camera DVR/hardhat camera, ODM/OEM acceptable, AI box, vehicle mount mDVR, GPS tracker, 4G/5G HDMI DVR for drones/UAV, walkie talkie, fixed/cable IPcamera, all-in-one dome PTZ 4G/5G camera, RTK/UWB, 4G torch camera DVR, glass camera/AR glass camera, all in large scale VMS/smarteye, RTSP to milestone.

mobile CCTV worldwide applications, 4G body cameras, hardhat camera, https://www.besovideo.com/en/detail?t=2&i=548

mobile surveillance in construction safety,grid,railway etc, https://www.besovideo.com/en/detail?t=1&i=79

Kinds of hardhat/helmet 4G/5G/WiFi/GPS camera DVR,all in VMS/SmartEye, for people safety in construction, https://www.besovideo.com/en/detail?t=1&i=20

police law enforcement solution, https://www.besovideo.com/en/detail?t=1&i=2

covert-shot spy cameras, remote evidence recorder over 4G/WiFi network, covert shot,cloud recording, https://www.besovideo.com/en/detail?t=1&i=111

pls visit our tiktok site for more demo videos, https://www.tiktok.com/@mobile4gcamera

device simulator&VMS/smarteye, it explains how the whole system works, https://www.besovideo.com/en/detail?t=1&i=155

extreme low-price high-performance 4G body camera BA280, high performance 2+16GB, android 12 system, https://www.besovideo.com/en/detail?t=2&i=1151

kinds of IPcamera connects to VMS/smarteye by GB28181, https://www.besovideo.com/en/detail?t=1&i=244

replace CMSV6 with smarteye, https://www.besovideo.com/en/detail?t=1&i=393

kinds of removable detachable hardhat helmet camera DVR, https://www.besovideo.com/en/detail?t=2&i=1697