合肥优视嵌入式技术有限责任公司—5G+AI丰富终端智慧图传智能分析-安全生产可视化指挥调度平台厂商-OEM/ODM!
中文 / English

像素聚合图像与视频去噪

发布时间: 2024-12-10 11:14:20

图像和视频捕捉系统往往会受到噪声的影响，包括光子拍摄噪声和传感器读取噪声。这一问题在低光照场景或小光圈的手机摄像头中尤为严重。为了解决这一问题，各种图像和视频去噪算法被提出，用于从噪声输入中生成高质量的图像和视频帧。

一种利用深度神经网络显式学习像素聚合过程的新方法，称为像素聚合网络（PAN），用于图像和视频去噪。相比于依赖手工设计的聚合方案，本文的方法通过数据驱动的方式学习像素采样和加权均值策略，更好地适应图像结构，保留细节，并减少现有方法在复杂场景中产生的伪影。

方法概述

提出了一种空间像素聚合网络，用于学习图像去噪的像素采样和加权策略。此外，开发了一种时空像素聚合网络，能够高效地在时空空间中采样像素，用于视频去噪。通过引入正则项，有效训练所提出的视频去噪模型。详细分析了所提出方法，并展示了其在合成和真实数据上的优异性能。

问题背景

现有去噪方法大多基于显式或隐式的像素聚合策略。例如，高斯平滑和双边平滑模型在局部窗口中采样像素，并使用高斯函数计算加权均值。而非局部均值方法则在全局范围内聚合像素，并根据块相似性决定权重。

 

然而，这些方法通常依赖于手工设计的采样和加权方案，在复杂场景中表现不佳。此外，基于深度学习的去噪方法通常使用空间不变和数据无关的卷积核，这与去噪过程的空间变化和数据依赖特性不符。

主要目标是通过深度神经网络显式学习像素聚合过程，提升图像和视频去噪的效果。具体而言，本文旨在解决以下问题：

 

  • 提升现有去噪方法的性能，特别是在复杂场景中的表现。

  • 通过数据驱动的方法，学习空间变化和数据依赖的采样和加权策略。

  • 处理动态场景中的大幅运动问题，减少伪影。

 

Fig. 2. Overview of the proposed algorithm

现有去噪方法大多基于显式或隐式的像素聚合策略。高斯平滑和双边平滑模型在局部窗口中采样像素，并使用高斯函数计算加权均值。非局部均值方法则在全局范围内聚合像素，并根据块相似性决定权重。而BM3D方法通过块匹配搜索相关像素，并使用变换域协同滤波进行加权均值。

针对视频去噪，VBM3D和VBM4D算法将BM3D方案扩展至时空域，通过分组更多相似块来处理视频。光流也被用于视频去噪，以在时空域中聚合像素。然而，现有视频去噪方法在处理快速和复杂运动的视频时效果不佳。本文的方法通过显式学习像素聚合过程，并不依赖于手工设计的策略，从而解决了这些问题。

核心设计

 

本文提出的像素聚合网络（PAN）显式学习像素聚合过程，通过数据驱动的方法自适应图像结构。具体来说，使用卷积神经网络（CNN）估计噪声图像中每个位置的空间采样网格。为了聚合采样像素，预测每个采样点的加权均值。

Fig. 4. Illustration of the video denoising process of the ST-PAN model. (a) a noisy video sequence {Xt−1, Xt, Xt+1}. The patches in the following rows are cropped from the yellow box in the corresponding frames. The center blue point of patch Xt in (b)-(d) indicates the reference pixel to be denoised. (b) The rigid sampling method has limited receptive field and cannot exploit the structure information. Furthermore, it does not handle misalignment issues. (c) The proposed PAN model can adapt to image structures in Xt and increase the receptive field without sampling more pixels. However, it does not perform well on large motion where there are few reliable pixels available in frame Xt−1 and Xt+1. (d) The proposed ST-PAN model aggregates pixels across the spatial-temporal space, and distributes more sampling locations on more reliable frames

 

此外，本文提出的时空像素聚合网络（ST-PAN）在时空空间中自适应选择最具信息量的像素，从而更好地处理视频去噪中的大幅运动问题。ST-PAN模型直接从拼接的视频帧中采样像素，并通过三线性插值计算加权均值。

 

主要创新点

 

  • 提出了一种新的像素聚合网络，通过数据驱动的方法显式学习像素聚合过程。

  • 引入了时空像素聚合网络，能够在时空空间中自适应选择最具信息量的像素，处理视频去噪中的大幅运动问题。

  • 引入了正则项，促进视频去噪模型的有效训练。

     

模型细节设计

 

本文提出的像素聚合网络（PAN）显式学习像素聚合过程，通过数据驱动的方法自适应图像结构。具体来说，使用卷积神经网络（CNN）估计噪声图像中每个位置的空间采样网格。为了聚合采样像素，预测每个采样点的加权均值。

 

此外，本文提出的时空像素聚合网络（ST-PAN）在时空空间中自适应选择最具信息量的像素，从而更好地处理视频去噪中的大幅运动问题。ST-PAN模型直接从拼接的视频帧中采样像素，并通过三线性插值计算加权均值。

 

训练及测试数据

在训练过程中，本文收集了27段高质量的长视频，每段视频的分辨率为1080×1920或720×1280像素，帧率为20、25或30fps。使用23段视频进行训练，剩余的4段用于测试。这些视频包含不同的场景，从中提取了20K个序列用于训练，每个序列包含2τ+1个连续帧。测试数据集由4个子集组成，每个子集约有30个序列。

对于训练数据，生成噪声输入时，进行逆伽马校正并添加信号依赖的高斯噪声 N(0,σ_s q + σ_r^2)，其中 q 代表像素的强度，噪声参数 σ_s 和 σ_r 随机采样。对于均质高斯噪声，设置拍摄噪声为0，并在训练期间使用目标噪声水平作为读取噪声。

消融实验

为了更好地分析所提出算法的不同组件，进行了消融实验。

可以看出，直接生成去噪输出的模型效果较差（direct），这表明显式学习像素聚合对于去噪过程的重要性。使用固定加权策略的模型表现不佳，证明了学习动态加权策略的必要性。此外，使用不同尺寸的刚性采样网格的模型展示了学习像素采样策略显著改进去噪性能。

对比实验

本文将所提出的算法与现有的图像和视频去噪方法进行对比，包括NLM、BM3D、DnCNN、KPN等，结果如下表所示：

算法 PSNR SSIM
Reference frame 27.54 0.6782
NLM 31.90 0.8803
BM3D 33.47 0.9160
DnCNN 35.88 0.9482
KPN 35.82 0.9499
PAN 36.01 0.9511

 

可以看到，所提出的方法在单帧和视频去噪方面取得了更好的结果，生成了更清晰的图像，伪影更少。

 

定性结果

 

论文展示了从合成数据集上获得的单帧图像和视频去噪结果。传统方法（如NLM、BM3D）在复杂场景中表现不佳，生成了严重的伪影。而直接用深度CNN（如DnCNN）生成去噪结果，会导致图像结构破损，细节丢失。相比之下，所提出的方法通过数据驱动的方式学习像素采样和加权策略，生成了更清晰的结果，伪影更少。

 

定量结果

 

表VII展示了不同噪声水平下学习的采样网格的平均感受野，表明网络在噪声增加时倾向于搜索更大区域的像素，从而结合更多有效信息来处理更具挑战性的输入。

                                                                                               

噪声参数 平均感受野
(2.5e-3,1e-2) 6.8326
(6.4e-3,2e-2) 7.294
(1e-2,5e-2) 7.7152

本文提出了一种新的像素聚合网络，通过数据驱动的方法显式学习像素聚合过程，提升了图像和视频去噪的效果。实验结果表明，所提出的方法在处理复杂场景中的大幅运动问题时，生成了更清晰的图像，伪影更少。

未来的工作可以考虑将所提出的方法应用于更多实际场景，并进一步优化模型的训练过程。特别是，可以探索更真实的数据生成管道，以适应更广泛的应用。

【支持红外夜视IRCUT的4G智能安全帽BW620Y，内部主板型号有，SAE01, W20, k61v1_32_bsp_1g, k62v1_64_bsp， soq_azw_05_Natv，soq_azw_01_Natv，AZW003，aqm6816，soq_azw_01_Natv，SC161, W25，比传统的白光照明灯效果要好很多，可以规避大的亮的光斑，可以在雾天使用。-哔哩哔哩】 https://b23.tv/C36wsnX

危险气体检测仪，通过4G/5G执法记录仪或者4G/5G智能安全帽上报到平台，https://www.besovideo.com/detail?t=1&i=273

智能安全帽~生命体征检测与危险气体检测一体化集成设计还是蓝牙无线外挂式方式好？https://www.besovideo.com/detail?t=1&i=279

智能安全帽~生命体征采集上报，https://www.besovideo.com/detail?t=2&i=506

智能安全帽，检测生命体征上报平台， https://v.douyin.com/e3oP4Yx/

AIoT万物智联，智能安全帽生产厂家，执法记录仪生产厂家，为大型国企央企提供移动视频类产品的ODM/OEM服务，单北斗定位智能安全帽、智能头盔、头盔记录仪、独立北斗定位执法记录仪、智能视频分析/边缘计算AI盒子、车载视频监控/车载DVR/NVR、布控球、智能眼镜、智能手电、智能电子工牌、无人机4G补传系统等统一接入大型统一视频平台~融合通信可视指挥调度平台VMS/smarteye 。

什么是智能安全帽，如何选购智能安全帽，智能安全帽的主要功能，https://www.besovideo.com/detail?t=1&i=109

目前支持的AI智能算法、视频智能分析算法有哪些，https://www.besovideo.com/detail?t=1&i=297

视频演示1~单独北斗定位智能安全帽助力光伏新能源，  视频演示2~石油石化

海康、大华等5000路固定点摄像头走国标GB28181接入统一视频平台smarteye，支持eHome,ISUP, SIP，萤石云，CMSV6等

国网+南网电力施工作业现场安全生产风险管控应用方案，https://www.besovideo.com/detail?t=1&i=50

轻危大型厂矿可视化监管系统方案（有内部作业视频数据安全保密的需求），https://www.besovideo.com/detail?t=1&i=258

小微型4G/WiFi执法记录仪、胸牌记录仪大全~智慧养老+银发经济，https://www.besovideo.com/detail?t=2&i=1784

超薄款4G工牌视频记录仪BH128，https://www.besovideo.com/detail?t=2&i=1575

超小微型4G胸牌视频记录仪BZ223，全国产芯片，单独北斗定位， https://www.besovideo.com/detail?t=2&i=1542

防抖执法记录仪、智能安全帽、头盔记录仪大全，https://www.besovideo.com/detail?t=2&i=1692

可拆卸智能安全帽、分体式智能头盔记录仪大全，https://www.besovideo.com/detail?t=2&i=1697

北斗双频高精度定位智能工卡、电子工牌大全，https://www.besovideo.com/detail?t=2&i=1689

多年来给各个行业客户定制的各种智能安全帽-头盔摄像头等，万物智联~各类智能安全帽/头盔摄像头统一接入优视多源融合统一视频可视指挥调度平台SmartEye，https://www.besovideo.com/detail?t=1&i=20

县级应急指挥调度系统建设， https://www.besovideo.com/detail?t=1&i=411

智慧铁路，铁路应急指挥通信系统建设，可视化作业现场风险管控系统应用方案，https://www.besovideo.com/detail?t=1&i=413

智慧港口可视化作业风险管控系统建设方案，https://www.besovideo.com/detail?t=1&i=414

石油石化可视化巡检系统安全风险管控系统应用方案，https://www.besovideo.com/detail?t=1&i=415

为什么武警、特警拉练演习的MESH自组网系统都不约而同的选择了smarteye平台？https://www.besovideo.com/detail?t=2&i=1215

 

百川汇流万物智联尽入优视融合通信~大型融合通信可视指挥调度平台smarteye

5G执法记录仪+5G智能安全帽/头盔摄像头+5G智能AI布控球+融合通信统一视频可视指挥调度平台smarteye

#物联网#IoT+5G互联+AI智能视频分析#边缘计算#+大数据+遥感+#GIS#，八仙过海齐汇聚，保障安全无所惧！

#智能安全帽#/#头盔摄像头#+#4G记录仪#+#智能布控球#+#无人机4G回传#，移动视频四剑客，天生绝配，联手打造立体化全方位安全生产可视监管系统。

万物智联AIoT+5G智能感知图传，一切尽在合肥优视大型可视指挥调度平台VMS/smarteye 。

安全生产可视化远程监理在大型厂矿（发电厂、钢厂、石油石化炼化、化工园区等有危险工种岗位等工矿企业）中的应用，各类防爆安全帽、工作记录仪等，图传加数,危险气体采集，工人心率等体征信息采集，与工单等信息结合，统一后台汇聚。https://www.besovideo.com/detail?t=1&i=29

智慧工地-远程可视监管，劳务用工实名制，工作票绑定，定位安全帽~人员定位-考勤、精细化管理 系统应用方案，

https://www.besovideo.com/detail?t=1&i=28

智慧工地-智能AI算法的实现机制，https://www.besovideo.com/detail?t=1&i=129

边缘计算AI盒子、执法记录仪、一体化布控球等目前支持的AI智能算法、视频智能分析算法有哪些，

https://www.besovideo.com/detail?t=1&i=297

边缘计算AI智能盒子的视频源必须是固定点监控摄像头吗？https://www.besovideo.com/detail?t=1&i=315

 警用执法记录仪~城管+公安执法记录仪~交警执法记录仪-布控球等移动视频终端视音频一体化管理平台建设方案，https://www.besovideo.com/detail?t=1&i=188

移动执法视频取证标准配置（4G/5G执法记录仪+采集工作站+布控球+无人机4G回传+车载DVR+头盔摄像头，AR眼镜等统一接入大型可视指挥调度平台VMS/smarteye）, https://www.besovideo.com/detail?t=1&i=2

 公安交警空中巡视，无人机电力巡检巡线，通过便携式微型HDMI 4G DVR，将地面接收到的无人机视频图像走4G网络实时传送到电力公司中心机房，与4G工作记录仪、一体化4G布控球、4G图传头盔摄像头、4G图传巡检机器人等产品统一接入可视指挥调度平台SmartEye系统进行视音频指挥调度，亦可接入海康等任意的28181国标平台，可走运营商专网过边界-网闸进入公安专网。

微型4G无线HDMI高清4G/5G图传DVR在无人机航拍,地面接收4G5G补传系统中的应用方案

https://www.besovideo.com/detail?t=1&i=49

视频演示~无人机视频4G回传~微型小HDMI DVR装置,与单兵执法仪/头盔摄像头等统一接入可视指挥调度平台VMS/smarteye ，可升级到5G,

https://v.douyin.com/JhTQPNL/

无人机视频4G回传~微型HDMI 4G DVR用户手册，https://www.besovideo.com/detail?t=1&i=170

微型HDMI 4G DVR接入GB28181国标平台，https://www.besovideo.com/detail?t=1&i=216

(另外一种方案)无人机图传，通过5G执法记录仪USB传输到可视指挥调度平台VMS/smarteye，https://v.douyin.com/YnevTLD/

数字化煤场基于UWB的人员高精度定位系统方案，https://www.besovideo.com/detail?t=2&i=997

室内定位（UWB/蓝牙等）技术方案概述，https://www.besovideo.com/detail?t=1&i=205

室内定位之蓝牙信标配合安卓系统的智能安全帽、电力作业记录仪， https://www.besovideo.com/detail?t=1&i=267

内置RTK北斗高精度定位的智能安全帽测试报告（MQTT通信），https://www.besovideo.com/detail?t=1&i=132

内置UWB室内高精度定位的智能安全帽-软件说明， https://www.besovideo.com/detail?t=1&i=131

融合通信可视指挥调度平台smarteye与国标GB28181平台的异同与关联，https://www.besovideo.com/detail?t=1&i=287

电力专用指纹解锁5G执法记录仪BJ531~内置靠近高压电近电预警、登高预警，温度检测、生命体征检测上报平台smarteye， 

https://www.besovideo.com/detail?t=2&i=1045

各类功能集大成者（跌落、撞击等各类报警、佩戴检测、危险气体采集&上报、生命体征采集上报、内置气压计+温度计实现登高检测，精度1-3米）超长待机4G智能安全帽BZ980， https://www.besovideo.com/product/detail?i=87

多源视频融合平台VMS/smarteye，免费的GB28181 server, 免费的RTMP推流server，RTSP server，车载机部标JT808,JT1078服务器、标准SIP服务器， https://www.besovideo.com/detail?t=2&i=1321

全面支持国产信创系统，在linux（麒麟、统信等信创系统）服务器上安装smarteye server的操作说明， https://www.besovideo.com/detail?t=1&i=248

关于融合通信~可视指挥调度平台VMS/smarteye的说明，https://www.besovideo.com/detail?t=1&i=304

消防智能头盔危险气体采集，红外热成像镜头感知等现场应用解决方案，https://www.besovideo.com/detail?t=1&i=117

消防~武警智能头盔、天眼摄像头、头盔记录仪、头盔摄像头、单兵执法记录仪等配合MESH自组网，COFDM在应急指挥调度中的应用，https://www.besovideo.com/detail?t=2&i=845， 视频演示， https://v.douyin.com/rqLFx6r/

消防、武警战术头盔天眼摄像头通过MESH自组网实现实时可视化指挥调度，https://v.douyin.com/rcCgr1a/

统一视频~融合通信指挥调度~安全生产可视化监管平台smarteye集成作业票、工作票、工单管理~任务派发系统,https://www.besovideo.com/detail?t=1&i=329

统一视频~融合通信指挥调度~安全生产可视化监管平台smarteye里针对执法记录仪、智能安全帽的人员考勤管理的功能使用说明，https://www.besovideo.com/detail?t=1&i=305