合肥优视嵌入式技术有限责任公司—5G+AI丰富终端智慧图传智能分析-安全生产可视化指挥调度平台厂商-OEM/ODM!
中文 / English

超低延迟网络视频流设计方案smarteye

发布时间: 2024-08-26 17:36:32

现在很多soc的硬编解码器在参数配置上，都会提供超低延迟模式配置，但是可能对这块的技术实现原理，没怎么描述，国内的技术文档一直都是简单几句话一笔带过，给俺们这些做开发的，可犯难了，不知道这里到底有啥猫腻呢。

为了理解和掌握这块的技术原理，我这里不以国产的soc来刨析这块，而是以fpga平台来学习这块的技术原理，在xilinx官方手册里面有比较详细的介绍！

那么我们就fpga平台来揭开超低延迟实现的技术面纱！

glass to glass延迟,延迟有哪些方面造成的？

首先我们在平时的音视频开发过程中，遇到了延迟问题，我们要定位到到底是什么原因导致这么大的延迟，也就是我们要有一个问题的分析过程，那么在整个摄像头采集原始数据经过网络传输到最终的显示器上显示，这整个过程到底有哪些因素会造成延迟。

  • 1、摄像头延迟

  • 2、on-chip latency(L1),也就是片上延迟，换句话说芯片内部发生的延迟：

    • (1)Source frame buffer DMA latency：使用直接内存访问（DMA）技术时，源帧缓冲区（即存储图像或视频帧的内存区域）的数据传输到另一个设备或处理单元所经历的延迟
    • (2) encoder latency：编码器延迟，这里面可能有视频帧进入编码器处理队列前的等待时间以及编码器实际处理视频帧，进行压缩编码的时间、编码后的数据帧准备好被输出的时间。
    • (3)transmission bitstream buffer latency:传输比特流缓冲区延迟，是在视频编码和传输过程中，编码后的数据（比特流）在被发送到网络之前在缓冲区中等待的时间。

  • 3、network or storage latency: 网络或存储延迟，指的是在数据通过网络传输或从存储设备读取时所经历的延迟。

  • 4、On-chip latency(L2):这个片上延迟的第二个层次，我们来看一下有哪些因素：

    • (1)coding picture buffer(CPB)/jitter buffer latency: 编码图像缓冲区（CPB）/抖动缓冲区延迟；coding picture buffer是指编码图像缓冲区延迟指的是在视频编码过程中，视频帧数据从被编码器接收到被完全处理并输出为编码后的数据流所需的时间。CPB是视频编码标准中定义的一个概念，用于存储编码后的视频帧，以保证编码过程的平滑性和连续性。CPB的大小直接影响编码的延迟，注意这里的CPB和刚才上面的传输比特流缓冲区延迟有差异哈。jitter buffer latency是指抖动缓冲区延迟是指在网络视频流传输中，用于平滑网络抖动（即数据包到达时间的不规律性）的缓冲区所引入的延迟。抖动缓冲区可以吸收网络延迟的变化，保证视频播放的流畅性。这种缓冲区会存储一定量的数据，以便在网络条件不佳时，仍然能够连续地提供数据给解码器或播放器。
    • (2)decoder latency : 解码器延迟，从解码器接收到编码后的视频数据到解码器输出解码后的原始视频帧所需的时间
    • (3)decoded picture buffer(DPB) latency : 解码图像缓冲区（DPB）延迟，指在视频解码过程中，解码后的图像帧在解码图像缓冲区中存储并等待进一步处理或显示的时间，这块后面再详细讲解里面的细节，这里大概了解一下就行。
    • (4)、display frame buffer DMA latency: 显示帧缓冲区DMA延迟，指的是在图形或视频数据通过直接内存访问（DMA）技术从显示帧缓冲区传输到显示硬件（如显卡或显示控制器）的过程中所经历的延迟。

  • 5、display monitor latency : 显示监视器延迟

总结一下，这里没有把B帧加入进去，一般在这种超低延迟模式或者降低延迟方法中，都不会在编码端把B帧加入，因为当启用B帧时，由于使用了重排序缓冲区(reorering buffer)，每个B帧会产生一帧的延迟。

这里主要介绍一下fpga上提供的一些延迟模式配置：视频处理单元（VCU）支持四种延迟模式：正常延迟、降低延迟（也称为无重排序模式）、低延迟和Xilinx低延迟模式。pipeline的瞬时延迟可能会根据帧结构、编码标准、级别(levels)、配置文件(profiles)和目标比特率而有所不同：延迟模式有哪些？

  • 1、nomal-latency : 视频处理单元（VCU）的编码器和解码器在帧级别工作。支持所有可能的帧类型（I帧、P帧和B帧），并且对组画面（GOP）结构没有任何限制。端到端的延迟取决于配置文件/级别(profile/level)、GOP结构以及用于处理的内部缓冲区数量。这是标准延迟，并且可以与任何控制速率模式(target bitrate)一起使用。

  • 2、no reordering(reduced-latency): 视频处理单元（VCU）的编码器在帧级别工作。使用硬件速率控制来减少比特率变化。支持仅I帧、IPPP和低延迟P帧。没有输出重排序，从而降低了解码器端的延迟。VCU继续在帧级别操作。这里的IPPP：这通常指的是一种帧序列结构，其中包含一个I帧后跟三个P帧（Intra-coded Picture, Predictive-coded Picture）。这种结构在视频编码中用于平衡压缩效率和解码性能。I帧提供了解码的独立点，而随后的P帧利用与I帧的时序冗余进行编码，从而提高压缩效率。

  • 3、low-latency : 帧被划分为多个切片；视频处理单元（VCU）编码器的输出和解码器的输入都以切片模式进行处理。VCU编码器的输入和解码器的输出仍然以帧模式工作。VCU编码器在每个切片结束时生成一个切片完成中断，并为切片输出流缓冲区，它将立即可供下一个元素处理。因此，通过使用多个切片，可以将VCU处理延迟从一帧减少到一帧/（帧数/切片数）。在低延迟模式下，编码器最多可以运行四个流，解码器可以运行两个流。这里面我把这段话拆解开来理解：

    • 这里简单解释一下帧划分为多个切片：在视频编码中，为了提高编码效率和容错能力，一帧视频可以被进一步划分为更小的单元，称为“切片”（Slice）。每个切片可以独立于其他切片进行编码和解码。后面我会在翻译h264和h265里面汇总来详细分析这块内容！
    • 切片完成中断：VCU编码器在完成每个切片的编码后，会生成一个中断信号，通知系统切片编码已完成。
    • 流缓冲区输出：与每个切片关联的编码后的数据（流缓冲区）在切片编码完成后即可输出，这意味着它可以立即被发送到下一个处理环节，比如通过网络传输或存储到内存中。
    • 降低处理延迟：使用切片技术可以减少VCU的总体处理延迟。如果一帧被划分为多个切片，每个切片可以几乎同时开始处理，而不是必须等待整帧处理完成。这样，处理延迟可以从等待整帧的时间减少到等待单个切片的时间，即一帧/（帧数/切片数）。
    • 低延迟模式下的多流处理：在VCU的低延迟模式下，可以并行处理更多的数据流。编码器可以同时处理最多四个流，而解码器可以同时处理两个流。这种并行处理机制可以进一步提高处理效率，减少延迟。

  • 4、xilinx low-latency : 在低延迟模式下，VCU编码器和解码器在子帧或切片级别的边界工作，但编码器的输入和解码器的输出的其他组件，即捕获DMA和显示DMA仍然在帧级别的边界工作。这意味着编码器只能在捕获完整帧的写入完成后才能读取输入数据。在Xilinx低延迟模式下，捕获和显示也在子帧级别工作，从而显著降低了流水线(pipeline)的延迟。这是通过让生产者（捕获DMA）和消费者（VCU编码器）同时在同一个输入缓冲区上工作来实现的，但同时保持两者之间的同步，这样消费者读取请求只有在生产者完成写入该读取请求所需的数据后才被解除阻塞。维持这种同步的功能是由一个称为Xilinx同步IP的单独IP块管理的。同样，解码器和显示也被允许同时访问同一个缓冲区，但在这里它们之间没有单独的硬件同步IP块。软件通过确保只有在解码器至少写入了半个帧周期的数据后，缓冲区才开始被显示来处理同步。与低延迟模式类似，Xilinx低延迟模式还支持编码器最多四个流和解码器两个流。

所以这里的低延迟，主要是对帧处理的方式，把他划分成更小的单元去并行处理，来达到降低延迟的目的！

【支持红外夜视IRCUT的4G智能安全帽BW620Y，比传统的白光照明灯效果要好很多，可以规避大的亮的光斑，可以在雾天使用。-哔哩哔哩】 https://b23.tv/C36wsnX

AIoT万物智联，智能安全帽生产厂家，执法记录仪生产厂家，智能安全帽、智能头盔、头盔记录仪、执法记录仪、智能视频分析/边缘计算AI盒子、车载视频监控/车载DVR/NVR、布控球、智能眼镜、智能手电、智能电子工牌、无人机4G补传系统等统一接入大型统一视频平台~融合通信可视指挥调度平台VMS/smarteye 。

什么是智能安全帽，如何选购智能安全帽，智能安全帽的主要功能，https://www.besovideo.com/detail?t=1&i=109

目前支持的AI智能算法、视频智能分析算法有哪些，https://www.besovideo.com/detail?t=1&i=297

视频演示1~光伏新能源，  视频演示2~石油石化

海康、大华等5000路固定点摄像头走国标GB28181接入统一视频平台smarteye

电力施工作业现场安全生产风险管控应用方案，https://www.besovideo.com/detail?t=1&i=50

轻危大型厂矿可视化监管系统方案（有内部作业视频数据安全保密的需求），https://www.besovideo.com/detail?t=1&i=258

超薄款4G工牌视频记录仪BH128，https://www.besovideo.com/detail?t=2&i=1575

超小微型4G胸牌视频记录仪BZ223，全国产芯片，单独北斗定位， https://www.besovideo.com/detail?t=2&i=1542

 

百川汇流万物智联尽入优视融合通信~大型融合通信可视指挥调度平台smarteye

5G执法记录仪+5G智能安全帽/头盔摄像头+5G智能AI布控球+融合同学可视指挥调度平台smarteye

#物联网#IoT+5G互联+AI智能视频分析#边缘计算#+大数据+遥感+#GIS#，八仙过海齐汇聚，保障安全无所惧！

#智能安全帽#/#头盔摄像头#+#4G记录仪#+#智能布控球#+#无人机4G回传#，移动视频四剑客，天生绝配，联手打造立体化全方位安全生产可视监管系统。

万物智联AIoT+5G智能感知图传，一切尽在合肥优视大型可视指挥调度平台VMS/smarteye 。

电力施工作业现场可视化安全综合管控平台项目解决方案，https://www.besovideo.com/detail?t=1&i=50

安全生产可视化远程监理在大型厂矿（发电厂、钢厂、石油石化炼化、化工园区等有危险工种岗位等工矿企业）中的应用，各类防爆安全帽、工作记录仪等，图传加数,危险气体采集，工人心率等体征信息采集，与工单等信息结合，统一后台汇聚。https://www.besovideo.com/detail?t=1&i=29

智慧工地-远程可视监管，劳务用工实名制，工作票绑定，定位安全帽~人员定位-考勤、精细化管理 系统应用方案，

https://www.besovideo.com/detail?t=1&i=28

智慧工地-智能AI算法的实现机制，https://www.besovideo.com/detail?t=1&i=129

边缘计算AI盒子、执法记录仪、一体化布控球等目前支持的AI智能算法、视频智能分析算法有哪些，

https://www.besovideo.com/detail?t=1&i=297

警用执法记录仪~城管+公安执法记录仪~交警执法记录仪-布控球等移动视频终端视音频一体化管理平台建设方案，https://www.besovideo.com/detail?t=1&i=188

移动执法视频取证标准配置（4G/5G执法记录仪+采集工作站+布控球+无人机4G回传+车载DVR+头盔摄像头，AR眼镜等统一接入大型可视指挥调度平台VMS/smarteye）, https://www.besovideo.com/detail?t=1&i=2

公安交警空中巡视，无人机电力巡检巡线，通过便携式微型HDMI 4G DVR，将地面接收到的无人机视频图像走4G网络实时传送到电力公司中心机房，与4G工作记录仪、一体化4G布控球、4G图传头盔摄像头、4G图传巡检机器人等产品统一接入可视指挥调度平台SmartEye系统进行视音频指挥调度，亦可接入海康等任意的28181国标平台，可走运营商专网过边界-网闸进入公安专网。

微型4G无线HDMI高清4G/5G图传DVR在无人机航拍,地面接收4G5G补传系统中的应用方案

https://www.besovideo.com/detail?t=1&i=49

视频演示~无人机视频4G回传~微型小HDMI DVR装置,与单兵执法仪/头盔摄像头等统一接入可视指挥调度平台VMS/smarteye ，可升级到5G,

https://v.douyin.com/JhTQPNL/

无人机视频4G回传~微型HDMI 4G DVR用户手册，https://www.besovideo.com/detail?t=1&i=170

微型HDMI 4G DVR接入GB28181国标平台，https://www.besovideo.com/detail?t=1&i=216

(另外一种方案)无人机图传，通过5G执法记录仪USB传输到可视指挥调度平台VMS/smarteye，https://v.douyin.com/YnevTLD/

 

数字化煤场基于UWB的人员高精度定位系统方案，https://www.besovideo.com/detail?t=2&i=997

室内定位（UWB/蓝牙等）技术方案概述，https://www.besovideo.com/detail?t=1&i=205

室内定位之蓝牙信标配合安卓系统的智能安全帽、电力作业记录仪， https://www.besovideo.com/detail?t=1&i=267

内置RTK北斗高精度定位的智能安全帽测试报告（MQTT通信），https://www.besovideo.com/detail?t=1&i=132

内置UWB室内高精度定位的智能安全帽-软件说明， https://www.besovideo.com/detail?t=1&i=131

融合通信可视指挥调度平台smarteye与国标GB28181平台的异同与关联，https://www.besovideo.com/detail?t=1&i=287

电力专用指纹解锁5G执法记录仪BJ531~内置靠近高压电近电预警、登高预警，温度检测、生命体征检测上报平台smarteye， 

https://www.besovideo.com/detail?t=2&i=1045

各类功能集大成者（跌落、撞击等各类报警、佩戴检测、危险气体采集&上报、生命体征采集上报、内置气压计+温度计实现登高检测，精度1-3米）超长待机4G智能安全帽BZ980， https://www.besovideo.com/product/detail?i=87

 

多源视频融合平台VMS/smarteye，免费的GB28181 server, 免费的RTMP推流server，RTSP server，车载机部标JT808,JT1078服务器、标准SIP服务器， https://www.besovideo.com/detail?t=2&i=1321

全面支持国产信创系统，在linux（麒麟、统信等信创系统）服务器上安装smarteye server的操作说明， https://www.besovideo.com/detail?t=1&i=248

关于融合通信~可视指挥调度平台VMS/smarteye的说明，https://www.besovideo.com/detail?t=1&i=304

消防智能头盔危险气体采集，红外热成像镜头感知等现场应用解决方案，https://www.besovideo.com/detail?t=1&i=117

消防~武警智能头盔、天眼摄像头、头盔记录仪、头盔摄像头、单兵执法记录仪等配合MESH自组网，COFDM在应急指挥调度中的应用，https://www.besovideo.com/detail?t=2&i=845， 视频演示， https://v.douyin.com/rqLFx6r/

消防、武警战术头盔天眼摄像头通过MESH自组网实现实时可视化指挥调度，https://v.douyin.com/rcCgr1a/

统一视频~融合通信指挥调度~安全生产可视化监管平台smarteye集成作业票、工作票、工单管理~任务派发系统,https://www.besovideo.com/detail?t=1&i=329

统一视频~融合通信指挥调度~安全生产可视化监管平台smarteye里针对执法记录仪、智能安全帽的人员考勤管理的功能使用说明，https://www.besovideo.com/detail?t=1&i=305