边缘网关，边缘计算~电力物联网，AI智能视频分析算法的前世今生，行为分析、安全帽识别，工装识别，烟火识别

智能视频分析目前在国际上有多种叫法，比如VCA(Video Content Analysis)、VA(Video Analysis)、IVA(Intelligent Video Analytics)等。这是计算机图像视觉技术在安防领域应用的一个分支，是一种基于视频分析的智能监控技术。

本智能视频分析主要是关于行为分析的应用。所有的视频分析都是建立在对视频中目标的有效识别基础上，而且区别于传统的移动侦测(VMD - Video Motion Detection)技术，智能视频分析首先将场景中背景和目标分离，识别出真正的目标，去除背景干扰（如树叶抖动、水面波浪、灯光变化），进而分析并追踪在摄像机场景内出现的目标行为，获得这些目标的行为属性，再与用户预先设置的各项规则进行对比，判断是否发出报警。

行为分析的种类有以下几种：

果四年前你没听说过智能视频分析系统，那很正常，如果你现在还不知道什么是智能视频系统（IVS)系统，那作为一个安防人，说明你已经落伍了。因为它是未来监控的发展方向，行业称之为第五代电视监控技术，前几代分别是摄像机时代、VCR时代、DVR时代、NVR时代、及视频分析时代。不管这个分代法是否合理，但是有一点，就是视频分析技术是电视监控技术一个划里程碑式的创新，这个技术将改变人们传统监控理念，并使最终用户从中获益，从而接受并大举应用。

         如果你还觉得视频分析离我们很遥远，那么以下几个工程案例会让你觉得视频分析技术已经在中国大规模应用了：

       （1）地铁13号线，利用视频分析抓住偷窃贼；

         （2）北京航空信息中心机房，采用入侵探测及防尾随；

         （3）刚刚开通的地铁5号线，权限23个车站，重点区域采用丢炸弹探测及入侵探测；

         （4）青藏铁路07年10月竣工验收，全线1300路通道采用视频分析，对全线铁路进行入侵保护；

         浦东机场、首都机场及已经多条在建铁路项目，均预算使用视频分析技术……

        智能视频系统要解决的问题有两个：一个是将安防操作人员从繁杂而枯燥的“盯屏幕”任务解脱出来，由机器来完成这部分工作；另外一个是为在海量的视频数据中快速搜索到想要找的的图象。对于上述两个问题，视频分析厂家经常提到的案例是：操作人员盯着屏幕电视墙超过10分钟后将漏掉90％的视频信息而使这项工作失去意义；伦敦地铁案中，安保人员花了70个工时才在大量磁带中找到需要的信息。因此基于上述两点，你必须选择视频分析系统，视频分析系统将在未来成为监控系统的标配。

 

       视频分析产生背景

 

        视频分析产生的背景很简单，其一为安防应用，就是当值班人员面对十、百、千的摄像机，无法真正的在风险产生时预防或干预，多数靠事后回放相关的图象；其二为非安防应用，如商业上人流统计、防止扒窃等等。其理念是将风险的分析和识别转交给计算机或者芯片，使值班人员从“死盯”监视器的工作中解脱出来，当计算机发现问题时候，产生报警，此时值班人员进行响应。

作为传统闭路电视监控系统的下一波浪潮，数字录像系统的到来无疑标志着24*7全天候监控系统进入了更加高效的新纪元。然而当前仍然存在着一些严重的问题。接连数小时盯着通常显示着静止墙壁和护栏的多个监视器，即使是最为训练有素的保安人员也会为此而面临注意力极限的挑战。再加上黑暗或恶劣的天气情况等客观条件，这一问题变得更加复杂。随着数字监控网络中部署的摄像机和闭路电视监视器不断增多，保安人员有效审视网络上所有各点图像的能力实际上却由于信息过载而有所下降。显而易见，保安人员迫切需要一款更加智能化的系统来发挥自动“电子眼”的作用，以便对潜在入侵者、可疑目标和其它安全侵犯活动进行至关重要的瞬间刺激型准确检测，由此保安人员将可以对事件做出迅速而明智的决定和实时响应。

智能视频监控主要优势：

   （I）      快速的反应时间 - 毫秒级的报警触发反应时间

   （II）     更有效的监视 – 安保操作员只需要注意相关信息

   （III）     强大的数据检索和分析功能，能提供快速的反应时间和调查时间

      

      视频分析技术

 

        视频分析技术就是使用计算机图像视觉分析技术，通过将场景中背景和目标分离进而分析并追踪在摄像机场景内出现的目标。用户可以根据的视频内容分析功能，通过在不同摄像机的场景中预设不同的报警规则，一旦目标在场景中出现了违反预定义规则的行为，系统会自动发出报警，监控工作站自动弹出报警信息并发出警示音,用户可以通过点击报警信息，实现报警的场景重组并采取相关措施。

视频内容分析技术通过对可视的监视摄像机视频图像进行分析，并具备对风、雨、雪、落叶、飞鸟、飘动的旗帜等多种背景的过滤能力，通过建立人类活动的模型，借助计算机的高速计算能力使用各种过滤器，排除监视场景中非人类的干扰因素，准确判断人类在视频监视图像中的各种活动。

(1)  背景减除方法

视频分析方法主要有两类，一类是背景减除方法。背景减除方法是利用当前图象和背景图象的差分（SAD）来检测出运动区域的一种方法。可以提供比较完整的运动目标特征数据。精确度和灵敏度比较高，具有良好的性能表现。

(2)  时间差分方法

时间差分个人认为就是高级的VMD,又称相邻贞差法，就是利用视频图象特征，从连续得到的视频流中提取所需要的动态目标信息。时间差分方实质就是利用相邻贞图象相减来提取前景目标移动的信息。此方法不能完全提取所有相关特征象素点，在运动实体内部可能产生空洞，智能检测出目标的边缘。

(3)  背景减除法和时间差分法优缺点

 

       视频分析系统架构

 

目前视频分析技术主要有两种架构方式，一种是基于后端服务器方式；另外一种采用DSP方式，DSP方式明显优于后端服务器方式，主要表现在：

Ø   DSP（数字信号处理Digital Signal Processing，简称DSP）方式可以使得视频分析技术采用分布式的架构方式，在此方式下，视频分析单元一般位于视频采集设备附近（摄像机或编码器），这样，你可以有选择的设置系统，让系统只有当报警发生的时候才传输视频到控制中心或存储中心，相对于服务器方式，大大节省的网络负担及存储空间。

Ø   DSP方式下，视频分析单元一般位于视频采集设备附近（摄像机或编码器），此方式可以使得视频分析单元直接对原始或最接近原始的图象进行分析，而后端服务器方式，服务器得到的图象经过网络编码传输后已经丢失了部分信息，因此精确度难免下降。

Ø   视频分析是复杂的过程，需要占用大量的系统计算资源，因此服务器方式可以同时进行分析的视频路数非常有限，而DSP方式没有此限制。

基于以上原因，目前市场上主流视频分析技术均采用DSP方式，基于摄像机或编码器。

      

       视频分析过程

 

视频分析是利用计算机视觉技术，对画面进行分析、处理、应用的过程、包含如下过程：

   （I）         背景学习过程：自动学习监视场景的背景情况

   （II）        加载预处理过程：加载用户的预定义规则

   （III）       目标提取跟踪程：提取跟踪前景变化目标，检测并分析目标的活动

   （IIII）      视频分析判断过程：根据规则追踪目标的活动判断是否违反预定义规则

   （IIIII）      触发报警过程：确定目标活动违反规则，根据预定义传输报警的指定的用户

一般视频分析系统通过设置视频分析原则来过滤掉体积过大或过小的物体，而高级视频分析系统软件内设“对象分析引擎”，能够根据不同的活动目标的大小、运动速度及运动规律准确识别出人员、动物、车辆或其它对象，成功地将不需要跟踪信息分离出来，不只对“目标”物体进行跟踪。

(1)  背景学习过程

视频分析开始生效后，首先系统进行背景学习阶段，学习时间根据背景热闹程度有所不同，期间系统自动建立背景模型。背景的建模是背景减除法的技术关键。一般采用在系统设置时期设置系统自适应学习时间来建模，根据背景实际”热闹程度“ 选取3－5分钟的学习时间。一般系统建模完成后，随着时间的 变化，背景会有一些改变，系统具有”背景维护“能力，即可以将一些后来融入背景的图象，如云等自动加为背景。

(1)   移动目标提取与跟踪

背景学习阶段完成后，系统进入目标提取与跟踪阶段。

目标提取是基于背景建模完成后，如果前景出现移动物体目标，并在设置的范围区域内且目标物体大小满足设置，系统将会把该目标进行提取并跟踪。其中的关键技术是视频画面的变化分析，视频画面变化分析采用背景减除法的技术。我们将能指示出画面随时间变化的图为前景图，背景减除方法是利用当前图象和背景图象的差分（SAD）来检测出运动区域（前景图）的一种方法，前景图是视频分析的关键部分。为了得到良好的前景图，期间需要对初步提取的前景图进行去躁处理。目标的良好跟踪是视频分析效果的基础前提条件，视频分析过程需要了解目标出现及运动的时间、位置、速度、方向的要素，而这些要素主要通过目标跟踪得到。目标的跟踪算法有多种，并且过程复杂，有的基于目标的颜色位置、有的基于运动方程，其目的就是获取目标的一段时间内的运动状态，为之后的分析提供前提条件。

背景维护：在视频分析过程中，期间如果背景出现雨雪，中云，波浪，摄像机抖动，摇摆的柳树、现场光线变化等情况，系统将启动各种过滤器功能，来过滤掉这些动态背景，并试试更新背景。

(1)   目标的识别与行为分析

目标的识别是系统对之前提取并跟踪的目标进行识别和辨识。要想让系统具有目标识别和辨识能力，需要对系统进行模型培训，就是利用已知的目标特征(如车辆、人员、动物等)，对系统进行训练，系统将会在大量已知的样本信息上，了解、学习不同目标的特征（大小、颜色、速度、行为方式等），这样当系统发现一个目标时，系统将自动与已经建立好的模型进行比对、并匹配特性，从而对目标进行识别和分类。

视频分析的过程：这个过程是系统的关键过程，有了之前的背景、目标跟踪、识别分类等过程，视频分析是利用以上过程的结果，根据目标出现的时间、位置、速度、大小等因素，并结合之前设置好的行为规则，实现视频分析的过程，如入侵、丢包、越界等。

       视频分析设置过程(入侵探测为例)：

(1)  设置防区

步骤一：主要设置防区范围,具体包含如下步骤：设置警戒区域（防区）、设置算法精度、设置背景学习时间等。此步骤中的关键是调整好摄像机视场，好的视场才会有好的分析效果。

(2)   设置景深参数

步骤二：主要设置典型物体及一些过滤器，具体包含：典型物体大小（根据局不同景深）、无效状态系数(SAD)、云层过滤器、防抖滤波、静态运动滤波是否应用等。

(3)  设置典型物体大小

步骤三：主要设置典型物体的大小。用来过滤一些非典型大小物体目标，例如本项目中主要入侵探测对象为牦牛等大型动物、人及汽车类可能对铁路运行产生巨大影响的入侵目标，对于猫、狗、羊等小动物不设置触发报警。

       数字视频分析技术应用注意事项！

视频分析技术近年发展迅速，无论是从媒体的宣传，还是从刚刚结束的展会，人们似乎感觉到“智能视频、视频分析、IVS/CA”已经向我们走来了。几年前的概念，如今成了现实，并且来势汹汹，似乎要颠覆传统的监控方式、颠覆人们的监控理念。的确，视频分析技术早已经从概念、从实验室、从欧美应用进入了中国，青藏铁路、地铁5号线、13号线、民航中心等，均已经有多路视频分析产品在日已夜继的工作；入侵、丢包、防尾随等均有所应用。

 1)  视频分析产品考评

评价或考核不同供应商的视频分析产品并非简单事情，需要考核该厂家视频分析采用的技术、视频分析算法、视频分析产品应用案例及调试经验，视频分析与电视监控系统的集成方式以及其他特点。

2)   视频分析产品技术

早期的视频分析基于视频移动探测技术（VMD-Video Motion Detection）,此技术采用比较相邻帧图象像素的变化情况，此技术的应用比较有局限性，不适合多种环境，容易产生漏报和误报，

   Ø   对于一些静态场景过于敏感，如海浪、树叶的晃动等，可能触发误报警，因此不适合用于室外。

   Ø   而对于一些缓慢移动的入侵物体，或者入侵的物体突然停止运动，可能导致漏报警。

VMD的最大缺陷是只比较相邻帧图象像素的变化情况，而不考虑背景。

近期的视频分析技术一般基于物体跟踪（背景分离），此技术可以提供更好的视频分析表现。

   Ø    可以对场景中的物体进行探测、跟踪及分类。

   Ø    可以对场景中的背景进行学习并自动调整背景。

   Ø    可以通过学习目标物体的行为模式而更好的跟踪及分类。

(4)   视频分析的实施

目前视频分析技术主要有两种架构方式，一种是基于后端服务器方式；另外一种采用DSP方式，DSP方式明显优于后端服务器方式，主要表现在：

   Ø    DSP方式可以使得视频分析技术采用分布式的架构方式，在此方式下，视频分析单元一般位于视频采集设备附近（摄像机或编码器），这样，你可以有选择的设置系统，让系统只有当报警发生的时候才传输视频到控制中心或存储中心，相对于服务器方式，大大节省的网络负担及存储空间。

   Ø    DSP方式下，视频分析单元一般位于视频采集设备附近（摄像机或编码器），此方式可以使得视频分析单元直接对原始或最接近原始的图象进行分析，而后端服务器方式，服务器得到的图象经过网络编码传输后已经丢失了部分信息，因此精确度难免下降。

   Ø    视频分析是复杂的过程，需要占用大量的系统计算资源，因此服务器方式可以同时进行分析的视频路数非常有限，而DSP方式没有此限制。

基于以上原因，目前市场上主流视频分析技术均采用DSP方式，基于摄像机或编码器。

(5)   视频分析供应商的经验

实际上，视频分析技术是一项非常复杂并具有一定技术含量的东西，国际上真正掌握视频分析算法的厂家并不多，而从掌握了算法、推出实验室产品到产品真正能够投入项目运行，还有很长的路要走。

目前视频分析技术应用于实际项目的主要挑战在于：

   Ø    复杂的室外环境，风、霜、雨、雪、雾等。

   Ø    室外光线的变化，如物体的反光及云影的变化等。

   Ø    过于拥挤目标的环境。

实际上，对于这些非常普遍的场景，在实验室中进行模拟并不容易，因此好多厂家利用工程项目实施过程，来不断修正参数来适应不同的环境，这并不代表厂家的产品不成熟，反而是厂家实力的体现。

(6)   系统集成

相对于算法、准确度等，视频分析产品集成性更加重要。视频分析技术必须能够有效集成的视频监控平台甚至安防平台上去，只要当视频分析产品有效集成到整个安防监控平台上，才能充分发挥其效能，让安保人员有效发现及处理报警。为此，视频分析产品必须与整个视频监控系统一体化设计、无缝集成，包括编码器、录象机、存储设备、监控机制等。

 

目前在国内市场上使用较多的IVS产品以国际品牌居多，为Ov、Dallmeier、Vidient、Ivbox、Mate、Nice以及Viseowave等，并且这些产品都在质量、功能等方面具备一定优势。例如，DALLMEIRE就给产品系列提供相应的管理软件，满足在质量、可靠性和用户友好性方面最苛刻的要求，该软件模块可以与Dallmeier的硬盘录像机、视频运动探测器和摄像机兼容，共同构成完全智能化的系统，并且确保所有独立部件都可以按用户喜好简单地配置，还可以对一个或多个录像机的视频图像进行控制、分析，从而为操作员提供了一套多功能、人性化的解决方案。

此外，在06年9月A&S举办的GDSF全球数字监控论坛上，国际著名厂商Milertone开始进入人们的视野，此外，为2004年雅典奥运会提供网络视频安防系统的Videobridge公司2005年也在中国建立了分支机构。从视频管理软件本身的技术水平来看，这些国际一流的厂商要比国内厂商的软件水平高出一截，而且相当成熟。

与这些国外品牌相比，国内的IVS市场还有很大的差距，目前基本上还处于起步状态。不过对于这些情况，中国IVS厂商们仍然对未来市场的发展信心十足。蓝色之星网络监控部经理陈岩峰认为，从目前国内的市场上看，用户对网络视频监控的应用还在摸索阶段，定制开发很多，国外厂商在建立一个相当规模的本地开发队伍之前很难适应中国的市场，所以从现在的情况看，留给国内IVS的发展空间还是比较大的