合肥优视嵌入式技术有限责任公司—5G+AI丰富终端智慧图传智能分析-安全生产可视化指挥调度平台厂商-OEM/ODM!
中文 / English

工业AI项目落地实施从入门到精通

发布时间: 2024-11-04 19:49:37

AI虐我千百遍，我待AI如初恋。什么才是好的AI？答：能落地的AI才是好AI。AI项目从无到有，再到最终落地，无非不是挖坑、踩坑、填坑的过程。本文从笔者的一些经历、经验、血泪教训展开，说一下对AI项目研发过程中的感想。

被虐的案例

图片
  • 案例1：经过N次版本修改与优化，最终定稿。支持切换型号、云端训练、人工调参等。搞到最后，才发现别人要求准确率100%。
  • 案例2：样机各种灯光闪来闪去，各种运动机构群魔乱舞。什么犄角旮旯都覆盖到，什么划痕、残缺、脏污都面面俱到。但是，一个产品的检测竟然要30s。到过一次现场才发现，人工目检只需要2s。
  • 案例3：光学、算法、界面都ok了。在热火朝天、干劲十足的准备推广成千上百套变现的时候，客户说只要一套。
  • 案例4：同上，最终客户说再考虑一下，当然是杳无音信。算是被耍呢？还是算是白嫖呢？
  • 案例5：当我们正为识别准确率是99%的时候，客户把一个识别成功的和一个识别失败拿到一起，问：这两个明明一模一样，为啥这个失败了，这个成功了？
  • 案例6：我去生产现场培训客户标注。他们非常配合，找来的也是目检老手。我示范了几个后，让他试试。他就是不肯，搞到最后才知道：额，他不会用电脑！
  • 案例7：我们的算法好牛掰，我们模型好先进。AI+传统方法一起来搞，完美。不过你需要调整这20个超参数。人呢？别走啊！
  • 案例8：已经上线运行了，最后发现某一种型号的某一种缺陷打光不佳，图像上很难判断。最终只能推倒重来。
  • 案例9：没有意识到数据的重要性，每次都是几张图片在测试，结果是很完美，最匆匆拍板上线。最终大批量测试的时候，发现不work了。

为啥这么难？

图片

工业AI，尤其是缺陷检测这块都是硬骨头。虽然场景非常简单，虽然数据都是源源不断，虽然算法都是非常纯粹。主要是其需求太分散了，不是不能做，而是值不值得去做。因为你要面临以下问题：

  • 说不清道不明、模棱两可的需求标准，某些难以量化的标准。
  • 频繁的变更需求标准，难以做到只靠调后处理参数就快速响应。
  • 频繁更换型号的场景，留给你训练的时间不多。甚至无法提供良好的训练环境。
  • 立体的产品，各种吃光照，吃视角的缺陷，极其微弱的缺陷。
  • 难以保证的样本一致性问题。
  • 准确率能不能到100%？
  • 有没有人工做的更快？
  • 有没有人工费用更便宜？
  • 需要配合繁复的硬件设备，尤其是运动设备。如何才能保证整套设备的稳定性？
  • 后期维护成本问题？由于涉及的环节太多，需要“全才”才能搞定。
  • ......

一般流程

AI要敏捷开发，更要方法论，更更要稳定成熟的流程。

图片

这里要提的是，工业场景的AI不过是整套系统中的一个小小组件，你一定不会靠单纯的AI去make money。即便如此，AI从无到有，依然经过以下几个环节：

需求阶段

包括场景分析，问题定义，可行性分析。很多任务都是从该阶段直接进入end。这个是好事，一定不要盲目自信和盲目乐观。所谓一叶障目不见泰山，只看到算法容易实现就忽略以上的问题，最后只能惨淡收场。最怕投入太多沉没成本之后，想收场却不甘心。

什么是需求，什么是真正需求，什么是隐藏等待发掘的真正需求。很多时候，和客户一起聊需求的时候，他们给不出明确的需求。最简单直接的办法就是，深入参观他们的生产现场。和工人融到一起，学会他们的判断标准。为他们发掘需求，尤其是下面几点必须提前明确清楚：

  • 什么是绝对不能容忍的错误，一旦出现就是质量事故。我们要知道算法的下限在哪里。
  • 涉不涉及更换型号，能否提供符合模型训练的场景要求，比如至少得有GPU吧，或者可以上网进行云端训练。
  • 对时间上的要求，很多替换人工工位都要要求比人更快。我们要知道系统的物理极限，例如运动设备。
  • 对于算法难以界定的灰色地带，接不接受人工二次复检。对于不work的个例，我们要有backup。

其他都比较直白，对于第二点说明一下。大家想必都知道，我们做算法复现的时候，推理部分比训练部分要容易好几个等级。同理，上线部署的时候，如果涉及用户自己训练，那么难度就上来了。要把标注、数据处理、训练参数、测试评估等都打包在一起，还要实现全自动化。甚至会遇到诸如用户电脑不能上网&没有GPU，没有错，即便是你提训练必须条件，他也不一定会给你配到。

以上这几点，一定要仔细论证，全局论证，反复论证。论证不是内卷，不是效率不高，不是执行力不高。没有详细论证而匆匆上马的项目，一般后期有无数个坑在等着你。

打光阶段

图片

包括光学设计，成像分析，当然还包括不是那么AI的结构设计等。俗话说：七分靠打光，三分靠调参。打光非常重要，因为后续算法只能为图片负责。一般我会用“明显”和“明确”来进行可行性分析，“明显”就是来自光学。最直观的判断就是，人肉眼能否通过图片进行精准判断。如果存在模棱两可的部分，那么它也将成为算法模棱两可的地方。

数据阶段

包括数据采集，数据标注，数据处理。数据的重要性不言而喻，正所谓：七分靠数据，三分靠trick。数据到位了，一切都好说。数据的重要性，想必是任何一个从业人员都深有体会的。我们要数据，要有效的数据。没有数据的场景，抱歉请用传统方法。要记住，模型泛化，没那么重要，当然模型也没有那么强的泛化能力。它之所以能够识别，那是因为它见过。将模型理解成一个存储器，而不是泛化器。之前的你，需要建立数据库来存储数据用以测试时的比对，现在的你，模型就是你的数据库。

数据标注就会涉及标准的定义，很多时候很难拿到清晰的标准。或者说无法量化为清晰的标准。往往会存在灰色地带，这就要提前有一个清晰的认识。对于灰色地带的处理，或者说客户的容忍，要提前想好策略。这里比较困难的是，灰色地带可能很难量化出来，我们只是知道这个样本是灰色地带，到底有多灰，have no idea。

另外，比较重要的是尽快建立稳定的、有代表性的数据集合，尤其是测试集，这点非常重要。可以帮助非常敏捷进行后续的benchmark实验。如果你不知道你对什么样的最终结果负责，那么你将永无止境的做下去。

算法设计阶段

包括任务定义，任务拆分，模型选择。尤其是任务拆分，你不肯定把所有的大象都装到一个冰箱里面，你也不可能把所有的鸡蛋放到一个篮子里面。

杜绝唯模型论 & SOTA 论。我们需要的是在特定场景下解决特定的问题。这里涉及学院派思维转变，学院派的高手为imageNet和COCO等数据集负责，而我为我自己的场景和自己数据集负责。SOTA看中的是模型的上限，而实际的场景，看中的是模型的下限。

杜绝唯AI论。不管传统方法还是AI方法，能work的就是好算法。如果传统方法没有明显的缺陷，那么请选择传统方案。或者你可以这么认为，当前看似高大上的AI并不是真正的AI，或许30年后一天，你会说：先用传统方法YOLO V28 来试一下吧！

训练评估阶段

图片

包括模型调参，模型训练，指标评估。所谓的“炼丹”。前几步做好了，一般不会有太大问题，如果有，请向前追溯。这里要说一句，“提前优化是万恶之源“。在保证精度的时候，再去考虑速度，再去做优化。当然你靠58个模型联合起来获取的精度不在该讨论范围。

部署阶段

这个阶段坑比较多，基本上都是技术方面。也是所谓的“脏活”。包括模型优化，跨平台前向推理，模型加密。终于到部署阶段了，也看到了落地的曙光。关于深度学习人工智能落地，已经有有很多的解决方案，不论是电脑端、手机端还是嵌入式端，将已经训练好的神经网络权重在各个平台跑起来，应用起来才是最实在的。不过依然存在这么多工作需要做：

跨平台：可跑目标硬件上，包括各类cpu/gpu/npu/fpga等等。
高效能：速度快、占用内存少等。
精度没有丢失：经过一通量化、剪枝、蒸馏、图优化等操作后，终于满足时间要求了，却突然发现部署测试精度掉了一半，WTF。
加密需求：你一定不希望自己辛辛苦苦搞出来的成果被别人白嫖吧！
闭环生态：当然你不能一劳永逸，怎么在应用中收集样本，更新系统。你需要作成实用、好用的闭环工具链。

运维阶段

包括运行监控，模型更新等。你以为可以所以口气了，并没有。能不能经受海量产能和时间的考验，请瑟瑟发抖地注视着吧！运维的核心就是保证业务安全稳定运行。上面提到，AI泛化能力还是比较欠缺的，所以很可能会在实际运行的过程中遇到不work的情况。当然最最直接的办法就是持续不断扩充数据。当然要保证你的模型有足够的capacity，如果没有，那么就是算法设计环节没有做好。收集数据利用上面部署阶段所说的闭环生态工具链来持续完成这个事情。至此，你的AI项目已经落地。

【支持红外夜视IRCUT的4G智能安全帽BW620Y，内部主板型号有，SAE01, W20, k61v1_32_bsp_1g, k62v1_64_bsp， soq_azw_05_Natv，soq_azw_01_Natv，AZW003，aqm6816，soq_azw_01_Natv，SC161, W25，比传统的白光照明灯效果要好很多，可以规避大的亮的光斑，可以在雾天使用。-哔哩哔哩】 https://b23.tv/C36wsnX

危险气体检测仪，通过4G/5G执法记录仪或者4G/5G智能安全帽上报到平台，https://www.besovideo.com/detail?t=1&i=273

智能安全帽~生命体征检测与危险气体检测一体化集成设计还是蓝牙无线外挂式方式好？https://www.besovideo.com/detail?t=1&i=279

智能安全帽~生命体征采集上报，https://www.besovideo.com/detail?t=2&i=506

智能安全帽，检测生命体征上报平台， https://v.douyin.com/e3oP4Yx/

AIoT万物智联，智能安全帽生产厂家，执法记录仪生产厂家，单北斗定位智能安全帽、智能头盔、头盔记录仪、执法记录仪、智能视频分析/边缘计算AI盒子、车载视频监控/车载DVR/NVR、布控球、智能眼镜、智能手电、智能电子工牌、无人机4G补传系统等统一接入大型统一视频平台~融合通信可视指挥调度平台VMS/smarteye 。

什么是智能安全帽，如何选购智能安全帽，智能安全帽的主要功能，https://www.besovideo.com/detail?t=1&i=109

目前支持的AI智能算法、视频智能分析算法有哪些，https://www.besovideo.com/detail?t=1&i=297

视频演示1~单独北斗定位智能安全帽助力光伏新能源，  视频演示2~石油石化

海康、大华等5000路固定点摄像头走国标GB28181接入统一视频平台smarteye，支持eHome,ISUP, SIP，萤石云，CMSV6等

电力施工作业现场安全生产风险管控应用方案，https://www.besovideo.com/detail?t=1&i=50

轻危大型厂矿可视化监管系统方案（有内部作业视频数据安全保密的需求），https://www.besovideo.com/detail?t=1&i=258

超薄款4G工牌视频记录仪BH128，https://www.besovideo.com/detail?t=2&i=1575

超小微型4G胸牌视频记录仪BZ223，全国产芯片，单独北斗定位， https://www.besovideo.com/detail?t=2&i=1542

防抖执法记录仪、智能安全帽、头盔记录仪大全，https://www.besovideo.com/detail?t=2&i=1692

可拆卸智能安全帽、分体式智能头盔记录仪大全，https://www.besovideo.com/detail?t=2&i=1697

北斗双频高精度定位智能工卡、电子工牌大全，https://www.besovideo.com/detail?t=2&i=1689

为什么武警、特警拉练演习的MESH自组网系统都不约而同的选择了smarteye平台？https://www.besovideo.com/detail?t=2&i=1215

 

 

百川汇流万物智联尽入优视融合通信~大型融合通信可视指挥调度平台smarteye

5G执法记录仪+5G智能安全帽/头盔摄像头+5G智能AI布控球+融合同学可视指挥调度平台smarteye

#物联网#IoT+5G互联+AI智能视频分析#边缘计算#+大数据+遥感+#GIS#，八仙过海齐汇聚，保障安全无所惧！

#智能安全帽#/#头盔摄像头#+#4G记录仪#+#智能布控球#+#无人机4G回传#，移动视频四剑客，天生绝配，联手打造立体化全方位安全生产可视监管系统。

万物智联AIoT+5G智能感知图传，一切尽在合肥优视大型可视指挥调度平台VMS/smarteye 。

安全生产可视化远程监理在大型厂矿（发电厂、钢厂、石油石化炼化、化工园区等有危险工种岗位等工矿企业）中的应用，各类防爆安全帽、工作记录仪等，图传加数,危险气体采集，工人心率等体征信息采集，与工单等信息结合，统一后台汇聚。https://www.besovideo.com/detail?t=1&i=29

智慧工地-远程可视监管，劳务用工实名制，工作票绑定，定位安全帽~人员定位-考勤、精细化管理 系统应用方案，

https://www.besovideo.com/detail?t=1&i=28

智慧工地-智能AI算法的实现机制，https://www.besovideo.com/detail?t=1&i=129

边缘计算AI盒子、执法记录仪、一体化布控球等目前支持的AI智能算法、视频智能分析算法有哪些，

https://www.besovideo.com/detail?t=1&i=297

边缘计算AI智能盒子的视频源必须是固定点监控摄像头吗？https://www.besovideo.com/detail?t=1&i=315

 警用执法记录仪~城管+公安执法记录仪~交警执法记录仪-布控球等移动视频终端视音频一体化管理平台建设方案，https://www.besovideo.com/detail?t=1&i=188

移动执法视频取证标准配置（4G/5G执法记录仪+采集工作站+布控球+无人机4G回传+车载DVR+头盔摄像头，AR眼镜等统一接入大型可视指挥调度平台VMS/smarteye）, https://www.besovideo.com/detail?t=1&i=2

 公安交警空中巡视，无人机电力巡检巡线，通过便携式微型HDMI 4G DVR，将地面接收到的无人机视频图像走4G网络实时传送到电力公司中心机房，与4G工作记录仪、一体化4G布控球、4G图传头盔摄像头、4G图传巡检机器人等产品统一接入可视指挥调度平台SmartEye系统进行视音频指挥调度，亦可接入海康等任意的28181国标平台，可走运营商专网过边界-网闸进入公安专网。

微型4G无线HDMI高清4G/5G图传DVR在无人机航拍,地面接收4G5G补传系统中的应用方案

https://www.besovideo.com/detail?t=1&i=49

视频演示~无人机视频4G回传~微型小HDMI DVR装置,与单兵执法仪/头盔摄像头等统一接入可视指挥调度平台VMS/smarteye ，可升级到5G,

https://v.douyin.com/JhTQPNL/

无人机视频4G回传~微型HDMI 4G DVR用户手册，https://www.besovideo.com/detail?t=1&i=170

微型HDMI 4G DVR接入GB28181国标平台，https://www.besovideo.com/detail?t=1&i=216

(另外一种方案)无人机图传，通过5G执法记录仪USB传输到可视指挥调度平台VMS/smarteye，https://v.douyin.com/YnevTLD/

数字化煤场基于UWB的人员高精度定位系统方案，https://www.besovideo.com/detail?t=2&i=997

室内定位（UWB/蓝牙等）技术方案概述，https://www.besovideo.com/detail?t=1&i=205

室内定位之蓝牙信标配合安卓系统的智能安全帽、电力作业记录仪， https://www.besovideo.com/detail?t=1&i=267

内置RTK北斗高精度定位的智能安全帽测试报告（MQTT通信），https://www.besovideo.com/detail?t=1&i=132

内置UWB室内高精度定位的智能安全帽-软件说明， https://www.besovideo.com/detail?t=1&i=131

融合通信可视指挥调度平台smarteye与国标GB28181平台的异同与关联，https://www.besovideo.com/detail?t=1&i=287

电力专用指纹解锁5G执法记录仪BJ531~内置靠近高压电近电预警、登高预警，温度检测、生命体征检测上报平台smarteye， 

https://www.besovideo.com/detail?t=2&i=1045

各类功能集大成者（跌落、撞击等各类报警、佩戴检测、危险气体采集&上报、生命体征采集上报、内置气压计+温度计实现登高检测，精度1-3米）超长待机4G智能安全帽BZ980， https://www.besovideo.com/product/detail?i=87

多源视频融合平台VMS/smarteye，免费的GB28181 server, 免费的RTMP推流server，RTSP server，车载机部标JT808,JT1078服务器、标准SIP服务器， https://www.besovideo.com/detail?t=2&i=1321

全面支持国产信创系统，在linux（麒麟、统信等信创系统）服务器上安装smarteye server的操作说明， https://www.besovideo.com/detail?t=1&i=248

关于融合通信~可视指挥调度平台VMS/smarteye的说明，https://www.besovideo.com/detail?t=1&i=304

消防智能头盔危险气体采集，红外热成像镜头感知等现场应用解决方案，https://www.besovideo.com/detail?t=1&i=117

消防~武警智能头盔、天眼摄像头、头盔记录仪、头盔摄像头、单兵执法记录仪等配合MESH自组网，COFDM在应急指挥调度中的应用，https://www.besovideo.com/detail?t=2&i=845， 视频演示， https://v.douyin.com/rqLFx6r/

消防、武警战术头盔天眼摄像头通过MESH自组网实现实时可视化指挥调度，https://v.douyin.com/rcCgr1a/