低空经济~无人机AI智能巡检

发布时间: 2025-06-02 22:14:59

前几天一个同行来问我之前做的无人机巡检的项目做的怎么样了，我才突然想起来无人机巡检的项目已经推动有不少时间了，但是由于我们的人力有限，所以这段时间人力资源也是在各种项目之间穿插，好在最近有了一定的成果，也算是蹭上了「低空+AI」这个热点，所以今天的内容就来聊一聊我们用的低空巡检中关于目标检测部分的技术方案。

巡检是目前行业里面比较常见的「低空+AI」或者「机器人+AI」的应用解决方案模式，今年也看到了不少厂商也已经推出了类似的解决方案，由于我们缺少相应的经验积累所以开始的比较晚一些，因而今年上半年这段时间我们完全是处于从零开始构建AI技术栈的状态，这个过程非常类似之前从GIS的技术栈转换到游戏引擎的技术栈的过程，踩坑是必不可少的，所以本次也将我们通过踩坑积累的经验分享出来。

我们现在做的一些关于低空巡检还处于比较初级的状态，硬件完全是依赖大疆的无人机场，通过上云API的方式进行对接，其实本来也可以通过司空平台对接，但是司空平台再次直播推流需要产生相应的费用，所以我们就采用了直接对接上云API的方式，但是这也就意味着我们需要将司空平台的很多功能再重写一遍了，由于文档不是很完善，我们大部分的对接都是通过扒示例代码和咨询售后技术完成的，这是个辛苦活没有什么捷径，如果要完整实现是不太现实的，只能根据项目的迭代逐步完善，前期需要先做的功能包括：算法管理、航线管理、任务管理等。

基于AI的低空巡检可以是基于边缘侧硬件的目标识别，同样也可以基于直播流进行目标的识别，但是由于条件限制我们目前还是采用了纯软件的后端直播流目标识别的方式。

基于视频流的目标识别在模型选择上也没有限定，因为现在类似ultralytics和roboflow这种视觉AI的通用框架已经实现了对底层细节的通用化，这也就意味着切换基础视觉模型的代价比较小了，我们本次选择的是ultralytics的YOLOv8作为基础模型，但是作为一个比较通用的视觉AI平台内部应该需要实现输入、算法、权重文件的解耦，同时在这个基础之上还需要能够支持算法的灵活组合，包括一个数据源上可以跑多路检测算法以及支持算法的编排，比如roboflow的workflow这个功能。

当然这也很类似在数字孪生阶段物联网数据接入时候见的比较多的「规则引擎」。

在数据集上，我们选择了开源的visdrone-2019 det 数据集合，该构建了世界上规模最大的低空无人机视觉数据平台，包含超过2000万图像/视频帧以及2000万目标标注。

不过本次我只是下载了VisDrone2019-DET-Train这个数据集，这个数据集一共包含了6472个样本标注。

不过这个数据集直接训练出来的精度普遍比较低，比如我这边训练出来的mAP@50是40.8%,Precision是52.5%，当然你也可以自己制作或者通过淘宝购买一些符合特定场景需求的数据集合。

在训练数据这个层面：

第一种方法是最常用的可以用自己的电脑利用代码进行训练，但是缺乏清晰的看板和完整的工具，自己要攒硬件和攒工具。

第二、利用ultralytics hub和roboflow这种平台进行训练，这种平台提供了一栏子的工具进行训练，包括对数据集的标准化处理、标注的修改、模型选择、训练增强、参数配置、过程看板、权重导出等。个人觉得这样的平台还是很方便的，估计这也是国内厂商平台化的一个思路，在当前这个阶段很难通过模型进行收费，更多的是对工具服务和算力进行收费，而且这些工具和算力是必要的。

第三、针对一些开源的模型和数据集，也可以到相应的模型托管平台比如HuggingFace上去下载一些数据集。

第四、还可以通过Google Colab这种工具来白嫖一些算力，但是这种方式不是很稳定，算力紧张GPU会被释放。

数据训练完成之后就可以得到微调后的权重文件，这个部分默认为best.pt，然后利用这个权重文件进行部署推理，但是推理阶段也会面临一个选择就是在后端推理还是在Web前端推理，区别在于：

1、后端推理可以持续运行，但是我们的系统都是基于Web的，所以最终我们还是需要将检测框和标注绘制到视频上，这也就意味着我们需要先把视频流读过来，然后做检测，然后再将检测的结果推流，然后前端通过视频流再次加载，这也就导致对资源的消耗以及不可避免的延迟问题；

2、前端推理则无需再次推流，直接Web端加载视频流之后通过前端的算力进行推理，完全依赖前端的算力，所以这就导致需要依赖前端的算力，最要命的是如果前端页面关掉了，这个检测也就终止了；

这次我们两种方式也都做了考虑：

1、后端推理识别，后端推理部分需要把pt文件转换成为onnx模型交换格式，onnx是一种针对机器学习所设计的开放式的文件格式，用于存储训练好的模型。它使得不同的人工智能框架（如Pytorch、MXNet）可以采用相同格式存储模型数据并交互，onnx可以通过netron.app这个工具打开，这样你就可以看到模型的详细结构和权重参数。然后利用runtime工具进行推理，本次我使用了opencv的dnn来进行推理。

而推理部分可以使用ffmpeg+nginx(rtmp)的开源的方式进行推流，模型推理检测出对象并绘制好相应的检测框和标注之后就可以将帧再通过管道的方式写入到视频流中，进行视频推流。

这样就可以实现后端推流，但是由于数据集和实际飞的画面还有一些区别，比如数据集中对象相对比较大，但是我们测试的视频画面比较远，对象比较小，所以为了提升效果就可以考虑增加小目标识别SAHI的算法，其实也就将一个画面分割成更小的部分，然后将每个部分单独检测，然后再合并起来。

比如下图就是没有做SAHI的视频目标检测效果：

如下是做了20个切片之后的检测效果，但是这种效果对算力要求很高，所以卡顿会更明显，所以切分大小是需要权衡的。

2、前端推理识别，前端识别的方案，就是需要借助tensorflow.js这种工具来再前端运行，这个时候就需要将pt文件通过onnx文件中转转换成为tensorflow的web_model格式，这个部分其实之前卡了我很久，主要原因在于环境的问题，直接在本地使用yolo的export总是会报错，后面想了一个方法就是直接利用官方的colab案例和Google的环境，将pt文件上传到Google Drive上再进行转换，这个时候就可以转换成功了。

然后就可以将tensorflow的web model部署到工程中，然后利用tensorflow.js进行推理调用，整体上运行是没有问题的。

当然如果完全依赖前端，其实也可以将前端识别的结果再传回到后端然后做为事件保存，但是前端目前还没有现成的工具实现SAHI，我相信未来Web端推理工具还需要进一步的发展，比如现在基于Rust这种burn框架已经出来了。

支持红外夜视IRCUT的4G智能安全帽BW620Y，内部主板型号有，SAE01, asr8601 ，W20, k61v1_32_bsp_1g, k62v1_64_bsp， soq_azw_05_Natv，soq_azw_01_Natv，AZW003，aqm6816，soq_azw_01_Natv，SC161, W25，比传统的白光照明灯效果要好很多，可以避免图像中间大块的亮光斑，可以在雾天使用。https://www.bilibili.com/video/BV1594y1E7tB/