边缘计算AI盒子软硬件设计与研发,瑞芯微、YOLO 模型
AI 边缘算法盒子,对接现有网络摄像头(RTSP/ONVIF 协议),本地离线 AI 推理,不需要把原始视频上传云端;支持多路监控视频同时分析,内置多套 YOLO 系列视觉算法,实现园区 / 工地 / 楼宇安防告警。
-
目标:4 路 1080P@25fps 并行 AI 分析,可扩展至 8 路 -
输出:目标框、告警事件、截图、报警推送(Web/HTTP 接口) -
优势:低延迟、隐私安全、断网可用,适配传统监控改造
二、内置监控 AI 算法清单(全部基于 YOLO)
基础模型选用 YOLOv8n / YOLOv11n,轻量化后部署到 NPU,支持多任务并行
-
人车物全目标检测:人、机动车、非机动车,输出目标框 + 跟踪 ID;用于客流统计、车辆统计 -
区域入侵、越界翻越检测:划定警戒区域 / 警戒线,检测人员闯入、翻越围栏(你之前 Roboflow 标注的翻越攀爬场景) -
工地劳保检测:安全帽、反光衣识别;未佩戴自动告警 -
烟火检测:火焰、烟雾识别,火灾预警 -
电梯场景:电动车识别:识别电动车进电梯告警 -
离岗 / 脱岗检测:岗位区域长时间无人告警 -
物品遗留 / 丢失:物品滞留、物品拿走告警 -
摔倒检测:人体姿态 + YOLO 目标联合判断,人员倒地告警
算法联动逻辑:YOLO 检测出目标 → 目标跟踪 ByteTrack → 业务规则判断(ROI 区域、停留时间)→ 触发告警。
三、硬件选型(RK3588 方案,国产高性价比,推荐主方案)
主控 SoC:瑞芯微 RK3588
-
CPU:4×A76 +4×A55;NPU:6TOPS INT8;内置 VPU,支持多路 H.264/H.265 硬解码 -
内存:8GB LPDDR4X -
存储:32GB eMMC(系统 + 模型,可扩展 SSD) -
网口:双千兆以太网(一路接摄像头交换机,一路接内网平台) -
外设:RS485、继电器告警输出、USB3.0、WIFI / 蓝牙 -
电源:DC12V/3A,工业宽压,无风扇静音散热(室内机柜)
备选方案对比
地平线 X3:10TOPS,NPU 推理性能更强,适合 8 路高密度;模型转换流程不同 Jetson Orin NX:GPU 方案,YOLO 训练 + 推理调试最方便,但成本高,功耗大,不适合大批量工程落地
硬件架构
摄像头(RTSP 流)→ 千兆交换机 → AI 盒子网口 → VPU 硬件解码 → NPU YOLO 推理 → 业务应用 → 告警输出
四、YOLO 模型训练流程(基于 Ultralytics YOLOv8 / YOLO11)
4.1 数据集准备
-
采集监控场景视频抽帧,导出图片 -
标注:框选目标(人、车、安全帽、火焰、翻越、电动车等) -
数据集划分:训练集 / 验证集 / 测试集(7:2:1),做数据增强:翻转、裁剪、亮度、噪声、马赛克增强 -
导出 YOLO 标签格式(txt 标注文件,类别 ID)
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
4.2 模型训练
-
环境:Python, PyTorch, Ultralytics 库 -
基础预训练权重:yolov8n.pt(轻量版,适合边缘部署) -
训练命令示例
yolo detect train data=custom.yaml model=yolov8n.pt epochs=100 imgsz=640 batch=16
-
训练后评估:mAP、召回率、精确率;剔除低质量样本,迭代重训 -
模型轻量化:剪枝、量化(INT8),降低算力占用
4.3 模型转换(RK 部署关键步骤)
PyTorch (.pt) → ONNX → RKNN 模型,适配 RK3588 NPU 算子;量化 INT8,保证速度
注意:多任务模型可以选择「多个独立 YOLO 小模型」,工程稳定性优于一个超大复合模型。
五、嵌入式应用软件开发
5.1 系统层
操作系统:RK Linux,Debian 嵌入式系统;媒体库:mpp(瑞芯微硬件编解码)
5.2 软件流水线
-
视频接入模块:拉取 RTSP 流,多路管理,断线重连;硬件解码出 RGB 图像帧 -
预处理模块:图像缩放、归一化(适配 YOLO 输入尺寸 640×640) -
NPU 推理模块:RKNN API 加载 YOLO 模型,批量推理,输出检测框、置信度、类别 -
目标跟踪:ByteTrack,跨帧维持目标 ID,减少重复告警 -
业务规则引擎:ROI 区域绘制、越线、停留时间阈值配置(Web 页面配置) -
告警管理:告警截图保存、HTTP 消息推送、继电器输出、本地日志存储 -
Web 管理后台:浏览器访问,添加摄像头、画警戒区、开关算法、查看实时画面与告警记录
5.3 对外接口
-
HTTP REST API:获取检测结果、告警事件 -
ONVIF 接入 -
本地日志 sqlite 存储,支持导出告警记录
六、整机性能指标(RK3588,4 路 1080P)
-
单路推理:YOLOv8n,640×640,推理耗时 < 45ms -
4 路并行实时分析,25fps -
告警延迟:200~400ms -
模型在线切换:Web 端加载不同 YOLO 模型,按需启用算法(例如工地场景只开启安全帽 + 烟火)
七、测试与交付
-
单元测试:单模型推理精度测试 -
压力测试:4 路长时间 7×24h 稳定性,内存泄漏检测 -
现场联调:对接现场摄像头,调试置信度阈值、告警防抖(过滤误报) -
交付包:固件、RKNN 模型、Web 管理端、SDK 开发文档
八、风险点
-
NPU 算子不兼容:训练后模型转 RKNN 会有算子丢失,训练阶段就要规避不支持算子 -
误报问题:增加时序滤波,目标持续多帧命中才触发告警 -
算力瓶颈:多路并发时,优先降低非核心模型帧率,保障关键告警算法
