智慧铁路~基于物联感知的轨道交通智能数据采集共享平台

基于物联感知的轨道交通智能数据采集共享平台立足于轨道交通综合运营监测与管理层面，以运营信息物联网监测、数据共享高度融合、云引擎及大数据驱动技术为支撑，基于自感知注册、标准化物模型接入、流批融合、离实协同的（LakeHouse）湖仓一体架构，建立了一套基于混合式大数据架构、多元多模态融合、标准化接口构成的基础平台，实现以海量设备物联感知、全域数据自动化采集、数据建模融合分析、数据标准化管理为核心的先进、高效、可靠的技术保障系统。该成果通过数据集中采集处理，实现信息资源深度共享程，提高数字信息传达效率。充分发挥运营数据的潜在效益，进一步提升智慧化轨道的企业管理综合能力。

在数字经济、数字中国、数字交通背景下，国家陆续发布《交通强国建设纲要》、《国家综合立体交通网规划纲要》、《“十四五”现代综合交通运输体系发展规划》，分别提出围绕数字化、智能化、网络化，大力应用新技术革命成果并与轨道交通深度融合，构建泛在互联、柔性协同的数字化感知监测覆，推进服务全程数字化、数据开放共享、平台整合优化。近年来，各城市交通线网逐渐形成，轨道交通行业对建设基于大数据平台及云服务的综合性网络化数据采集及共享平台来确保运营生产服务和运营决策能力的需求日益迫切。如何优化网络化运营规模下的轨道交通运输、运营及服务的数据共享模式，通过数据驱动研究改变传统数据采集模式，推动学科理论发展和技术方法，支撑适应于轨道交通网络化新的发展格局，成为行业内愈发关注的焦点。

本项目围绕轨道交通线网运营规模迅速扩大和运营管理模式日益复杂下面临运营期间“数据量庞大、专业类型繁多、信息共享难”的困境，针对轨道交通多线多专业厂商不一、制式多样；接口方式和数据范围、格式不统一；数据采集颗粒度、数据接入质量参差不齐的现状，立足于轨道交通线网综合运营监测，以智能感知采集、数据高度融合、云计算应用技术为支撑，集成多专业物联感知、自动化传感与监测、标准化接口、多通信技术等关键技术，形成集数据采集、数据处理、数据建模、数据共享为一体的多专业、多结构的综合性智能数据采集共享平台。

图-1 数据采集共享平台总体架构图

（1）物联网感知接入层：实现行车、乘客、设备设施等多元化信息泛在连接的物理感知、注册接入、数字化映射、组网路由。提供Modbus TCP、MQTT、TCP、CoAP、HTTP等多协议适配可视化规则引擎，实现各线路专业全量生产数据的感知和获取，利用泛在感知、定位、标识技术，实现设备统一编码、唯一标识、快速定位、预警监测功能。

（2）多源数据采集层：基于云原生支持跨多种工控设备操作系统部署，采用分布式负载均衡技术，数据采集通过可视化的方式实现文本、日志、图像、图像等多种非结构化多源数据通过创建管道实现数据入湖，并对数据采集全链路过程监控，具备实时高可用和服务自治愈机制。

（3）湖仓存储与建模层：汇聚轨道交通多源异构数据及混合存储功能，屏蔽底层异构分布式数据存储体系差异。基于内存依赖、磁盘依赖、GPU依赖计算特点，提供分析挖掘和AI算法算力引擎，构建递进多层次的综合监控、安防消防、客流监测、信号列控、指挥调度、能耗监测等模型主题域，形成城轨全域数据仓库体系。

（4）数据共享服务层：基于分布式离线批处理计算服务、流批融合计算服务、端到端实时计算服务，满足特征分析、模型训练、汇总计算、实时调用等不同类型数据计算服务。构建数据资产目录数据接口分类，形成统一对外数据共享接口发布、订阅、脱敏、赋权的管理体系。

（5）数据孪生应用层：基于可视化技术，构建孪生物模型的统一管理模块，支持BIM、web3D、Vue等多种可视化前端数据导入和数据集成编排功能，提供线网运行图、车站3D结构、FAS、BAS、机房、机电等基础组态模板，支撑轨道交通各业务板块的智慧化应用。

1）基于全息感知的物联网接入引擎技术。利用全息物联感知、全程自动化处理，采用不同的信息传感器、射频识别技术、红外感应器、激光扫描器等各种装置与技术，搭建各类网络接入、连接、互操作的，能够实现轨道交通行车、乘客、设备设施等多元化信息泛在连接的物联网感知层和自组织网络，构建边缘智能网关补强感知延伸网，强化边缘网关计算能力，基于SDK方式支持跨多操作系统部署，提供物联设备接入流程的可视化编排，提供协议转换、唯一标识、统一设备模型等功能。

图-2 全息感知物联监测体系架构

与国内外同类型技术对比，具备技术指标先进性：支持多类型物联接入模式，包括Modbus TCP、MQTT、TCP、CoAP、HTTP等物联网协议转换，20余项以上专业接口，具备可靠性、可移植、兼容性及灵活性。形成发明及实用新型专利、标准及软著，通过专业测试机构和云实验室测评。

2）多源全域数据自动一体化采集处理技术。基于NB-IoT、WSN路由协议、接入引擎，采用分布式管道技术、零注入方式，实现大规模数据采集综合前置处理技术、基于边缘计算的设备数据采集处理技术、利用大数据平台数据采集与快速对接技术的应用。汇集12项专业机电设备监测数据、5种结构化信息本体、10类专业主数据的数据结构以及数据治理技术，针对资产、物资、信号、电力、环控、火灾报警、屏蔽门、售检票、通信、视频监控、设备维修、乘客信息等信息制定适配的数据采集方式、数据接入内容、数据传输方式，提供采集对象服务创建、消息容量设置、管道拓扑链接、数据湖入仓格式和集群部署并发等功能，支持视频、文本数据压缩算法、多副本备份策略、零代码开发部署。

研发集直联采集、网关采集、平台采集等多种采集机制为一体的多源数据自动化采集处理技术：

l 直连采集适用于轻量数据型的物联终端设备，适用于实时性高、数据结构简单、需要快速相应和交互控制的设备。针对智能型终端和非智能型物联终端提供不同采集方式。

l 网关采集适用于事务复杂、持续更新的结构化和文本日志类型的海量数据采集场景。基于硬件的网关设备和边缘采集云服务，通过直连接入网关，制定端口镜像的数据抓取和过滤策略，筛选所需采集的有效数据，根据数量的大小设置分布式集群采集服务的并发度。

l 平台采集适用于较完整，IP化、结构化、数字化程度高的综合性系统，采集方式以文件传输、数据库、中间件、消息队列、TCP协议接口获取数据为主。平台采集机制针对大文件提供了多种压缩算法功能，支持分布式并发管道，有效平衡存储空间。

图-3 数据采集处理机制

（2）采用湖仓一体新型开放式架构、数据主题域模型构建、数据联邦学习算法、数据中台共享服务等机制，实现了轨道交通跨专业、跨业务、多维度、多场景的数据驱动业务应用支撑能力。

1）湖仓一体数据中台主题库应用技术。采用湖仓一体新型的开放式架构，打通数据仓库结构化数据存储和数据湖非结构化数据存储，基于hadoop、Spark、Flink技术支持多种数据类型并存，提供MPP、关系型数据库、内存数据库数据推送和数据同步功能。基于临时数据层、基础数据层、汇总数据层、专用数据层的分层架构，利用逻辑模型及数据模型构建面向线网运营多场景业务主题域归纳数据结构体系及跨域模型复用映射机制。基于数据中台战略实现数据整合及服务共享，让数据、基础服务在数据平台和业务系统之间形成良性闭环，实现应用与数据间的解耦，提供高效数据服务和通用能力服务。

轨道交通针对大量数据考虑到对既有Hadoop向下兼容，以及HDFS自身提供海量数据的高可用廉价存储特性，结合对象存储技术功能，在传统hadoop的体系架构下，引入开源Spark、Flink框架，补充实时处理数据能力，以MapReduce、RDD、DataStream实现并行计算，Hive和Spark SQL、Flink SQL则作为Hadoop的数据仓库工具，实现存算分离入湖、流批融合计算、湖仓分层管理、湖内建仓管理的仓湖一体化架构。

图-4 数据湖逻辑层

2）联邦学习及建模融合分析应用技术。通过构建分布式批量计算框架、流计算框架等大数据服务框架，为数据采集共享平台的业务层提供支撑工具或组件，提供流计算、批量计算等支撑能力。结合网络化运营管理和决策分析需要，基于隐私计算技术、通用算法库，提供轨道交通遗传算法、退火算法、协同归纳、时序路径算法等专用算法库，建立面向多专业、多维度、多业务、多场景的数据联邦与数据建模，满足运行图自动编制、客流预测、故障预测、ai分析、换乘弧计算、限流控制等关键场景模型训练需求，利用大数据算法服务为数据采集平台的业务层提供支撑工具或组件，形成业务层应用支撑能力。支持(Presto、ClickHouse、HAWQ)多种MPP 查询引擎适配，满足毫秒级、秒级、分钟级不同时效性的数据查询需求。

图-5 数据共享应用服务

（3）提出一整套覆盖元数据管理、数据质量、数据模型、数据安全和数据服务的全生命周期数据标准化体系。

提出一套基于数据实时计算的快速标准化的数据处理方法，构建统一、标准化的元数据管理、数据质量、数据安全和数据服务体系，形成面向多专业、多维度、多业务、多场景的，覆盖运营生产域、内部管理域、外部服务域的全生命周期的数据管理模式，实现元数据信息的统一定义、收集和管理，建立企业级元数据管理能力，为综合业务体系的前端应用提供一套统一的数据接口标准，实现跨业务的信息集中共享及资源高效利用。形成发明专利、标准及软著等。

通过感知接入、多源采集、湖仓建模、共享服务、映射孪生全过程数字化治理，实现大数据联邦学习、元宇宙数据建模、数据血缘追溯和数据生命周期标准化管理；基于可视化、交叉验证等功能提升数据质量，灵活的支持数据集市资源逻辑划分；提供数据共享对外接口，实现对外数据的服务，接口层通过多种通信协议提供数据、应用、可视化等服务接口。

图-6 数据采集共享平台治理体系架构

（4）综合利用物联网、云边协同、混合数据架构等技术构建了一套集智能感知、全域采集、数据处理、数据联邦、数据共享为一体的轨道交通综合性智能数据采集共享平台。

综合利用物联网、云边协同、数据共享等技术，基于物联网感知接入层、多源数据采集层、全域数据湖存储层、主题域数据建模层、大数据服务共享层、孪生数据应用层，形成了一套基于云平台连接实时库、关系型历史库、MPP架构的数据仓库、基于Hadoop架构的大数据应用库的，集智能感知、全域采集、数据处理、数据联邦、数据共享为一体的多专业、多结构、多应用的综合性智能数据采集共享平台，实现了轨道交通全线网运营数据采集、监控、管理、服务平台化功能服务，保障业务所需的各类在线数据、历史数据以及对大数据的平滑接入和便捷应用。与国内外数据中心、数据采集平台、数据共享平台、数据服务平台等同类型系统对比，本项目研制的轨道交通综合性智能数据采集共享平台，形成多项发明专利、标准及软著等，在工程化应用中，在多类型物联接入、多时态发布、多模式数据采集、接口自适配、多场景数据模型等方面具备技术先进性。