煤矿安全生产视频 AI 识别关键技术研究综述

摘 要：煤炭是我国工业化进程中的基础性能源，且以煤为主的能源结构将长期存在，煤矿安全生产视频分析与识别技术是保障我国煤矿智能化建设和煤炭工业高质量发展的核心技术支撑。为了及时对煤矿井下安全隐患进行实时监测和预警，视频 AI （Artificial Intelligence，人工智能）识别关键技术已经成为煤矿安全生产领域的研究热点。本文阐述了我国煤矿智能化建设过程中安全监测与监控的发展现状，分析了当前矿井视频监控与安全隐患识别预警存在的效率低、响应慢、效果差等问题，结合计算机视觉、边缘计算、大数据处理、云服务、智能终端等先进技术手段、进行了煤矿安全生产视频AI 识别的顶层设计，提出了 煤矿“人-机-环”全域视频 AI 感知的“云-边-端”协同计算系统架构，构建了视频识别端节点传感器、边缘计算设备、视频识别 场景云服务应用体系，明确了智能识别与预警联动控制响应机制，打通了“云-边-端”信息交互感知与联动控制数据链，实现了 数据共享联动和预警协同。同时，围绕矿山“人-机-环”全域 AI 视觉信息智能感知和全息泛化景象平台的构建，梳理了矿井安全隐患视觉感知及识别预警的技术处理流程，归纳了 AI 识别过程中的各类预处理-增强-重建-检测-识别方法的优点和缺点，明确了煤矿安全生产视频 AI 识别关键技术发展的主流方向和趋势。其次，笔者结合王家岭煤矿、鲍店煤矿等代表性矿井的应用案例， 示范展示了煤矿安全生产过程中实际典型应用场景等方面的最新进展和应用效果。最后，针对煤矿安全生产视频 AI 识别关键技术的特点，总结了现有煤矿安全生产视频AI 识别系统存在技术理论薄弱、智能终端规格不一且应用场景混乱、数据兼容性及联动闭环能力较差、数据库安全性较弱、评价机制不统一、应用标准不完善等问题，指明了未来的发展方向是加强对视频 AI 识别关键技术及理论的研究，建立健全智能终端硬件规格及适用体系，构建标准统一、机制完善、实时互联、动态预测、协同控制、 安全可靠的煤矿信息多维度主动感知新模式和工业互联网应用平台，逐步形成全矿井全息泛化的高精度智能感知场，实现对井 下“人-机-环”全域视频信息的精准感知和危险源协同管控。 

关键词：煤矿安全生产；视频 AI 识别；系统架构；图像增强；目标检测；应用场景

       我国是世界上最大的煤炭生产国和消费国，以煤 为主的能源结构是我国能源资源赋存现状的必然选 择，并将长期存在[1,2]。煤炭生产经常受到瓦斯、水、 火、顶板等自然灾害的威胁，当遇到矿井突发事故， 由于井下作业人员情况不明、视频网络不畅、通信手 段单一，往往造成信息不通、指挥不灵、数据不准， 极易造成事故损失的扩大[3,4]。国家的“十四五”规 划中，提倡通过自主创新、集成创新的模式推动煤矿 重大灾害防治关键技术的研究[5]。在煤矿安全生产的 过程中，地面指挥中心与井下各个工作面的实时通信 至关重要，如果能对煤矿井下现场的视频信息进行快 速监测和分析，并将分析结果实时传送到地面监控和 指挥中心，可提前分析和预判煤矿生产过程中的突发 异常情况，并在突发事件发生时有效缩短突发事件响 应时间，对于提升煤矿安全生产水平具有重要意义。

      煤矿井下视频监控系统已经在目前的很多煤矿 中得到了广泛应用，通过危险区域下的安全监测与联 动控制，将人员从危险的环境中解放出来，不仅提高 了煤矿安全生产的保障能力，也可提高矿井自然灾害 的监测预警水平[6]。但是，随着煤矿信息化程度的不 断提高，现有的煤矿井下视频监控系统仅仅起到了井 下视频场景的显示和监控作用，对于人员违章、环境 参数异常、设备工作状态等情况还需要监控中心人员 的浏览和识别[7-9]。在实际的井下生产过程中，仅仅 依靠人力的肉眼观察难以保障煤矿安全生产万无一 失[10]。近年来，虽然有大量的视频 AI 分析与识别方 法被提出并被应用在日常生活与生产中，但是煤矿井 下人工环境昏暗、采掘工作面粉尘大、图像/视频采 集终端成像分辨率模糊、色彩辨识度低、前后景对比 度差、电磁环境复杂等因素，导致经常出现少检、漏 检等现象[11]。同时，现有的煤矿安全生产视频 AI 识 别系统构架不清、识别算法及模型在煤矿井下复杂环境适用性不明等问题又致使煤矿企业所构建的安全 生产视频监控系统架构混乱、功能不全、模式单一。此外，在出现告警及紧急异常情况时，工作人员的反 应速度也严重影响了煤矿应急处理的速度和安生生 产效率。因此，为了及时对煤矿井下安全隐患进行识 别和预警，视频 AI 识别关键技术已经成为煤矿安全 生产领域的研究热点。

       本文首先围绕我国现有煤矿安全生产视频 AI 识 别系统架构的发展现状，详细对比和论证分析其优缺 点，并进行了煤矿安全生产视频 AI 识别系统架构的 顶层设计。其次，梳理了矿井安全隐患视觉 AI 识别 过程中的预处理、检测及识别方法类型和特点，明确 了煤矿安全生产视频 AI 识别关键技术发展的主流方 向和趋势。然后，针对代表性矿井的典型应用场景， 详细展示了其功能实现内容和应用成效。最后，指明 了现有的煤矿安全生产视频 AI 识别关键技术难点及 未来发展对策，并对全文进行了归纳和总结。 

       设计清晰明确的视频 AI 识别系统架构是保证煤 矿生产建设沿着安全、高效、减人降耗、绿色、低碳 方向发展的首要条件。视频 AI 识别系统应能实现对 人员、机器、环境等监控视频进行智能分析，高效存 储和交互数据信息及模型，精准识别各种安全隐患和 事故风险，实时感知煤矿全局安全态势，完成告警与 异常事件处理流程，并实现与煤矿其他相关子系统的 联动与协同，从而提高煤矿安全管理水平和效率，对 于煤炭无人（少人）可视化精准开采和智能化建设具 有重要的研究意义和应用价值。

       杨传印[12]建立了煤矿视频 AI 识别系统，主要由 前端视频 AI 识别分析层、网络传输层、后端管理层 等组成。前端视频 AI 识别分析层主要实现对人员、 机器、环境等监控视频数据的采集与处理，网络传输 层主要通过煤矿光纤工业环网+5G/WIFI 将视频数据

       传输给后端管理层，数据的汇总、处理以及系统应用 层面的开发均在后端管理层。张华等人[13]构建了包含 接入层、网络层、数据层、应用层、表现层和用户层 的系统架构，并基于视频 AI 识别技术设计了煤矿安 全信息管理系统，实现了设备状态识别、重要岗点智 能识别、井下环境身份识别、煤矿风险预警分析等功 能。杨超宇等人[14]构建了包含设备感知层、分析引擎 层、数据中心层和应用服务层的系统架构，设计了煤 矿安全监控视频 AI 识别系统，实现了异常行为目标 检测、行为识别、监控信息管理等功能。张立亚[15] 构建了矿山智能视频分析系统，主要由前端视频感知 子系统、网络传输子系统、后端管理子系统等组成， 如图 1 所示。前端视频设备将监测数据通过网络传输 给后端管理子系统，然后统一对其进行分析处理。

       经过归纳和分析可以发现：上述研究主要是将视 频监控数据统一传输到云服务器中进行分析处理，虽 然云服务器计算和存储资源强大，但忽略了视频传输 及处理过程中的占用带宽高、传输效率差、响应速度 慢、延迟时间长等问题。一方面，海量视频尤其是高 曝光工业相机采集的视频在传输时将占用极高的网 络带宽，且视频在网络传输的过程中还存在电磁干 扰、噪声、传输介质等方面的影响而导致信息失真甚 至丢失的现象发生。另一方面，海量视频监控数据也 使得云服务器在对其进行处理时不仅需要大量的时 间，且将结果从传输、分析、判断、决策、反馈的整 个过程还会产生较长的时间延迟，使得视频监控系统 无法实时动态响应煤矿生产中所出现的安全隐患。例如：在带式输送机运煤时对大块及锚杆等异物的检测 过程中，由于皮带的运行速度较快，普通的网络摄像 机在视频采集过程中常因为曝光频率不够而导致获 取的视频帧存在伪影、模糊不清等情况发生。而采用 高曝光工业相机虽然可以获取清晰的视频流，但是其 所占用的带宽也呈指数上升，不但占用极高的带宽且 传输时间较长。此外，通过云服务器进行后端分析和 处理的整个过程也会产生较长的时间延迟，无法第一 时间识别出该隐患并给出协同联动控制信号，导致当 检测到锚杆等异物划伤甚至撕裂皮带被发现时，已使 得皮带被严重长距离损伤。因此，仅仅基于云服务器 对视频数据进行处理很难满足煤矿安全生产 AI 视频 系统对实时性较高的要求。边缘计算[16,17]通过将云服 务器中的数据直接在边缘端进行处理，能够缓解云服 务器的处理压力，解决云计算所出现的延时问题，并 在煤矿监控领域得到了广泛的应用[18-20]。此外，国内 外学者结合云计算和边缘计算的特点，提出了基于云 -边-端协同的煤矿监控系统架构[21-24]。

      李敬兆等人[21]提出了基于边云协同的煤矿井下 实时视频处理系统，如图 2 所示，主要包括边缘计算 层、数据传输层和云计算层，其中边缘计算负责处理 实时性强的视频目标识别任务，云计算负责处理计算 量大且实时性弱的边缘设备整合等任务。异构融合网 络通过集成煤矿中的有线、无线等多种网络形式，将 边缘计算中的本地视频数据上传给云计算层，同时云 计算层能够将新训练的模型传输给边缘计算，实现边 缘计算层和云计算层之间的数据交互。该系统阐明了 边云协同处理的视频分析模式，能够实现对响应程度 较高的场景进行实时分析与识别。但是其构架尚缺少 对终端层（感知层）和应用层的详细分析和论证，且其边缘计算层和云计算层所涉及的关键核心技术也未给出明确的组成成分和功能模块。

       陈晓晶[22]构建了云-边-端协同的煤矿火灾智能 化防控系统架构，并分析了煤矿火灾防控体系中云- 边-端三层之间的对立统一关系。屈世甲等人[23]提出 了基于云-边-端三级的煤矿监测监控体系架构，并增 加了“端”侧传感信息的采集。姜德义等人 [24]面向智慧矿山提出了边云协同计算技术架构，如图 3 所示， 其中云计算负责处理非实时、长周期和业务决策数 据，边缘计算处理实时性、短周期和本地决策数据。该架构将系统分为设备层、传输层、服务层和应用层， 实现云计算数据和边缘计算数据之间的实时交互。

       上述研究是针对整个矿山六大系统的安全监测 和监控，且设备层未指明终端层应具备分布式计算和 智能感知的特点，应用层的应用场景和景象平台也不 够完善和清楚。同时，尚缺少面向煤矿安全生产视频 AI 识别的详细系统构架，使得系统从终端智能感知 层、连接层、边缘计算层、云服务层、应用层形成完 整的数据链和工业互联网应用体系。

       矿山“人-机-环”全域 AI 视觉信息感知增强现 实理论研究中将人员、机器、环境看作一个系统的三 大要素，在深入研究三者各自信息表达的基础上，借 鉴于前人对云-边-端协同感知计算系统的研究，笔者 提出了煤矿人-机-环全域视频 AI 感知的云-边-端协 同计算系统架构，如图 4 所示。

       该系统构建了视频识别端节点传感器、边缘计算 设备、视频识别场景云服务应用体系，提出了智能识 别与预警联动控制响应机制，打通了人-机-环信息交 互感知与联动控制数据链，实现了数据共享联动和预 警协同，形成了全面感知、实时互联、分析决策、自 主学习、动态预测、协同控制的煤矿安全监管多维度 主动感知新模式和工业互联网应用平台。

      按照各个环节自身属性和功能的不同，煤矿人- 机-环全域 AI 视频识别的云-边-端协同计算系统构架 又可以分为以下几个层面：

     （1）应用层：该层系统的建设提供整个矿山的 智能监控安全预警，保证矿山的生产安全，预警种类 包括人员异常、环境隐患等三违监管和采、掘、运智 能监测与控制。实现视频实时监控、分级权限管理、 告警视频取证、数据分类统计、设备运维管理、各类 图像识别异常事件的处理，实时监控整个事件闭环业 务处理流程，包括事件接收、上报、处理、情况跟踪 和结果反馈。此外，该层还为第三方系统提供了相关 的共享数据接口服务，提供系统扩展与集成能力。 

     （2）服务层：该层包含虚拟化管理、负载均衡、 容灾支持、监控平台以及弹性资源分配。私有云平台 通过虚拟化等技术支持，实现了整体系统易于弹性伸 缩、水平拓展，提升运维效率，保障系统整体的安全 高效性，系统汇集感知层终端和边缘计算引擎获取的 数据，通过数据清洗和分析，为业务应用层提供环境 监控、设备监控、人员监控、移动推送、短信、设备 管理、分级数据以及综合联动控制等各项支撑性和功 能性服务，最终构建形成实时分析、自主学习、动态 预测、预警决策、协同控制的煤矿视频主动识别预警 和智能化联动新模式。 

     （3）边缘计算层：该层通过各个边缘计算节点 对各类终端获取视频信息中的实时性高、短周期和本 地决策数据进行分布式计算和处理，保障对安全隐患 的分析直接在边缘端进行判断并给出结果信息，同时 还接收来自云服务端更新好的模型进行加载和并行 计算，实现监控终端的装备更加高端化和智能化。

     （4）终端层（感知层）：该层系统所包含的智 能监控终端设备分布在各采煤与掘进工作面、运输主 巷道路、泵房、变电站等处，为系统提供类似“神经 元”的感知能力，收集诸如人员误入、乘车违章、皮 带撕裂、堆煤、跑偏等基础环境和人员行为结构化数据。同时提供云端与各感知层子系统之间的系统连接 能力，提供 WebSocket、Socket、Http/Https 以及 Modbus-TCP 等协议的连接和管理能力、打通安全的 数据传输通路。 

     （4）连接层：该层主要是采用有线、无线及二 者相结合的方式，主要通过 4G、5G、WiFi6、光纤、 电缆等方式实现各个数据层的通信与交互，保证了系 统云端服务与感知及决策联动系统间的双向实时通 信的高效性和整体性。

       在矿井狭长巷道内，人造光源照明不均匀、高尘 雾[25]、复杂电磁环境干扰、机载移动视点或监测目标 位置动态变化时，使得监控目标在成像时存在过曝光 与弱曝光、图像边缘模糊、抖动拖影、伪影等现象[26]， 严重影响对其关键特征信息的提取和分析，进而出现 误报率和漏检率较高的问题。因此，结合煤矿人-机- 环特殊工况条件及边缘计算需求，开发出适用于煤矿 复杂环境的轻量级图像预处理技术是实现安全隐患 实时感知与精准识别的先决条件。

       2.1 煤矿井下图像预处理技术

       在视频 AI 分析及识别中，视频帧在输入算法处 理前的质量高低直接影响着后续高级图像处理任务 的精度和效果。而预处理则是通过数字图像处理技术 消除图像中的干扰甚至无关信息，恢复、增强或者重 建相关的有用信息，从而最大限度地提取特征显著、 鲁棒、简洁的信息。图像预处理技术根据方法和原理 的不同主要分为复原法、增强法和超分辨率重建法。

        2.1.1 基于图像复原技术的预处理

        基于图像复原技术的预处理方法主要通过暗原 色先验和大气散射模型的图像处理方法对矿井降质 图像进行增强。张谢华等人[27]基于暗原色先验知识获 取了大气光参数和粗透射图，并通过双边滤波方法实 现了对煤矿图像的增强。王启明等人[28]结合插值法和 滤波获得粗透射图，并通过强化粗透射图边缘，实现 对煤矿井下环境的图像增强。然而上述方法忽略了噪 声对降质图像的影响。

       2.1.2 基于图像增强技术的预处理

       图像增强技术根据增强处理过程所在的空间不 同可以分为基于空间域和基于频率域的图像增强。 

      （1）基于频率域的图像增强

        基于频率域的图像增强是将空间域的图像通过 傅里叶变换转化为频域进行处理，不仅可以更加直观 地分析图像的频率、幅值和相位成分，在减小计算量 的同时还可以更加高效地实现图像的去噪、压缩、去 雾等一系列增强。根据频率域滤波器属性的不同，频 率域滤波又可以分为高通滤波、低通滤波以及同态滤 波。应东杰等人[29]基于小波变换对图像进行分解，然 后利用直方图均衡化对低频信息进行处理,实现对图 像的增强。处理结果较好地增强了图像细节信息，从 整体上改善了图像效果。范凌云等人[30]结合直方图匹 配方法和小波变换，实现了对煤矿环境中模糊图像的 增强。范伟强等人[31]基于小波变换将矿井降质图像分 解为低频子图和高频子图，通过贝叶斯法自适应调整 小波阈值函数，实现了对煤矿复杂光照条件下视频监 控系统中图像的增强。尽管上述频域变化方法通过调 节小波分解后的高频和低频子图，从而能够实现对煤 矿视频监控系统的图像增强，但该方法并未实现对低 频信息的处理，导致无法很好地改善图像亮度。

      （2）基于空间域的图像增强

       基于空间域的图像增强根据处理对象的模式不 同可以分为点运算和局部运算，其中点运算又可以分 为灰度变换、直方图均衡化、归一化和局部统计法等。局部运算也被分为图像平滑和图像锐化两大类，常用 于对图像的各种去噪、抗光照和去雾增强。直方图均 衡化[32]是经典的基于空域变换的图像增强算法，但容 易受噪声的干扰，出现图像过增强现象。目前，国内 外学者主要基于 Retinex 算法研究基于空域变换的图 像增强方法[33]。Retinex 算法的原理是降低图像反射 光的影响，从而提升图像的真实感[34]。在 Retinex 算 法的基础上衍生出了多种改进算法：单尺度 Retinex 算法[35]、多尺度 Retinex 算法[36,37]和带有颜色保护的 多尺度 Retinex 算法[38-40]。笔者提出了基于引导滤波 的单尺度 Retinex 算法，实现了对煤矿井下的图像增 强[41]。单尺度 Retinex 算法尽管复杂度低，但亮度改 善有限，而且参数很难进行选择。为了克服上述问题， 学者们提出了多尺度 Retinex 算法，但该方法将放大 噪声。带有颜色保护的多尺度 Retinex 算法能够解决 噪声和局部细节失真问题，但运行处理速度较慢。

       为了解决多尺度 Retinex 算法存在的局限性，学 者们开始尝试将小波变换方法、双边滤波理论等与 Retinex 算法进行有机结合。唐守峰等人[42]结合小波 变换与多尺度 Retinex 算法，提出了煤矿井下低照度 图像增强算法（如图 5 所示），解决了多尺度 Retinex 算法的噪声放大问题，有效提升了图像边缘细节保持效果。张立亚等人[43]提出了一种煤矿井下图像增强方 法，首先将图像由 RGB 空间转换到 HSV 空间，并通 过融合双边滤波理论与多尺度 Retinex 算法，实现对 图像的增强，提升了粉尘和低照度等条件下煤矿视频 图像的效果。Du YX 等人[44]提出了一种基于 Retinex 理论和小波多尺度的矿山图像增强算法，实验结果表 明该算法具有实时性强和精度高的特点，适用于低照 度矿井的图像增强。

        2.1.3 基于图像超分辨率重建的预处理 

        针对井下特殊环境，导致的图像细节模糊，特征 信息丢失问题，国内外机构尝试采用高精度的硬件采 集设备，通过提高前端相机传感器像素精度来改善传 输到中央处理器的视频信息分辨率，但是其成本极 高，且其无法抑制因网络传输带宽限制而导致的图像 降质问题。图像超分辨率重建算法通过提升矿井低分 辨率图像的质量，实现对图像的增强，得到了国内外 学者的广泛关注与研究。

       图像超分辨率重建方法主要有插值法、重建法和 学习法，如图 6 所示[45]。插值法主要包含最近邻域插 值法、双线性插值法、小波变换插值法等[46-48]，通过 图像插值方法能够获得平滑的重建图像，但易受噪声 干扰，也容易丢失细节。重构法通过多幅低分辨率图 像与未知高分辨率图像，提取所需要的图像特征信息 并进行图像重构[49]。相比插值法，重建法能够进一步 提高图像质量，但容易受到先验信息的制约[50]。

       随着深度学习技术的发展，基于学习的图像超分 辨率重建方法也得到了广泛的关注，其效果明显优于 插值法和重建法[51-53]。学习法的核心是从图像样本库 中学习到低分辨率和高分辨率图像之间的映射关系， 从而实现对图像的超分辨率重建[54,55]。宋玉龙[56]提出 了一种双通道反馈残差网络重建算法，实现对矿井图 像边缘细节的重建，很好地恢复了矿井图像的边缘特 征。面向煤矿安全生产视频 AI 识别系统，笔者提出 了基于深度残差网络的单图像超分辨率重建方法[57]。在此基础上，笔者又提出了一种基于多通道递归残差 学习的图像超分辨率重建方法[58]，其网络结构如图 7 所示。该方法主要包含特征提取和图像重建两部分， 利用递归方法将残差网络块进行复用，引入一种交叉 学习机制，加速不同通道特征信息融合，然后采集并 融合不同卷积核下的特征信息，一起输入到共用的重 建网络中，实现对落煤口和皮带的异物图片的重建， 使得图像更加清晰、细节信息更多，提高了煤矿安全 生产视频 AI 识别系统对人-机-环等安全隐患的检测 精度。该图像超分辨率重建方法不仅能够解决矿井下 采集到图像像素较低的问题，还能解决图像重建过程 中较浅网络的图像特征信息容易丢失的问题。

        2.2 矿井复杂场景下异常安全隐患检测与识别技术 

        煤矿井下煤灰及粉尘浓度大、色彩辨识度低、前 后景对比度差，导致背景信息常被误检为目标及前景 目标被漏检等问题发生，使得对异常安全隐患的识别 难度大大增加。因此，研究面向矿井复杂环境下的目 标检测与识别方法对实现安全隐患的精准感知和识 别预警至关重要。

        2.2.1 基于视频 AI 分析的目标检测技术

        传统的目标检测算法主要有帧差法[59,60]、光流法 [61,62]和背景差分法[63]等，但帧差法对噪声敏感，光流 法却对光源敏感。由于煤矿环境光照不足、粉尘大、 噪声大等原因，传统帧差法和光流法很难适用于煤矿 环境的目标检测。目前，主要基于背景差分法对井下 目标进行视觉检测。张谢华[64]提出了基于聚类技术的 煤矿视频监控环境背景建模方法，并通过聚类修改和 删除的方式动态更新背景，而且结合像素亮度和纹理 特征对运动目标进行检测。郭海涛等人[65]提出了基于 改进高斯混合模型的背景差分法，实现了对煤矿井下 视频目标的检测，并与传统混合高斯算法和三帧差分 法的实验结果进行了对比分析，结果表明改进高斯混 合模型提高了噪声抑制能力、算法处理速度和检测精 度。然而，虽然上述算法对煤矿视频目标进行检测取 得了不错效果，但仍然存在拖影、噪声大等现象，而 且模型更新中固定不变的阈值导致计算速度变慢。

        随着深度学习技术的发展，国内外学者逐渐将深 度学习应用到了煤矿环境视频目标的检测领域。许鹏 [66]基于 Fire-Dense-YOLO 算法对煤矿井下皮带异物 进行了检测，研究了提高检测精度的影响因素，并与 YOLO-V3-Tiny 检测算法进行了实验对比分析，结果 表明所提方法在计算量、实时性与精度上均优于 YOLO-V3-Tiny 检测算法，实现了对煤矿井下皮带异 物的精准检测。胡璟皓[67]提出了损失函数和数据增强 改进方法，对 YOLO-V3 检测算法进行了改进，实现 了对带式输送机非煤异物视频目标的检测。为了解决 煤尘、光照不均等干扰造成输送带异物目标图像检测 效果不佳的问题，郝帅等人[68]提出了一种融合卷积块 注意力模型的 YOLOv5 目标检测算法（如图 8 所示）， 并以某煤矿输送带的视频监控数据进行了实验测试 分析，与 YOLOv3、YOLOv4 和 YOLOv5 目标检测 算法相比，所提算法具有最高的异物检测精度。然而， 虽然上述基于深度学习方法的检测效果要优于传统 算法，但是在网络模型的参数量、实时性和识别精度 方面仍然亟需得到显著的提升。

       笔者所在团队也基于深度学习技术对目标检测 方法进行了大量研究[69]，并将所提方法应用到了煤矿 环境视频 AI 识别系统中。针对矿井复杂环境下前后 景对比度低、目标特征信息不明显所导致的误检、漏 检，以及基于深度学习的网络模型参数量大、实时性 差的问题，笔者提出了一种用于运煤皮带异物检测与分类的融合残差信息轻量级网络[69]，其整体的网络结 构如图 9 所示。为了增强对细节信息的特征提取能 力，该网络采用改进的残差结构作为基本特征提取单 元；此外，通过采用交叉学习机制和特征拼接的信息 融合方式以获取不同尺度的特征信息，在提高特征利 用率的同时，还增加了原始特征的表现力；同时，该 方法还在精简信息融合网络结构的同时增加了信息 融合网络的个数，并通过增加更多的权重来进行更详 细的特征表达，从而有效地提高了网络的扩展性。在 网络前向传播时，又通过对损失函数进行损失阈值处 理，改善了测试集损失函数升高的问题，进而增强所 提出网络的泛化性。最后，通过将该文所提出的网络 模型与当前主流方法在构建的煤矿数据集和公共标 准数据集上进行试验和分析，结果表明该网络模型在 精度得到有效提高的同时，模型的参数量和计算耗时 也得到了明显地降低。

        2.2.2 基于视频 AI 分析的目标识别技术 

        由于颜色信息的运动目标识别经常受到非均 匀照明、相似颜色干扰、区分度低等多重因素的影 响，且单一颜色特征不能很好地描述和识别运动目 标。为此，学者们提出了将颜色信息与纹理信息相 结合的方法[70,71]，提高目标识别精度。此外，部分 学者将颜色和纹理信息融合方法逐渐应用到了煤 矿环境的目标识别领域。Huadong Zou 等人[72]提出 了灰度共生矩阵的纹理特征识别方法，对煤矸石块 体和刮痕矸石块体进行了识别，实验测试结果表明 所提方法具有良好的识别精度。王超等人[73]首先分 析煤块与岩石纹理存在的差异性，然后生成煤块与 岩石图像的灰度共生矩阵，并提取出煤岩图像纹理 特征参数，最后实现对煤岩的识别。

        针对煤矿井下目标的颜色信息易沾染煤灰以 及受不均匀光照干扰和高噪声影响导致误检、漏检 率较高的问题，笔者所在团队提出了一种基于颜色 和纹理信息的运动目标识别装置及方法[73]，方法主 要包括图像预处理模块、特征提取模块、特征融合 模块和目标识别模块，具体流程如图 10 所示。首 先对输入图像进行中值滤波以消除噪声的影响，然 后分别将图像转换成适合于颜色纹理特征提取的 结构模式；再对转换后的 HSV 空间中的 H 和 S 分 量进行提取，同时对转换后的灰阶图像中的几何表 面曲率进行提取和编码，并将编码结果与经典的 LBP 编码进行纹理特征信息的融合，分别采用 Bhattacharrya 系数和卡方距离核对两种提取的特 征信息进行相似性度量，并把求得的相似度向量进 行归一化后特征融合；最后用最邻近分类器进行目 标匹配和识别，从而实现复杂环境下目标的高精度 识别和感知。

       随着深度学习技术的发展，孙彦景等人[75]结合动 态注意力机制与多层感知卷积神经网络，提出了面向 煤矿复杂环境下的人员行为识别方法，解决了煤矿监 控视频模糊且人员行为复杂等因素影响下目标识别 精度低的问题。Jianping Yang 等人[76]设计了一个自适 应的融合单元，用于融合多个层次特征和卷积神经网 络中的注意力机制，实现对煤矸石的识别。刘浩等人 [77]面向煤矿人-机-环复杂环境，提出了基于 OpenPose 神经网络的人体关键点识别方法，并利用 YoloV3 神 经网络对设备与环境进行识别，同时基于 ST-GCN 神 经网络对不安全行为进行识别。王伟峰等人[78]基于 YoloV5 神经网络提出了矿井火灾视频图像的识别方 法，提高了矿井火灾的识别精度。方崇全等人[79]通过 所构建的深度神经网络模型实现了对煤矿井下人员、 煤流等特征不显著目标的视频智能识别，提高了皮带 机巡检机器人的识别精度。笔者基于改进深度残差网 络提出了图像识别分类方法[80]，实现了对煤矿井下煤 矸的识别与分类，降低了图像实际噪声对图像质量的 影响。然而，上述基于深度学习的方法是采用有监督 方式通过大量的样本训练以得到鲁棒的识别模型，而 煤矿复杂工况下的部分重大事故隐患样本极少，导致 对部分场景如皮带撕裂、冒顶、片帮、涌水等重大事 故的监测精度仍然较低。而无监督的学习方式虽然不 需要大量的样本进行训练，但是当前最先进的算法模 型在公共标准数据集上的测试结果仍然远远难以达 到实际工业现场应用的要求，因此未来仍需在 AI 视 觉分析方面做进一步技术研究和理论基础的提升。

       目前，煤矿安全生产视频 AI 识别关键技术已经 在我国的中煤集团王家岭煤矿、山东能源集团鲍店煤 矿、东滩煤矿等代表性煤矿进行了示范应用和推广，极大地推动了我国煤矿安全生产的进步和发展。由于 各个矿井生产环境及应用场景的不同，结合每个矿井 的自身独特工况条件和共性典型场景，笔者选取 5 个 典型应用场景介绍视频 AI 识别技术的应用情况。

        3.1 应用场景—：基于视频 AI 识别的人员标准化作 业行为监管系统 

        中煤华晋王家岭煤矿所构建的基于视频 AI 识别 的人员标准化作业行为监管系统通过多维度、多角度 的视频识别、分析及统计，可及时发现隐患，保障煤 矿安全生产制度落实，显著提升煤矿安全生产水平， 为安全生产提供决策支撑。系统由主控计算机、视频 智能识别分析装置、AI 服务器、矿用本安型摄像仪、 矿用本安型图像处理摄像仪、矿用本安型人脸识别摄 像仪和工业环网等组成，能够对如下场景进行监管： 

      （1）实现井下人员各种违章行为的智能识别， 如禁烟的要害场所内吸烟、井下未规范佩戴安全帽及 个人防护用品、岗位工班中脱岗或睡岗、进入盲巷或 划定的危险区域、违章乘坐矿车、斜巷行车不行人、 乘坐皮带、胶轮车闯红灯等。人员标准化作业行为监 管界面如图 11 所示。

图 11 人员作业行为监管画面

       （2）可以对变电所、水泵房等重要场所定期巡 检，监管主副井的定时验绳检修任务，以及对是否按 时执行任务进行精确识别，分析统计任务完成情况。 

       （3）电子围栏、危险区域检测，在指定区域的 所有出入口安装摄像仪，对进出的人员进行统计，实 现区域的闭合管理，超员报警，输出控制命令闭锁作 业设备；统计提升罐笼的人数，超员报警并输出提升 机闭锁命令；监管掘进工作面、综采工作面、防突、 卸压作业区域人数，并能够在超员情况下进行报警闭 锁。电子围栏、危险区域检测识别画面如图 12 所示。

图 12 电子围栏、危险区域检测识别画面

       3.2 应用场景二：基于视频 AI 识别的煤矿胶带运输智 能控制系统

        山东能源集团鲍店煤矿利用视频 AI 分析技术， 对主煤流运输系统的皮带煤量、异物、堆煤及跑偏进 行识别和分析，对实时煤量进行识别，进行智能调速 和运量统计，对危险区域闯入、皮带轴承及滚筒超温 进行监测，实现全煤流管控区域的视频检测、隐患的 智能报警闭锁，提高系统响应速度，提升煤矿安全智 能化管理水平。系统将视频识别分析、工业联动控制 等功能集成为一体，利用矿用本安型图像处理摄像 仪、AI 控制主机、远程控制设备等组成一个智能化、 多功能、全天候的动态视频智能识别系统。通过将机 器视觉分析识别与工业控制相结合，实现对矿井环境 及物品（设备）状态等的识别，并能联动煤矿井下运 输皮带等主要生产设备进行自动保护停机、智能调速 控制等。此外，系统可以精确识别皮带的煤量变化， 统计皮带的实时运煤量，对皮带进行精准调速，减少 设备磨损并能够降低能耗。此外，还可以识别皮带转 载点堆煤、皮带大块、锚杆、水煤、异物、皮带跑偏、 皮带撕裂、皮带架倒架、滚筒超温等异常情况，并能 够报警和控制皮带保护停机。皮带撕裂、异物识别、 跑偏及超温监测界面如图 13 所示。

图 13 皮带撕裂、异物识别、跑偏及滚筒超温监测画面

       3.3 应用场景三：基于视频 AI 识别的提升机高速首尾 绳智能检测系统

       基于视频 AI 识别的提升机高速首尾绳智能检测 系统通过视频 AI 识别完成提升机首绳、尾绳各种状 态分析、检测及预警，可替代人工查绳。首绳损伤检 测包括直径变化、捻距变化、钢丝绳外部损伤（断丝、 磨损、锈蚀）等；尾绳状态监控包括尾绳摆动异常、 尾绳脱落、尾绳散股、尾绳缠绕等。山东能源集团东 滩煤矿提升机首尾绳监测画面如图 14 所示。

图 14 东滩煤矿提升机首尾绳监测画图

       山东能源集团东滩煤矿基于图像处理与模式识 别技术，研发应用基于视频 AI 识别的提升机高速首 尾绳智能检测系统，可完成提升机首绳、尾绳各种状 态分析、检测及预警，替代人工查绳。系统投入后， 实现了提升机首尾绳全生命周期分析、隐患检测、预 警、存档及管理，改善了提升系统查绳效率和质量， 降低职工劳动强度，并进一步提升了煤矿行业的生产 效率和管理水平。系统主要由移动巡检装置、精密轨 道、图像处理工作站，工程师操作站等组成。移动巡 检装置运行于轨道上，通过预设位置，自动/手动运 行到待检测位置，进行智能检测。

        3.4 应用场景四：基于视频 AI 识别的掘进工作面安全生产管理及预警系统 

        基于视频 AI 识别技术建设掘进工作面安全生产 管理及预警系统示范点，能够实现以下功能： 

       （1）掘进工作面关键作业工艺过程监管：对掘 进工作面敲帮问顶、前探梁安装、背板结顶等关键作 业工艺过程进行智能识别监管，对违规行为进行抓拍 报警，并能够对掘进区域的人员数量进行统计，超员 报警并能闭锁设备。 

      （2）掘进机危险区域人员入侵识别：掘进工作 面智能视频识别及安全管理子系统能够与掘进机进 行联动控制，通过在掘进机工作的周围划定危险区 域，当识别到有人员闯入时，联动掘进机禁止启动或 控制掘进机停机，同时矿用本安型 AI 图像处理摄像 仪现场发出语音提醒和告警，其监控识别画面如图 15 所示。

图 15 掘进工作面智能视频识别及安全管理子系统画面

         3.5 应用场景五：基于视频 AI 识别的钻场智能管理系 统

         基于视频 AI 识别技术建立钻场智能管理系统示 范点，能够实现以下功能： 

       （1）依据钻孔施工管理要求，实现对瓦斯钻孔 施工地点、时间、施工单位、钻孔设计参数等数据信 息填报和审批，同时还可下达 AI 识别指令； 

       （2）采用云台球型摄像机作为 AI 分析摄像机， 井上调度人员可以通过客户端软件调整摄像机角度； 

       （3）采用深度学习技术自动计数验钻，降低劳 动管理强度，计数更准确；智能识别自动计数后可将 钻杆数量实时显示在操作盒上便于打钻人员实时查 看；通过将打钻视频与钻孔台帐关联，有效杜绝谎报 进尺、违章操作、打假孔；

       （4）系统能够将钻场的设计参数、施工过程参 数、施工人员等按照打钻过程需要记录在案，形成电 子文件存档，作为打钻管理的一部分；可自动统计出 日报表、月报表、统计报表、异常报表、钻杆计数报 表等，其系统识别界面如图 16 所示。

图 16 钻场智能管理子系统识别界面

        4.1 煤矿安全生产视频 AI 识别系统的难点问题 

       （1）针对煤矿安全生产的视频 AI 分析及识别关 键技术理论薄弱。一方面，现有应用于煤矿安全生产 监控的方法均为基于深度学习的有监督视频 AI 识别 算法，该类型算法需要大量样本对模型进行训练和优 化，而煤矿特殊工况下的安全隐患及事故样本较少， 如皮带撕裂、冒顶、片帮等，致使难以获得大量的样 本对模型进行升级和训练，导致该类型隐患事故的识 别精度极低。另一方面，基于深度学习的无监督视频 AI 识别算法虽然不需要大量的样本进行训练，但是 目前其技术理论尚不成熟，在识别精度和速度方面均 达不到煤炭工业现场实际应用的需求。因此，亟需在 基于深度学习的无监督视频 AI 识别关键技术及理论 方面进行突破和创新。

       （2）智能视频分析和识别终端规格模式不一、 应用场景混杂。现有智能终端所采用的核心板多种多 样，功耗、算力及适用的应用场景均不一致。当前所 采用的主流核心板有华为 Atlas 系列、百度 Edgeboard 系统以及基于海思、龙芯、汉芯等芯片所独立设计的。算力和功耗的不同致使智能终端的种类和应用场景 也差异较大。另一方面，现有的智能终端应用场景过 于混乱，并非所有的场景都需要采用智能终端，除一 些高速变化场景的监测和识别外，其它低速及固定缓 慢变化场景的监测则可通过后端进行分析和处理，该类型的场景传输所占用的带宽较低，且对于实时性的 要求并非特别高，采用此种方法不仅可以降低系统的 造价成本，且便于后台的更新升级和维护。 

      （3）各边缘计算节点及智能终端的接口协议与 云服务平台的通信兼容性差。现有的智能终端、AI 视频分析装置及边缘计算节点的通讯接口协议多样， 且数据的类型和模式也各有不同，致使云服务平台难 以快速地同各终端进行通信和数据交互。因此，一方 面需要规范和统一智能终端的接口协议类型，另一方 面需要开发多源数据融合和协议自动匹配的智能网 关，以同时促进云端与边缘端的协同感知交互。 

      （4）系统与其他煤矿智能化系统之间的联动能 力较差。目前基于视频 AI 识别的监测子系统与煤矿 其他监控子系统融合度还不够，缺乏完善的多系统融 合以及数据联动机制，导致煤矿智能化监控系统协同 性较差，无法最大程度上避免煤矿安全事故的发生。因此，对煤矿安全生产视频 AI 识别系统与其他智能 化系统的联动机制将成为未来一个主要的研究方向。 

      （5）系统数据库安全性较弱。目前主要采用在 云端通过数据库的形式存储海量的视频监控数据，这 种云端集中管理的方式很难保障监测数据传输和访 问的安全性。区块链[81]、网络信息安全与数据库技术 能够有效防止数据被篡改，同时也能够避免集中管理 模式的局限性和数据存储占比。因此，区块链、网络 信息安全与数据库技术在煤矿安全生产视频 AI 识别 系统上的应用，将成为未来的一个发展趋势。

      （6）煤矿安全生产视频 AI 识别的关键技术标准 体系、运行管理规范和安全规程体系仍需完善。尽管 目前煤矿安全生产视频 AI 识别系统已经在我国王家 岭、鲍店、东滩等上百座煤矿进行了应用，但是仍然 缺乏统一的系统建设和应用标准，尚未对煤矿安全生 产视频 AI 识别系统的运行管理规范、安全规程体系 和评价标准进行规定，使得很难大规模将系统应用推 广到我国其他煤矿中。因此，通过制定煤矿安全生产 视频 AI 识别系统的相关标准，实现对系统的示范应 用推广，是未来一个发展趋势。 

       4.2 煤矿安全生产视频 AI 识别系统的发展对策

       （1）加强煤矿视频 AI 识别关键技术及理论的研 究。加大对新样本图像生成方法中随机变换、随机扰 动等数据增强技术的研究，构建基于小样本学习与无 监督学习等多方式相结合的交叉复合识别模型，推动 煤矿智能化建设快速发展。 

       （2）建立规范、标准、适用性强、兼容性高的智能视频分析与识别终端应用新模式。依据应用场景 变化快慢、采集视频像素分辨率和摄像仪曝光频率高 低，划分出适用性强、兼容性高的煤矿智能视频分析 与识别终端的标准新规格，促进智能终端的规划化和 便捷化应用。 

        （3）深化煤矿视频 AI 感知数据融合通信与云- 边-端协同决策的关键技术理论。针对上小节问题（3） 和（4）的难点，加强对多信号制式汇集、多源异构 信息统一描述、协议特征自动匹配等关键技术的研 发，研制多源数据高效融合与协议自动匹配的智能网 关，并在决策端构建完善的专家决策系统和与优先权 判断机制，实现云-边-端之间数据与决策的互联互通。 

       （4）加快视频数据结构化、网络信息安全、区 块链等新技术的攻关。深入研究视频数据结构化、信 息密码学与区块链技术，开发可靠的数据结构与数据 库系统新构架，建立网络自动扫描与入侵检测等主动 式防攻击新策略，并降低海量视频数据的存储占比。 

      （5）建立健全煤矿安全生产视频 AI 识别体系建 设标准。加快煤矿视频 AI 识别系统共性标准的制修 订，优化完善关键技术标准体系、运行管理规范和安 全规程体系，形成统一、规范、完善的煤矿煤矿安全 生产视频 AI 识别体系标准，推动煤矿智能化建设的 高质量发展。

       1） 煤矿安全生产视频 AI 识别关键技术是煤矿 安全隐患监测及预警的“大脑”，以边缘计算、大数 据分析、云服务、工业互联网、集成电路设计与智能 感知终端等技术与装备为核心，实现对煤矿井下重大 风险与隐患的精准辨识和快速决策。 

        2） 煤矿安全生产视频 AI 识别系统的建设实现 对煤矿“人-机-环”的安全监测和协同管控预警，构 建面向智慧矿井 “广覆盖、早感知、深融合、自辨 识、准预判、全管控”的工业互联网应用平台新体系 和新理念。 

        3） 视频 AI 识别系统的建设是人工智能与智慧 矿井建设的深度融合，是促进煤矿实现精准开采与安 全、绿色、高效、可持续发展的必由之路。

参考文献（略）

来源：煤炭科学技术2022-0359