©煤冰科教手艺2022-0359
煤矿宁静消费视频 野生智能AI 辨认枢纽手艺研讨综述
程德强 1，钱建死 1，郭星歌 1，寇旗旗 2，缓翱翔 1，瞅军 3，下亚超 3，赵金降 3
(1. 中国矿业年夜教 疑息取掌握工程教院，缓州 221166；2. 中国矿业年夜教 计较机科教取手艺教院，缓州 221166；3. 华洋通讯科技股分有限公司，缓州 221166)
基金项目
国度重面研收方案项目(2022YFC0808302)；国度天然科教基金赞助项目（51774281）
做者简介
程德强(1979—),男,汉族,河北洛阳,传授,专士死导师,专士。Tel：0516-83590819，E-mail：chengdq@cumt.edu.cn
择要：煤冰是我国产业化历程中的根底机能源，且以煤为主的能源构造将持久存正在，煤矿宁静消费视频陈述取辨认手艺是保证我国煤矿智能化建立战煤冰产业下量量开展的中心手艺支持。为了实时对煤矿井下宁静隐患停止及时监测战预警，视频 野生智能AI （Artificial Intelligence，野生智能）辨认枢纽手艺曾经成为煤矿宁静消费范畴的研讨热门。本文论述了我国煤矿智能化建立过程当中宁静监测取监控的开展近况，陈述了当前矿井视频监控取宁静隐患辨认预警存正在的服从低、呼应缓、结果好等成绩，分离计较机视觉、边沿计较、年夜数据处置、云效劳、智能末端等先辈手艺手腕、停止了煤矿宁静消费视频野生智能AI 辨认的顶层设想，提出了 煤矿“人-机-环”齐域视频 野生智能AI 感知的“云-边-端”协同计较体系架构，构建了视频辨认端节面传感器、边沿计较装备、视频辨认 场景云效劳使用系统，明白了智能辨认取预警联动掌握呼应机造，买通了“云-边-端”疑息交互感知取联动掌握数据链，完成了 数据同享联动战预警协同。同时，环绕矿山“人-机-环”齐域 野生智能AI 视觉疑息智能感知战齐息泛化现象仄台的构建，梳理了矿井宁静隐患视觉感知及辨认预警的手艺处置流程，归结了 野生智能AI 辨认过程当中的各种预处置-加强-重修-检测-辨认办法的长处战缺陷，明白了煤矿宁静消费视频 野生智能AI 辨认枢纽手艺开展的支流标的目的战趋向。其次，笔者分离王家岭煤矿、鲍店煤矿等代表性矿井的使用案例， 树模展现了煤矿宁静消费过程当中实践典范使用场景等圆里的近来停顿战使用结果。最初，针对煤矿宁静消费视频 野生智能AI 辨认枢纽手艺的特性，总结了现有煤矿宁静消费视频野生智能AI 辨认体系存正在手艺实际单薄、智能末端规格纷歧且使用场景紊乱、数据兼容性及联动闭环才能较好、数据库宁静性较强、评价机造没有同一、使用尺度没有完美等成绩，指清楚明了前沿的开展标的目的是增强对视频 野生智能AI 辨认枢纽手艺及实际的研讨，成立健齐智能末端装备规格及合用系统，构建尺度同一、机造完美、及时互联、静态猜测、协同掌握、 宁静牢靠的煤矿疑息多维度自动感知新形式战产业互联网使用仄台，逐渐构成齐矿井齐息泛化的下粗度智能感知场，完成对井 下“人-机-环”齐域视频疑息的粗准感知战伤害源协同管控。
枢纽词：煤矿宁静消费；视频 野生智能AI 辨认；体系架构；图象加强；目的检测；使用场景
0引 行
我国事天下上最年夜的煤冰消费国战消耗国，以煤 为主的能源构造是我国能源资本赋存近况的一定选 择，并将持久存正在[1,2]。煤冰消费常常遭到瓦斯、火、 水、顶板等天然灾祸的要挟，当碰到矿井突收变乱， 因为井下功课职员状况没有明、视频收集不顺畅、通讯脚 段单一，常常形成疑息欠亨、批示没有灵、数据禁绝， 极易形成变乱丧失的扩展[3,4]。国度的“十四五”规 划中，倡导经由过程自立立异、散成立异的形式鞭策煤矿 严重灾祸防治枢纽手艺的研讨[5]。正在煤矿宁静消费的 过程当中，空中批示中间取井下各个事情里的及时通讯 相当主要，假如能对煤矿井下现场的视频疑息停止快 速监测战陈述，并将陈述成果及时传收到空中监控战 批示中间，可提早陈述战预判煤矿消费过程当中的突收 非常状况，并正在突收变乱发作时有用收缩突收变乱响 应工夫，关于提拔煤矿宁静消费程度具有主要意义。
煤矿井下视频监控体系曾经正在今朝的许多煤矿 中获得了普遍使用，经由过程伤害地区下的宁静监测取联 动掌握，将职员从伤害的情况中束缚出去，不只进步 了煤矿宁静消费的保证才能，也可进步矿井天然灾祸 的监测预警程度[6]。可是，跟着煤矿疑息化水平的没有 断进步，现有的煤矿井下视频监控体系仅仅起到了井 下视频场景的显现战监控感化，关于职员背章、情况 参数非常、装备事情形态等状况借需求监控中间职员 的阅读战辨认[7-9]。正在实践的井下消费过程当中，仅仅 依托人力的肉眼察看易以保证煤矿宁静消费万无一 得[10]。比年去，固然有大批的视频 野生智能AI 陈述取辨认圆 法被提出并被使用正在一样平常糊口取消费中，可是煤矿井 下野生情况惨淡、采挖事情里粉尘年夜、图象/视频采 散末端成像分辩率恍惚、颜色辨识度低、前后景比照 度好、电磁情况庞大等身分，招致常常呈现少检、漏 检等征象[11]。同时，现有的煤矿宁静消费视频 野生智能AI 识 别体系构架没有浑、辨认算法及模子正在煤矿井下庞大情况合用性没有明等成绩又以致煤矿企业所构建的宁静 消费视频监控体系架构紊乱、功用没有齐、形式单一。别的，正在呈现告警及告急非常状况时，事情职员的反 应速率也严峻影响了煤矿应慢处置的速率战安死死 产服从。因而，为了实时对煤矿井下宁静隐患停止识 别战预警，视频 野生智能AI 辨认枢纽手艺曾经成为煤矿宁静 消费范畴的研讨热门。
本文起首环绕我国现有煤矿宁静消费视频 野生智能AI 识 别体系架构的开展近况，具体比照战论证陈述其劣缺 面，并停止了煤矿宁静消费视频 野生智能AI 辨认体系架构的 顶层设想。其次，梳理了矿井宁静隐患视觉 野生智能AI 辨认 过程当中的预处置、检测及辨认办法范例战特性，明白 了煤矿宁静消费视频 野生智能AI 辨认枢纽手艺开展的支流圆 背战趋向。然后，针对代表性矿井的典范使用场景， 具体展现了其功用完成内乱容战使用效果。最初，指明 了现有的煤矿宁静消费视频 野生智能AI 辨认枢纽手艺易面及 前沿开展对策，并对齐文停止了归结战总结。
1煤矿宁静消费视频 野生智能AI 辨认体系架构
设想明晰明白的视频 野生智能AI 辨认体系架构是包管煤 矿消费建立沿着宁静、下效、加人降耗、绿色、低碳 标的目的开展的主要前提。视频 野生智能AI 辨认体系应能完成对 职员、机械、情况等监控视频停止智能陈述，下效存 储战交互数据疑息及模子，粗准辨认各类宁静隐患战 变乱风险，及时感知煤矿齐局宁静态势，完成告警取 非常变乱处置流程，并完成取煤矿其他相干子体系的 联动取协同，从而进步煤矿宁静办理程度战服从，对 于煤冰无人（少人）可视化粗准开采战智能化建立具 有主要的研讨意义战使用代价。
杨传印[12]成立了煤矿视频 野生智能AI 辨认体系，次要由 前端视频 野生智能AI 辨认陈述层、收集传输层、后端办理层 等构成。前端视频 野生智能AI 辨认陈述层次要完成对职员、 机械、情况等监控视频数据的收罗取处置，收集传输 层次要经由过程煤矿光纤产业环网+5G/WIFI 将视频数据
传输给后端办理层，数据的汇总、处置和体系使用 层里的开辟均正在后端办理层。张华等人[13]构建了包罗 接进层、收集层、数据层、使用层、表示层战用户层 的体系架构，并基于视频 野生智能AI 辨认手艺设想了煤矿安 齐疑息办理体系，完成了装备形态辨认、主要岗面智 能辨认、井下情况身份辨认、煤矿风险预警陈述等功 能。杨超宇等人[14]构建了包罗装备感知层、陈述引擎 层、数据中间层战使用效劳层的体系架构，设想了煤 矿宁静监控视频 野生智能AI 辨认体系，完成了非常举动目的 检测、举动辨认、监控疑息办理等功用。张坐亚[15] 构建了矿山智能视频陈述体系，次要由前端视频感知 子体系、收集传输子体系、后端办理子体系等构成， 如图 1 所示。前端视频装备将监测数据经由过程收集传输 给后端办理子体系，然后同一对其停止陈述处置。
颠末归结战陈述能够发明：上述研讨次要是将视 频监控数据同一传输到云效劳器中停止陈述处置，虽 然云效劳器计较战存储资本壮大，但疏忽了视频传输 及处置过程当中的占用带宽下、传输服从好、呼应速率 缓、提早工夫少等成绩。一圆里，海量视频特别是下 暴光产业相机收罗的视频正在传输时将占用极下的网 络带宽，且视频正在收集传输的过程当中借存正在电磁干 扰、噪声、传输介量等圆里的影响而招致疑息得实甚 至丧失的征象发作。另外一圆里，海量视频监控数据也 使得云效劳器正在对其停止处置时不只需求大批的时 间，且将成果从传输、陈述、判定、决议计划、反应的整 个历程借会发生较少的工夫提早，使得视频监控体系 没法及时静态呼应煤矿消费中所呈现的宁静隐患。比方：正在带式运送机运煤时对年夜块及锚杆等同物的检测 过程当中，因为皮带的运转速率较快，一般的收集摄像 机正在视频收罗过程当中常由于暴光频次不敷而招致获 与的视频帧存正在真影、恍惚没有浑等状况发作。而接纳 下暴光产业相机固然能够获得明晰的视频流，可是其 所占用的带宽也呈指数上降，不单占用极下的带宽且 传输工夫较少。别的，经由过程云效劳器停止后端陈述战 处置的全部历程也会发生较少的工夫提早，没法第一 工夫辨认出该隐患并给出协同联动掌握旌旗灯号，招致当 检测到锚杆等同物划伤以至扯破皮带被发明时，已使 得皮带被严峻少间隔毁伤。因而，仅仅基于云效劳器 对视频数据停止处置很易满意煤矿宁静消费 野生智能AI 视频 体系对及时性较下的请求。边沿计较[16,17]经由过程将云服 务器中的数据间接正在边沿端停止处置，可以减缓云服 务器的处置压力，处理云计较所呈现的延时成绩，并 正在煤矿监控范畴获得了普遍的使用[18-20]。别的，海内 中教者分离云计较战边沿计较的特性，提出了基于云 -边-端协同的煤矿监控体系架构[21-24]。
李敬兆等人[21]提出了基于边云协同的煤矿井下 及时视频处置体系，如图 2 所示，次要包罗边沿计较 层、数据传输层战云计较层，此中边沿计较卖力处置 及时性强的视频目的辨认使命，云计较卖力处置计较 量年夜且及时性强的边沿装备整开等使命。同构交融网 络经由过程散成煤矿中的有线、无线等多种收集情势，将 边沿计较中的当地视频数据上传给云计较层，同时云 计较层可以将新锻炼的模子传输给边沿计较，完成边 缘计较层战云计较层之间的数据交互。该体系分析了 边云协同处置的视频陈述形式，可以完成对呼应水平 较下的场景停止及时陈述取辨认。可是其构架尚短少 对末端层（感知层）战使用层的具体陈述战论证，且其边沿计较层战云计较层所触及的枢纽中心手艺也已给出明白的构成身分战功用模块。
陈晓晶[22]构建了云-边-端协同的煤矿火警智能 化防控体系架构，并陈述了煤矿火警防控系统中云- 边-端三层之间的对峙同一干系。伸世甲等人[23]提出 了基于云-边-端三级的煤矿监测监控系统架构，并删 减了“端”侧传感疑息的收罗。姜德义等人 [24]里背聪慧矿山提出了边云协同计较手艺架构，如图 3 所示， 此中云计较卖力处置非及时、少周期战营业决议计划数 据，边沿计较处置及时性、短周期战当地决议计划数据。该架构将体系分为装备层、传输层、效劳层战使用层， 完成云计较数据战边沿计较数据之间的及时交互。
上述研讨是针对全部矿山六年夜体系的宁静监测 战监控，且装备层已指明末端层应具有散布式计较战 智能感知的特性，使用层的使用场景战现象仄台也没有 够完美战分明。同时，尚短少里背煤矿宁静消费视频 野生智能AI 辨认的具体体系构架，使得体系从末端智能感知 层、毗连层、边沿计较层、云效劳层、使用层构成完 整的数据链战产业互联网使用系统。
矿山“人-机-环”齐域 野生智能AI 视觉疑息感知加强现 真实际研讨中将职员、机械、情况看做一个体系的三 大体素，正在深化研讨三者各自大息表达的根底上，借 鉴于前人对云-边-端协同感知计较体系的研讨，笔者 提出了煤矿人-机-环齐域视频 野生智能AI 感知的云-边-端协 同计较体系架构，如图 4 所示。
该体系构建了视频辨认端节面传感器、边沿计较 装备、视频辨认场景云效劳使用系统，提出了智能识 别取预警联动掌握呼应机造，买通了人-机-环疑息交 互感知取联动掌握数据链，完成了数据同享联动战预 警协同，构成了片面感知、及时互联、陈述决议计划、自 主进修、静态猜测、协同掌握的煤矿宁静羁系多维度 自动感知新形式战产业互联网使用仄台。
根据各个环节本身属性战功用的差别，煤矿人- 机-环齐域 野生智能AI 视频辨认的云-边-端协同计较体系构架 又能够分为以下几个层里：
（1）使用层：该层体系的建立供给全部矿山的 智能监控宁静预警，包管矿山的消费宁静，预警品种 包罗职员非常、情况隐患等三背羁系战采、挖、运智 能监测取掌握。完成视频及时监控、分级权限办理、 告警视频与证、数据分类统计、装备运维办理、各种 图象辨认非常变乱的处置，及时监控全部变乱闭环业 务处置流程，包罗变乱领受、上报、处置、状况跟踪 战成果反应。别的，该层借为第三圆体系供给了相干 的同享数据接心效劳，供给体系扩大取散成才能。
（2）效劳层：该层包罗假造化办理、背载平衡、 容灾撑持、监控仄台和弹性资本分派。公有云仄台 经由过程假造化等手艺撑持，完成了团体体系易于弹性伸 缩、程度拓展，提拔运维服从，保证体系团体的宁静 下效性，体系聚集感知层末端战边沿计较引擎获得的 数据，经由过程数据洗濯战陈述，为营业使用层供给情况 监控、装备监控、职员监控、挪动推收、短疑、装备 办理、分级数据和综开联动掌握等各项支持性战功 能性效劳，终极构建构成及时陈述、自立进修、静态 猜测、预警决议计划、协同掌握的煤矿视频自动辨认预警 战智能化联动新形式。
（3）边沿计较层：该层经由过程各个边沿计较节面 对各种末端获得视频疑息中的及时性下、短周期战本 天决议计划数据停止散布式计较战处置，保证对宁静隐患 的陈述间接正在边沿端停止判定并给出成果疑息，同时 借领受去自云效劳端更新好的模子停止减载战并止 计较，完成监控末真个装备愈加下端化战智能化。
（4）末端层（感知层）：该层体系所包罗的智 能监控末端装备散布正在各采煤取挖进事情里、运输主 巷门路、泵房、变电站等处，为体系供给相似“神经 元”的感知才能，搜集诸如职员误进、搭车背章、皮 带扯破、堆煤、跑偏偏等根底情况战职员举动构造化数据。同时供给云端取各感知层子体系之间的体系毗连 才能，供给 WebSocket、Socket、Http/Https 和 Modbus-TCP 等和谈的毗连战办理才能、买通宁静的 数据传输通路。
（4）毗连层：该层次要是接纳有线、无线及两 者相分离的方法，次要经由过程 4G、5G、WiFi6、光纤、 电缆等方法完成各个数据层的通讯取交互，包管了系 统云端效劳取感知及决议计划联动体系间的单背及时通 疑的下效性战团体性。
2煤矿庞大情况下的视频监控目的检测战辨认办法
正在矿井狭少巷讲内乱，人制光源照明没有平均、下尘 雾[25]、庞大电磁情况滋扰、机载挪动视面或监测目的 地位静态变革时，使得监控目的正在成像时存正在过暴光 取强暴光、图象边沿恍惚、颤动拖影、真影等征象[26]， 严峻影响对其枢纽特性疑息的提与战陈述，进而呈现 误报率战漏检率较下的成绩。因而，分离煤矿人-机- 环特别工况前提及边沿计较需供，开辟出合用于煤矿 庞大情况的沉量级图象预处置手艺是完成宁静隐患 及时感知取粗准辨认的先决前提。
2.1 煤矿井下图象预处置手艺
正在视频 野生智能AI 陈述及辨认中，视频帧正在输进算法处 理前的量量上下间接影响着后绝初级图象处置使命 的粗度战结果。而预处置则是经由过程数字图象处置手艺 消弭图象中的滋扰以至无闭疑息，规复、加强大概重 建相干的有效疑息，从而最年夜限度天提与特性明显、 鲁棒、简约的疑息。图象预处置手艺按照办法战道理 的差别次要分为回复复兴法、加强法战超分辩率重修法。
2.1.1 基于图象回复复兴手艺的预处置
基于图象回复复兴手艺的预处置办法次要经由过程暗本 色先验战年夜气鼓鼓集射模子的图象处置办法对矿井降量 图象停止加强。张开华等人[27]基于暗本色先验常识获 与了年夜气鼓鼓光参数战细透射图，并经由过程单边滤波办法真 现了对煤矿图象的加强。王启明等人[28]分离插值法战 滤波得到细透射图，并经由过程强化细透射图边沿，完成 对煤矿井下情况的图象加强。但是上述办法疏忽了噪 声对降量图象的影响。
2.1.2 基于图象加强手艺的预处置
图象加强手艺按照加强处置历程地点的空间没有 同能够分为基于空间域战基于频次域的图象加强。
（1）基于频次域的图象加强
基于频次域的图象加强是将空间域的图象经由过程 傅里叶变更转化为频域停止处置，不只能够愈加曲不雅 天陈述图象的频次、幅值战相位身分，正在加小计较量 的同时借能够愈加下效天完成图象的来噪、紧缩、来 雾等一系列加强。按照频次域滤波器属性的差别，频 率域滤波又能够分为下通滤波、低通滤波和同态滤 波。应东杰等人[29]基于小波变更对图象停止合成，然 后操纵曲圆图平衡化对低频疑息停止处置,完成对图 像的加强。处置成果较好天加强了图象细节疑息，从 团体上改进了图象结果。范凌云等人[30]分离曲圆图匹 配办法战小波变更，完成了对煤矿情况中恍惚图象的 加强。范伟强等人[31]基于小波变更将矿井降量图象分 解为低频子图战下频子图，经由过程贝叶斯法自顺应调解 小波阈值函数，完成了对煤矿庞大光照前提下视频监 控体系中图象的加强。虽然上述频域变革办法经由过程调 节小波合成后的下频战低频子图，从而可以完成对煤 矿视频监控体系的图象加强，但该办法并已完成对低 频疑息的处置，招致没法很好天改进图象明度。
（2）基于空间域的图象加强
基于空间域的图象加强按照处置工具的形式没有 同能够分为面运算战部分运算，此中面运算又能够分 为灰度变更、曲圆图平衡化、回一化战部分统计法等。部分运算也被分为图象光滑战图象钝化两年夜类，经常使用 于对图象的各类来噪、抗光照战来雾加强。曲圆图均 衡化[32]是典范的基于空域变更的图象加强算法，但容 易受噪声的滋扰，呈现图象过加强征象。今朝，海内 中教者次要基于 Retinex 算法研讨基于空域变更的图 像加强办法[33]。Retinex 算法的道理是低落图象反射 光的影响，从而提拔图象的实在感[34]。正在 Retinex 算 法的根底上衍死出了多种改良算法：单标准 Retinex 算法[35]、多标准 Retinex 算法[36,37]战带有色彩庇护的 多标准 Retinex 算法[38-40]。笔者提出了基于指导滤波 的单标准 Retinex 算法，完成了对煤矿井下的图象删 强[41]。单标准 Retinex 算法虽然庞大度低，但明度改 擅有限，并且参数很易停止挑选。为了克制上述成绩， 教者们提出了多标准 Retinex 算法，但该办法将放年夜 噪声。带有色彩庇护的多标准 Retinex 算法可以处理 噪声战部分细节得实成绩，但运转处置速率较缓。
为理解决多标准 Retinex 算法存正在的范围性，教 者们开端测验考试将小波变更办法、单边滤波实际等取 Retinex 算法停止有机分离。唐守峰等人[42]分离小波 变更取多标准 Retinex 算法，提出了煤矿井下低照度 图象加强算法（如图 5 所示），处理了多标准 Retinex 算法的噪声放年夜成绩，有用提拔了图象边沿细节连结结果。张坐亚等人[43]提出了一种煤矿井下图象加强圆 法，起首将图象由 RGB 空间转换到 HSV 空间，并通 过交融单边滤波实际取多标准 Retinex 算法，完成对 图象的加强，提拔了粉尘战低照度等前提下煤矿视频 图象的结果。Du YX 等人[44]提出了一种基于 Retinex 实际战小波多标准的矿山图象加强算法，尝试成果表 明该算法具有及时性强战粗度下的特性，合用于低照 度矿井的图象加强。
2.1.3 基于图象超分辩率重修的预处置
针对井下特别情况，招致的图象细节恍惚，特性 疑息丧失成绩，海内中机构测验考试接纳下粗度的装备采 散装备，经由过程进步前端相机传感器像素粗度去改进传 输到中心处置器的视频疑息分辩率，可是其本钱极 下，且其没法抑止果收集传输带脱期造而招致的图象 降诘责题。图象超分辩率重修算法经由过程提拔矿井低分 辨率图象的量量，完成对图象的加强，获得了海内中 教者的普遍存眷取研讨。
图象超分辩率重修办法次要有插值法、重修法战 进修法，如图 6 所示[45]。插值法次要包罗近来邻域插 值法、单线性插值法、小波变更插值法等[46-48]，经由过程 图象插值办法可以得到光滑的重修图象，但易受噪声 滋扰，也简单丧失细节。重构法经由过程多幅低分辩率图 像取已知下分辩率图象，提与所需求的图象特性疑息 并停止图象重构[49]。比拟插值法，重修法可以进一步 进步图象量量，但简单遭到先验疑息的限制[50]。
跟着深度进修手艺的开展，基于进修的图象超分 辨率重修办法也获得了普遍的存眷，其结果较着劣于 插值法战重修法[51-53]。进修法的中心是从图象样本库 中进修到低分辩率战下分辩率图象之间的映照干系， 从而完成对图象的超分辩率重修[54,55]。宋玉龙[56]提出 了一种单通讲反应残好收集重修算法，完成对矿井图 像边沿细节的重修，很好天规复了矿井图象的边沿特 征。里背煤矿宁静消费视频 野生智能AI 辨认体系，笔者提出 了基于深度残好收集的单图象超分辩率重修办法[57]。正在此根底上，笔者又提出了一种基于多通讲递回残好 进修的图象超分辩率重修办法[58]，其收集构造如图 7 所示。该办法次要包罗特性提与战图象重修两部门， 操纵递回办法将残好收集块停止复用，引进一种穿插 进修机造，加快差别通讲特性疑息交融，然后收罗并 交融差别卷积核下的特性疑息，一同输进到共用的重 建收集中，完成对降煤心战皮带的同物图片的重修， 使得图象愈加明晰、细节疑息更多，进步了煤矿宁静 消费视频 野生智能AI 辨认体系对人-机-环等宁静隐患的检测 粗度。该图象超分辩率重修办法不只可以处理矿井下 收罗到图象像素较低的成绩，借能处理图象重修历程 中较浅收集的图象特性疑息简单丧失的成绩。
2.2 矿井庞大场景下非常宁静隐患检测取辨认手艺
煤矿井下煤灰及粉尘浓度年夜、颜色辨识度低、前 后景比照度好，招致布景疑息常被误检为目的及远景 目的被漏检等成绩发作，使得对非常宁静隐患的辨认 易度年夜年夜增长。因而，研讨里背矿井庞大情况下的目 标检测取辨认办法对完成宁静隐患的粗准感知战识 别预警相当主要。
2.2.1 基于视频 野生智能AI 陈述的目的检测手艺
传统的目的检测算法次要有帧好法[59,60]、光流法 [61,62]战布景好分法[63]等，但帧好法对噪声敏感，光流 法却对光源敏感。因为煤矿情况光照不敷、粉尘年夜、 噪声年夜等缘故原由，传统帧好法战光流法很易合用于煤矿 情况的目的检测。今朝，次要基于布景好分法对井下 目的停止视觉检测。张开华[64]提出了基于散类手艺的 煤矿视频监控情况布景建模办法，并经由过程散类修正战 删除的方法静态更新布景，并且分离像素明度战纹理 特性对活动目的停止检测。郭海涛等人[65]提出了基于 改良下斯混淆模子的布景好分法，完成了对煤矿井下 视频目的的检测，并取传统混淆下斯算法战三帧好分 法的尝试成果停止了比照陈述，成果表白改良下斯混 开模子进步了噪声抑止才能、算法处置速率战检测粗 度。但是，固然上述算法对煤矿视频目的停止检测与 得了没有错结果，但仍旧存正在拖影、噪声年夜等征象，而 且模子更新中牢固稳定的阈值招致计较速率变缓。
跟着深度进修手艺的开展，海内中教者逐步将深 度进修使用到了煤矿情况视频目的的检测范畴。许鹏 [66]基于 Fire-Dense-YOLO 算法对煤矿井下皮带同物 停止了检测，研讨了进步检测粗度的影响身分，并取 YOLO-V3-Tiny 检测算法停止了尝试比照陈述，成果 表白所提办法正在计较量、及时性取粗度上均劣于 YOLO-V3-Tiny 检测算法，完成了对煤矿井下皮带同 物的粗准检测。胡璟皓[67]提出了丧失函数战数据加强 改良办法，对 YOLO-V3 检测算法停止了改良，完成 了对带式运送机非煤同物视频目的的检测。为理解决 煤尘、光照没有均等滋扰形成运送带同物目的图象检测 结果欠安的成绩，郝帅等人[68]提出了一种交融卷积块 留意力模子的 YOLOv5 目的检测算法（如图 8 所示）， 并以某煤矿运送带的视频监控数据停止了尝试测试 陈述，取 YOLOv3、YOLOv4 战 YOLOv5 目的检测 算法比拟，所提算法具有最下的同物检测粗度。但是， 固然上述基于深度进修办法的检测结果要劣于传统 算法，可是正在收集模子的参数目、及时性战辨认粗度 圆里仍旧亟需获得明显的提拔。
笔者地点团队也基于深度进修手艺对目的检测 办法停止了大批研讨[69]，并将所提办法使用到了煤矿 情况视频 野生智能AI 辨认体系中。针对矿井庞大情况下前后 景比照度低、目的特性疑息没有较着所招致的误检、漏 检，和基于深度进修的收集模子参数目年夜、及时性 好的成绩，笔者提出了一种用于运煤皮带同物检测取分类的交融残好疑息沉量级收集[69]，其团体的收集结 构如图 9 所示。为了加强对细节疑息的特性提与能 力，该收集接纳改良的残好构造做为根本特性提与单 元；别的，经由过程接纳穿插进修机造战特性拼接的疑息 交融方法以获得差别标准的特性疑息，正在进步特性利 用率的同时，借增长了本初特性的表示力；同时，该 办法借正在粗简疑息交融收集构造的同时增长了疑息 交融收集的个数，并经由过程增长更多的权重去停止更详 细的特性表达，从而有用天进步了收集的扩大性。正在 收集前背传布时，又经由过程对丧失函数停止丧失阈值处 理，改进了测试散丧失函数降低的成绩，进而加强所 提出收集的泛化性。最初，经由过程将该文所提出的收集 模子取当前支流办法正在构建的煤矿数据散战大众标 准数据散长进止实验战陈述，成果表白该收集模子正在 粗度获得有用进步的同时，模子的参数目战计较耗时 也获得了较着天低落。
2.2.2 基于视频 野生智能AI 陈述的目的辨认手艺
因为色彩疑息的活动目的辨认常常遭到非均 匀照明、类似色彩滋扰、辨别度低等多重身分的影 响，且单一色彩特性不克不及很好天形貌战辨认活动目 标。为此，教者们提出了将色彩疑息取纹理疑息相 分离的办法[70,71]，进步目的辨认粗度。别的，部门 教者将色彩战纹理疑息交融办法逐步使用到了煤 矿情况的目的辨认范畴。Huadong Zou 等人[72]提出 了灰度共死矩阵的纹理特性辨认办法，对煤矸石块 体战刮痕矸石块体停止了辨认，尝试测试成果表白 所提办法具有优良的辨认粗度。王超级人[73]起首分 析煤块取岩石纹理存正在的差别性，然后天生煤块取 岩石图象的灰度共死矩阵，并提掏出煤岩图象纹理 特性参数，最初完成对煤岩的辨认。
针对煤矿井下目的的色彩疑息易感染煤灰以 及受没有平均光照滋扰战下噪声影响招致误检、漏检 率较下的成绩，笔者地点团队提出了一种基于色彩 战纹理疑息的活动目的辨认安装及办法[73]，办法主 要包罗图象预处置模块、特性提与模块、特性交融 模块战目的辨认模块，详细流程如图 10 所示。尾 先对输进图象停止中值滤波以消弭噪声的影响，然 后别离将图象转换成合适于色彩纹理特性提与的 构造形式；再对转换后的 HSV 空间中的 H 战 S 分 量停止提与，同时对转换后的灰阶图象中的多少表 里直率停止提与战编码，并将编码成果取典范的 LBP 编码停止纹理特性疑息的交融，别离接纳 Bhattacharrya 系数战卡圆间隔查对两种提与的特 征疑息停止类似性襟怀，并把供得的类似度背量进 止回一化后特性交融；最初用最临近分类器停止目 标婚配战辨认，从而完成庞大情况下目的的下粗度 辨认战感知。
跟着深度进修手艺的开展，孙彦景等人[75]分离动 态留意力机造取多层感知卷积神经收集，提出了里背 煤矿庞大情况下的职员举动辨认办法，处理了煤矿监 控视频恍惚且职员举动庞大等身分影响下目的辨认 粗度低的成绩。Jianping Yang 等人[76]设想了一个自适 应的交融单位，用于交融多个条理特性战卷积神经网 络中的留意力机造，完成对煤矸石的辨认。刘浩等人 [77]里背煤矿人-机-环庞大情况，提出了基于 OpenPose 神经收集的人体枢纽面辨认办法，并操纵 YoloV3 神 经收集对装备取情况停止辨认，同时基于 ST-GCN 神 经收集对没有宁静举动停止辨认。王伟峰等人[78]基于 YoloV5 神经收集提出了矿井火警视频图象的辨认圆 法，进步了矿井火警的辨认粗度。圆崇齐等人[79]经由过程 所构建的深度神经收集模子完成了对煤矿井下职员、 煤流等特性没有明显目的的视频智能辨认，进步了皮带 机巡检机械人的辨认粗度。笔者基于改良深度残好网 络提出了图象辨认分类办法[80]，完成了对煤矿井下煤 矸的辨认取分类，低落了图象实践噪声对图象量量的 影响。但是，上述基于深度进修的办法是接纳有监视 方法经由过程大批的样本锻炼以获得鲁棒的辨认模子，而 煤矿庞大工况下的部门严重变乱隐患样本少少，招致 对部门场景如皮带扯破、冒顶、片帮、涌火等严重事 故的监测粗度仍旧较低。而无监视的进修方法固然没有 需求大批的样本停止锻炼，可是当前开始进的算法模 型正在大众尺度数据散上的测试成果仍旧近近易以达 到实践产业现场使用的请求，因而前沿仍需正在 野生智能AI 视 觉陈述圆里做进一步手艺研讨战实际根底的提拔。
3煤矿宁静消费视频野生智能AI辨认典范使用场景
今朝，煤矿宁静消费视频 野生智能AI 辨认枢纽手艺曾经 正在我国的中煤团体王家岭煤矿、山东能源团体鲍店煤 矿、东滩煤矿等代表性煤矿停止了树模使用战推行，极年夜天鞭策了我国煤矿宁静消费的前进战开展。因为 各个矿井消费情况及使用场景的差别，分离每一个矿井 的本身共同工况前提战共性典范场景，笔者拔取 5 个 典范使用场景引见视频 野生智能AI 辨认手艺的使用状况。
3.1 使用场景—：基于视频 野生智能AI 辨认的职员尺度化做 业举动羁系体系
中煤华晋王家岭煤矿所构建的基于视频 野生智能AI 辨认 的职员尺度化功课举动羁系体系经由过程多维度、多角度 的视频辨认、陈述及统计，可实时发明隐患，保证煤 矿宁静消费轨制降真，明显提拔煤矿宁静消费程度， 为宁静消费供给决议计划支持。体系由主控计较机、视频 智能辨认陈述安装、野生智能AI 效劳器、矿用本安型摄像仪、 矿用本安型图象处置摄像仪、矿用本安型人脸辨认摄 像仪战产业环网等构成，可以对以下场景停止羁系：
（1）完成井下职员各类背章举动的智能辨认， 如禁烟的关键场合内乱抽烟、井下已标准佩带宁静帽及 小我私家防护用品、岗亭工班中脱岗或睡岗、进进盲巷或 规定的伤害地区、背章乘坐矿车、斜巷止车不可人、 乘坐皮带、胶轮车闯白灯等。职员尺度化功课举动监 管界里如图 11 所示。
图 11 职员功课举动羁系绘里
（2）能够对变电所、火泵房等主要场合按期巡 检，羁系主副井的按时验绳检验使命，和对能否按 时施行使命停止准确辨认，陈述统计使命完成状况。
（3）电子围栏、伤害地区检测，正在指定地区的 一切收支心装置摄像仪，对收支的职员停止统计，真 现地区的闭开办理，超员报警，输出掌握号令闭锁做 业装备；统计提拔罐笼的人数，超员报警并输出提拔 机闭锁号令；羁系挖进事情里、综采事情里、防突、 卸压功课地区人数，并可以正在超员状况下停止报警闭 锁。电子围栏、伤害地区检测辨认绘里如图 12 所示。
图 12 电子围栏、伤害地区检测辨认绘里
3.2 使用场景两：基于视频 野生智能AI 辨认的煤矿胶带运输智 能掌握体系
山东能源团体鲍店煤矿操纵视频 野生智能AI 陈述手艺， 对主煤流运输体系的皮带煤量、同物、堆煤及跑偏偏进 止辨认战陈述，对及时煤量停止辨认，停止智能调速 战运量统计，对伤害地区突入、皮带轴启及滚筒超温 停止监测，完成齐煤流管控地区的视频检测、隐患的 智能报警闭锁，进步体系呼应速率，提拔煤矿宁静智 能化办理程度。体系将视频辨认陈述、产业联动掌握 等功用散成为一体，操纵矿用本安型图象处置摄像 仪、野生智能AI 掌握主机、长途掌握装备等构成一个智能化、 多功用、齐天候的静态视频智能辨认体系。经由过程将机 器视觉陈述辨认取产业掌握相分离，完成对矿井情况 及物品（装备）形态等的辨认，并能联动煤矿井下运 输皮带等次要消费装备停止主动庇护停机、智能调速 掌握等。别的，体系能够准确辨认皮带的煤质变化， 统计皮带的及时运煤量，对皮带停止粗准调速，削减 装备磨益并可以低落能耗。别的，借能够辨认皮带转 载面堆煤、皮带年夜块、锚杆、火煤、同物、皮带跑偏偏、 皮带扯破、皮带架倒架、滚筒超温等非常状况，并能 够报警战掌握皮带庇护停机。皮带扯破、同物辨认、 跑偏偏及超温监测界里如图 13 所示。
图 13 皮带扯破、同物辨认、跑偏偏及滚筒超温监测绘里
3.3 使用场景三：基于视频 野生智能AI 辨认的提拔机下速尾尾 绳智能检测体系
基于视频 野生智能AI 辨认的提拔机下速尾尾绳智能检测 体系经由过程视频 野生智能AI 辨认完成提拔机尾绳、尾绳各类状 态陈述、检测及预警，可替换野生查绳。尾绳毁伤检 测包罗曲径变革、捻距变革、钢丝绳内部毁伤（断丝、 磨益、锈蚀）等；尾绳形态监控包罗尾绳摆动非常、 尾绳零落、尾绳集股、尾绳环绕纠缠等。山东能源团体东 滩煤矿提拔机尾尾绳监测绘里如图 14 所示。
图 14 东滩煤矿提拔机尾尾绳监测绘图
山东能源团体东滩煤矿基于图象处置取形式识 别手艺，研收使用基于视频 野生智能AI 辨认的提拔机下速尾 尾绳智能检测体系，可完成提拔机尾绳、尾绳各类状 态陈述、检测及预警，替换野生查绳。体系投进后， 完成了提拔机尾尾绳齐性命周期陈述、隐患检测、预 警、存档及办理，改进了提拔体系查绳服从战量量， 低落职工劳动强度，并进一步提拔了煤矿止业的消费 服从战办理程度。体系次要由挪动巡检安装、精细轨 讲、图象处置事情站，工程师操纵站等构成。挪动巡 检安装运转于轨讲上，经由过程预设地位，主动/脚动运 止到待检测地位，停止智能检测。
3.4 使用场景四：基于视频 野生智能AI 辨认的挖进事情里宁静消费办理及预警体系
基于视频 野生智能AI 辨认手艺建立挖进事情里宁静消费 办理及预警体系树模面，可以完成以下功用：
（1）挖进事情里枢纽功课工艺历程羁系：对挖 进事情里敲帮问顶、前探梁装置、背板结顶等枢纽做 业工艺历程停止智能辨认羁系，对背规举动停止抓拍 报警，并可以对挖进地区的职员数目停止统计，超员 报警并能闭锁装备。
（2）挖进机伤害地区职员进侵辨认：挖进事情 里智能视频辨认及宁静办理子体系可以取挖进机进 止联动掌握，经由过程正在挖进机事情的四周规定伤害区 域，当辨认到有职员突入时，联动挖进机制止启动或 掌握挖进机停机，同时矿用本安型 野生智能AI 图象处置摄像 仪现场收回语音提示战告警，其监控辨认绘里如图 15 所示。
图 15 挖进事情里智能视频辨认及宁静办理子体系绘里
3.5 使用场景五：基于视频 野生智能AI 辨认的钻场智能办理系 统
基于视频 野生智能AI 辨认手艺成立钻场智能办理体系示 范面，可以完成以下功用：
（1）根据钻孔施工办理请求，完成对瓦斯钻孔 施工所在、工夫、施工单元、钻孔设想参数等数据疑 息挖报战审批，同时借可下达 野生智能AI 辨认指令；
（2）接纳云台球型摄像机做为 野生智能AI 陈述摄像机， 井上调理职员能够经由过程客户端硬件调解摄像机角度；
（3）接纳深度进修手艺主动计数验钻，低落劳 动办理强度，计数更精确；智能辨认主动计数后可将 钻杆数目及时显现正在操纵盒上便于挨钻职员及时查 看；经由过程将挨钻视频取钻孔台帐联系关系，有用根绝谎报 进尺、背章操纵、挨假孔；
（4）体系可以将钻场的设想参数、施工历程参 数、施工职员等根据挨钻历程需求记载正在案，构成电 子文件存档，做为挨钻办理的一部门；可主动统计出 日报表、月报表、统计报表、非常报表、钻杆计数报 表等，其体系辨认界里如图 16 所示。
图 16 钻场智能办理子体系辨认界里
4今朝存正在的易面成绩取开展对策倡议
4.1 煤矿宁静消费视频 野生智能AI 辨认体系的易面成绩
（1）针对煤矿宁静消费的视频 野生智能AI 陈述及辨认闭 键手艺实际单薄。一圆里，现有使用于煤矿宁静消费 监控的办法均为基于深度进修的有监视视频 野生智能AI 辨认 算法，该范例算法需求大批样本对模子停止锻炼战劣 化，而煤矿特别工况下的宁静隐患及变乱样本较少， 如皮带扯破、冒顶、片帮等，以致易以得到大批的样 本对模子停止晋级战锻炼，招致该范例隐患变乱的识 别粗度极低。另外一圆里，基于深度进修的无监视视频 野生智能AI 辨认算法固然没有需求大批的样本停止锻炼，可是 今朝其手艺实际尚没有成生，正在辨认粗度战速率圆里均 达没有到煤冰产业现场实践使用的需供。因而，亟需正在 基于深度进修的无监视视频 野生智能AI 辨认枢纽手艺及实际 圆里停止打破战立异。
（2）智能视频陈述战辨认末端规格形式纷歧、 使用场景稠浊。现有智能末端所接纳的中心板多种多 样，功耗、算力及合用的使用场景均纷歧致。当前所 接纳的支流中心板有华为 Atlas 系列、百度 Edgeboard 体系和基于海思、龙芯、汉芯等芯片所自力设想的。算力战功耗的差别以致智能末真个品种战使用场景 也差别较年夜。另外一圆里，现有的智能末端使用场景过 于紊乱，并不是一切的场景皆需求接纳智能末端，除一 些下速变革场景的监测战辨认中，别的低速及牢固缓 缓变革场景的监测则可经由过程后端停止陈述战处置，该范例的场景传输所占用的带宽较低，且关于及时性的 请求并不是出格下，接纳此种办法不只能够低落体系的 制价本钱，且便于背景的更新晋级战保护。
（3）各边沿计较节面及智能末真个接心和谈取 云效劳仄台的通讯兼容性好。现有的智能末端、野生智能AI 视频陈述安装及边沿计较节面的通信接心和谈多样， 且数据的范例战形式也各有差别，以致云效劳仄台易 以快速天同各末端停止通讯战数据交互。因而，一圆 里需求标准战同一智能末真个接心和谈范例，另外一圆 里需求开辟多源数据交融战和谈主动婚配的智能网 闭，以同时增进云端取边沿真个协同感厚交互。
（4）体系取其他煤矿智能化体系之间的联动能 力较好。今朝基于视频 野生智能AI 辨认的监测子体系取煤矿 其他监控子体系交融度借不敷，缺少完美的多体系融 开和数据联念头造，招致煤矿智能化监控体系协同 性较好，没法最年夜水平上制止煤矿宁静变乱的发作。因而，对煤矿宁静消费视频 野生智能AI 辨认体系取其他智能 化体系的联念头造将成为前沿一个次要的研讨标的目的。
（5）体系数据库宁静性较强。今朝次要接纳正在 云端经由过程数据库的情势存储海量的视频监控数据，那 种云端集合办理的方法很易保证监测数据传输战访 问的宁静性。区块链[81]、收集疑息宁静取数据库手艺 可以有用避免数据被窜改，同时也可以制止集合办理 形式的范围性战数据存储占比。因而，区块链、收集 疑息宁静取数据库手艺正在煤矿宁静消费视频 野生智能AI 辨认 体系上的使用，将成为前沿的一个开展趋向。
（6）煤矿宁静消费视频 野生智能AI 辨认的枢纽手艺尺度 系统、运转办理标准战宁静规程系统仍需完美。虽然 今朝煤矿宁静消费视频 野生智能AI 辨认体系曾经正在我国王家 岭、鲍店、东滩等上百座煤矿停止了使用，可是仍旧 缺少同一的体系建立战使用尺度，还没有对煤矿宁静死 产视频 野生智能AI 辨认体系的运转办理标准、宁静规程系统 战评价尺度停止划定，使得很易年夜范围将体系使用推 广到我国其他煤矿中。因而，经由过程订定煤矿宁静消费 视频 野生智能AI 辨认体系的相干尺度，完成对体系的树模应 用推行，是前沿一个开展趋向。
4.2 煤矿宁静消费视频 野生智能AI 辨认体系的开展对策
（1）增强煤矿视频 野生智能AI 辨认枢纽手艺及实际的研 究。减年夜对新样本图象天生办法中随机变更、随机扰 动等数据加强手艺的研讨，构建基于小样本进修取无 监视进修等多方法相分离的穿插复开辨认模子，鞭策 煤矿智能化建立快速开展。
（2）成立标准、尺度、合用性强、兼容性下的智能视频陈述取辨认末端使用新形式。根据使用场景 变革快缓、收罗视频像素分辩率战摄像仪暴光频次下 低，分别出合用性强、兼容性下的煤矿智能视频陈述 取辨认末真个尺度新规格，增进智能末真个计划化战 便利化使用。
（3）深化煤矿视频 野生智能AI 感知数据交融通讯取云- 边-端协同决议计划的枢纽手艺实际。针对上末节成绩（3） 战（4）的易面，增强对多旌旗灯号造式聚集、多源同构 疑息同一形貌、和谈特性主动婚配等枢纽手艺的研 收，研造多源数据下效交融取和谈主动婚配的智能网 闭，并正在决议计划端构建完美的专家决议计划体系战取劣先权 判定机造，完成云-边-端之间数据取决议计划的互联互通。
（4）放慢视频数据构造化、收集疑息宁静、区 块链等新手艺的攻闭。深化研讨视频数据构造化、疑 息暗码教取区块链手艺，开辟牢靠的数据构造取数据 库体系新构架，成立收集主动扫描取进侵检测等自动 式防进犯新战略，并低落海量视频数据的存储占比。
（5）成立健齐煤矿宁静消费视频 野生智能AI 辨认系统建 设尺度。放慢煤矿视频 野生智能AI 辨认体系共性尺度的造建 订，劣化完美枢纽手艺尺度系统、运转办理标准战安 齐规程系统，构成同一、标准、完美的煤矿煤矿宁静 消费视频 野生智能AI 辨认系统尺度，鞭策煤矿智能化建立的 下量量开展。
5结 论
1） 煤矿宁静消费视频 野生智能AI 辨认枢纽手艺是煤矿 宁静隐患监测及预警的“年夜脑”，以边沿计较、年夜数 据陈述、云效劳、产业互联网、散成电路设想取智能 感知末端等手艺取装备为中心，完成对煤矿井下严重 风险取隐患的粗准辨识战快持久策。
2） 煤矿宁静消费视频 野生智能AI 辨认体系的建立完成 对煤矿“人-机-环”的宁静监测战协同管控预警，构 建里背聪慧矿井 “广笼盖、早感知、深交融、自辨 识、准预判、齐管控”的产业互联网使用仄台新系统 战新理念。
3） 视频 野生智能AI 辨认体系的建立是野生智能取聪慧 矿井建立的深度交融，是增进煤矿完成粗准开采取安 齐、绿色、下效、可连续开展的殊途同归。
参考文献（略）
@挨制矿业科技综开效劳仄台
网站行将上线：www.intelmining2022.com
进驻垂询：Ayden20220305（ ）
交换互动
欢送参加“矿山装备智制”群组交换，本群效劳工具为矿山企业、矿山装备企业战相干财产链配套企业，进群请修正备注“单元简称+真名”，已参加IntelMining相干群组的同仁请勿反复参加。
IntelMining智能矿业热门视频保举↓↓↓
本文源自公家号“IntelMining智能矿业”
威钝网声明：转载此文供网友浏览理解该主题内乱容、出于通报更多疑息之目标，其实不意味着附和其概念或证明其形貌。 |
上一篇： 【视频课】人工智能AI必学,超20小时,4大模块,循序渐进地搞懂经典模型设计与简单部署!下一篇： ai视频一键混剪软件 视频批量剪辑大师神器
|
