基于多重信息自注意力的综采工作面目标行为识别
杨艺1
杨艳磊2
王田3
王科平2
1.河南理工大学电气工程与自动化学院,河南焦作 454003;河南理工大学河南省煤矿装备智能检测与控制重点实验室,河南焦作 454003;郑州煤矿机械集团股份有限公司,河南郑州 4500002.河南理工大学电气工程与自动化学院,河南焦作 454003;河南理工大学河南省煤矿装备智能检测与控制重点实验室,河南焦作 4540033.北京航空航天大学人工智能研究院,北京 100191
摘要：综采工作面关键设备和人员的行为识别是开采环境信息智能感知的基础和核心.然而,综采工作面光照条件普遍较差,煤尘和水雾等干扰容易引起视频画面模糊,导致识别目标行为的关键特征难以提取,使得设备和人员的行为识别准确度无法达到实际工程应用的标准.为此,基于ResT网络架构,建立一种包含空间、时间、通道的多重信息自注意力模型和特征融合机制,扩展了模型特征提取的信息源,将其从单纯的空间信息扩展到空间、时间和通道的多重信息,提升了模型对目标行为的表征能力.其中,空间信息是对目标行为在空间上的深度解析,展现了目标的纹理、位置和形状等一系列深层特征;时间信息是从连续的视频帧中提取目标行为的时序特征,反映了行为发生的顺序以及演变关系;通道信息则是对空间和时间层面上的扩展与深入,从多角度挖掘空间和时间信息,并将原始数据表征在特征通道上,提供了目标行为的全局特征.算法的有效性在综采工作面行为识别数据集上进行了验证和对比试验.结果表明:在真实综采工作面环境下,行为识别的准确度可达到96.90％.相较于Swin-Transformer、Timesformer等主流的行为识别算法,识别准确率分别提升了11.06％和10.62％.算法经过ONNX模型转换和TensorRT加速后,在GPU上实现了推理,具备工程应用价值.据此,研发了综采工作面行为识别系统,并将算法模型以插件的形式嵌入到行为识别系统的Pipeline中,实现在DeepStream框架下对综采工作面关键设备和人员行为的实时推理和准确识别.
关键词：工作面行为识别空间-时间-通道信息网络模型工程部署
分类号：TD67(矿山电工)
资助基金：国家自然科学基金(61972016)中国国家铁路集团有限公司资助项目(N2023X005)河南省科技攻关资助项目(232102210040)
论文发表日期：2025-02-28
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：18( 1425-1442 )
英文信息