基于序列图像学习的巷道掘进机定位方法
吴洪状1
程诚1
刘送永2
1.苏州大学 未来科学与工程学院 江苏 苏州 2152992.中国矿业大学 机电工程学院 江苏 徐州 221116
摘要：煤矿综掘工作面受限于狭小空间、工艺繁杂、环境恶劣等特殊条件,导致用工多、安全性差、效率低等问题,亟需研发更加安全高效的智能化掘进技术与装备.巷道掘进机作为综掘工作面的核心设备,对其智能化进行研究具有重要的社会价值和经济意义.为实现巷道掘进机的智能化作业,首先需要解决的关键问题是为掘进机机体定位,精确、鲁棒的机体位姿检测方法是保障巷道智能掘进有效性的首要条件.因此,针对巷道掘进机机体定位问题,提出了一种基于时间序列图像学习的机体绝对六自由度位姿实时检测方法.首先,通过在掘进机机体安装一台单目相机,并在掘进机后方设置人工特征对象,设计适用于巷道狭长、非结构化环境的视觉定位方案.然后,提出用于时间序列图像融合的深度学习模型,其中,使用一种训练好的多尺度变分自编码器辅助的卷积神经网络(MSVAE-CNN)的编码器模型提取时间序列图像中每个样本的多尺度潜在空间特征,以保证图像特征提取的鲁棒性;基于双向长短期记忆(LSTM)网络构建时间序列图像特征融合模型,并同时估计所有时间步图像样本对应的机体位姿参数,当推理某个时间步图像对应的位姿参数时,其他时间步的信息都可作为先验知识,通过学习图像样本之间的特征相关性,提高位姿估计的精度和可靠性;另外,使用多头自注意力机制进一步提高特征融合性能,使用张量训练分解压缩模型,实现在轻微损失位姿估计精度的前提下大幅降低模型参数数量.最后,基于一辆履带小车进行试验研究,使用NOKOV红外动捕系统获取小车机体实际位姿.试验结果显示,所提方法对中心偏距和方向角的估计平均绝对误差分别约为25 mm和0.36°,完全能够满足巷道掘进机的定位需求,并且定位精度明显优于MSVAE-CNN模型,验证了所提出的基于序列图像学习的机体定位方法的有效性与高性能.
关键词：巷道掘进机位姿检测机器视觉序列图像融合深度学习
分类号：TD322(矿山压力与支护)
资助基金：江苏省杰出青年基金资助项目(BK20211531)
论文发表日期：2023-12-30
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：12( 778-789 )
英文信息