中国煤科机器人公司赵红菊高工：低照度模糊环境下输送带巡检机器人目标识别关键技术

2025年12月09日 16:02 智能矿山杂志责编：戚金荣作者：智能矿山杂志

摘要

针对现有煤矿井下带式输送机巡检目标识别(尤其是小目标缺陷识别)精度较低问题，提出了一种基于深度学习的目标智能检测方法。采用YOLOv5 模型作为基础网络，引入了Res2Net 多尺度特征表征模块，替换主干网络中C3 模块的 Bottleneck，以在网络中增加感受野通道。在主干网络和特征融合网络中引入CA注意力机制，提升通道利用率和带面早期损伤检测精度。使用数据集训练YOLOv5 模型，并与原有YOLOv5 框架对比试验。经现场试验验证，使用训练后的模型对输送带跑偏距离≥10 cm的检测准确率≥95%，对纵撕长度≥10 cm的检测准确率为80%~95%，对异物检测异物规格>80 mm的检测准确率为80%~95%，托辊异常检测准确率为96%。相比优化改进之前，加权检测准确度从83%提高到95%。

文章来源：《智能矿山》2025年第11期“矿山机器人技术创新与实践特刊”

作者简介：赵红菊，高级工程师，主要从事煤矿机器人智能控制、电源管理等相关研究工作。 E-mail：zhaohj2020@126.com

作者单位：中煤科工机器人科技有限公司；中煤科工（辽宁）具身智能科技有限公司

引用格式：赵红菊.低照度模糊环境下输送带巡检机器人目标识别关键技术[J].智能矿山，2025，6(11)：65-70.

点击文末左下角阅读原文，免费下载阅读pdf全文

关注微信公众号，了解更多矿山智能化建设进展

视觉识别是煤矿智能化无人巡检系统的核心功能之一，直接影响着巡检结果的可靠性和有效性。由于煤矿井下环境复杂多变，存在图像质量低、目标对象多样、目标尺度小和目标遮挡严重等问题，给视觉识别带来了很大的困难和挑战。

煤矿巡检图像数据集（CMID）的构建

为了支持算法研究内容，构建了大规模的煤矿巡检图像数据集（CMID），并详细标注数据集。该数据集基于煤矿井下带式输送机输送场景，包含输送带裂缝、输送带跑偏、输送带异物、托辊脱落、煤料堵塞、煤粉洒落、煤流量等7种目标对象，具有一定的多样性和复杂性。

1.1 数据集的采集过程和设备

图像采集是用机器人系统拍摄井下图像数据。该系统包括地面控制中心、无线通信系统、井下挂轨机器人。井下机器人的高清摄像头和红外摄像头，高清摄像头分辨率为1 920×1 080，拍摄彩色图像；红外摄像头分辨率为640×480，拍摄低光照灰度图像。机器人系统的组织架构及地面控制中心GUI界面如图1所示。

图1 机器人系统的组织架构及地面控制中心GUI界面

在煤矿井下带式输送机场景采集图像，采集过程覆盖了不同光照条件、背景杂乱程度、目标对象数量和类型等因素，共采集了约10万张图像，约占100 GB存储空间。

1.2 数据集标注

研究使用LabelImg作为图像标注软件，邀请了10名具有煤矿巡检经验的专业人员作为标注人员，标注了数据集中的每张图像。将输送带巡检视觉识别任务分为输送带裂缝、输送带跑偏、输送带异物、托辊脱落、煤料堵塞、煤粉洒落、煤流量7个任务类型。

研究使用XML格式存储了图像标注信息。部分采集数据集如图2所示。为保证数据集的标注质量准确率>95%，采用以下3项措施。

图2 部分采集数据集

（1）专业培训和指导标注人员。

（2）分批分配和交叉检查数据集。

（3）随机抽样和质量评估数据集。

基于深度学习的煤矿巡检图像识别方法

为实现高性能的煤矿巡检图像识别，提出了1种基于深度学习的目标智能检测算法，该算法主要包括以下3个方面。

（1）使用YOLOv5模型作为基础网络。

（2）改进和优化YOLOv5模型，包括引入Res2Net多尺度特征表征模块、引入CA注意力机制、优化输出层等。

（3）使用CMID数据集对模型进行端到端训练。

2.1 YOLOv5模型

YOLOv5是1种目标检测网络，使用1个全卷积神经网络（FCN）从输入图像中直接预测目标的类别和位置。YOLOv5模型使用CSPNet作为主干网络，使用PANet作为特征融合网络。YOLOv5模型的网络结构如图3所示。

图3 YOLOv5模型的网络结构

2.2 引入Res2Net多尺度特征表征模块

Res2Net多尺度特征表征模块是1种基于ResNet残差网络的改进模块。Res2Net模块的核心思想是将每个残差块中的输入特征分为多个子特征，并对每个子特征进行不同尺度的卷积操作，然后将所有子特征进行拼接，形成输出特征，Res2Net模块如图4所示。

图4 Res2Net模块

Res2Net模块中的1个残差块包括2个部分：分支部分和融合部分。分支部分是指将输入特征分为个子特征，并对每个子特征进行1×1卷积和3×3卷积操作，形成个不同尺度的子特征；融合部分是指将个子特征进行逐级拼接，并通过1×1卷积操作将通道数恢复为原来的一半，形成输出特征。2个部分相互配合，实现了多尺度的特征表征。

将Res2Net模块引入到YOLOv5模型中，并用其替换主干网络中C3 模块的Bottleneck，以在网络中增加感受野通道，使网络更好地学习对小目标缺陷区域的纹理和语义特征，设置=4。四尺度感受野结构如图5所示，引入Res2Net模块后的主干网络结构如图6所示。

图5 四尺度感受野结构

图6 引入Res2Net模块后的主干网络结构

2.3 引入CA注意力机制

CA注意力机制是1种基于通道注意力的特征增强模块，通过1个自适应权重向量，对输入特征图的不同通道进行加权，以提升特征图的通道利用率和表达能力。

在获取特征时，CA模块捕获跨通道特征信息以及方向感知和位置感知信息，并通过坐标信息嵌入和坐标信息生成对输入特征进行编码。YOLOv5-CA机制结构如图7所示，模块包含在图7中的红色虚线框中。

图7 YOLOv5-CA机制结构

利用H×1和1×W池化核分别沿水平和垂直坐标对每个通道进行编码，得到H×1×C和1×W×C的特征图。然后，融合不同方向特征，得到1个关注方向感知图。

2.4 优化输出层

根据不同类别的目标对象所需预测的额外信息类型和数量，对输出层进行了相应调整。对输送带跑偏、裂缝、异物的3个类别的目标对象增加了2个额外信息的回归输出，分别为目标对象的长轴长度和短轴长度。优化后的输出层中不同类别的目标对象所需预测的参数数量见表1。

表1 优化后输出层中不同类别的目标对象所需预测的参数数量

优化前后检测效果对比见表2，优化后的输出层中不同类别的目标对象所需预测的参数与原来不同，因此需要将预测层的输出通道数由（+5）×修改为（，其中为不同类别的目标对象所需预测的参数之和，即=42。根据不同类别的目标对象在预测层中占据不同位置和数量的通道进行区分和解析。通过此方式，将输出层的输出结果解析为

式中：Out为输出结果；Class为类别置信度；case_goal为目标框参数；case_extra为额外信息参数；为第个类别的置信度；x、y、w、h、c为目标框的中心坐标、宽度、高度和置信度；a、b为目标对象的长轴长度和短轴长度；为输送带的宽度。

输送带跑偏距离撕裂长度和异物规格的计算公式为

式中：为图像宽度，作为检测结果的一部分输出，以提高检测结果的可用性和可解释性。

2.5 模型训练

使用PyTorch框架实现了提出的方法，并在1台配备了NVIDIA GeForce RTX 3090显卡的计算机上进行了模型训练。采用YOLOv5 Loss作为损失函数，计算公式为

式中：为第个类别的真实置信度；为第个类别的预测置信度；为第个目标框参数的真实值；为第个目标框参数的预测值；为目标框的真实置信度；为目标框的预测置信度；_cls_box_obj为不同损失项的权重系数。设置_cls=1.0，_box=0.05和_obj=1.0。

采用Albumentations库实现图像增强，并使用sklearn库实现了交叉验证技术。将数据集划分为5个子集，并进行5次训练和测试，以评估模型的泛化能力和稳定性。

试验结果与分析

3.1 试验环境和评价指标

为了评估研究提出的方法的性能和效果，使用CMID数据集对研究所采用的方法进行了试验，并与YOLOv5模型进行对比。采用以下指标来衡量模型的检测效果。

（1）精确率（Precision）为检测结果中正确的目标对象占所有检测出的目标对象的比例，计算公式为，其中TP为真正例，即检测结果中正确的目标对象，FP为假正例，即检测结果中错误的目标对象。

（2）召回率（Recall）为检测结果中正确的目标对象占所有真实存在的目标对象的比例，计算公式为，其中FN为假负例，即未被检测出的目标对象。

（3）准确率（Accuracy）为检测结果中正确的目标对象占所有检测结果和真实结果的并集的比例，计算公式为

（4）Score）为精确率和召回率的调和平均值，计算公式为

使用交叉验证技术，将数据集划分为5个子集，并进行5次训练和测试，以评估模型的泛化能力和稳定性。使用mAP@0.5作为模型的综合评价指标，该指标表示在不同类别上计算出的平均精确率（AP），其中交并比（IoU）阈值设为0.5。

3.2 试验结果和对比分析

在煤矿井下进行现场试验，验证改进后算法的有效性和可靠性。经现场试验验证，使用训练后的模型对输送带跑偏距离≥10 cm的检测准确率≥95%，对纵撕长度≥10 cm的检测准确率为80%～95%，对异物检测异物规格>80 mm的检测准确率为80%～95%，托辊异常检测准确率为96%。相比优化改进之前，加权检测准确度从83%提高到了95%。采用改进后的模型对输送带异物进行目标检测如图8所示。

图8 采用改进后的模型对输送带异物进行目标检测

表2表明，研究提出的方法在所有类别上都优于YOLOv5模型，且平均提升了6%；提高了煤矿巡检图像识别任务的检测效果，尤其是对于小目标缺陷区域的检测能力。

表2 优化前后检测效果对比

总结

（1）为解决煤矿井下低照度模糊环境下输送带巡检目标识别的关键问题，构建了大规模煤矿巡检图像数据集（CMID）并优化了深度学习模型。相比优化改进前，输送带跑偏距离、纵撕长度等指标的加权检测准确度从83%提高到了95%，解决了现有井下巡检系统中低照度目标识别精度低的问题；针对井下输送带不同故障类型优化了输出层结构，增加了对目标对象长轴长度和短轴长度等额外信息的回归输出，确保了模型输出结果的可解释性。

（2）识低照度模糊环境下识别方法解决了煤矿井下图像质量低、目标尺度小、遮挡严重等问题带来的识别精度难题，提高了输送带故障检测的准确性和可靠性，为带式输送机故障预警系统的工程化设计提供了核心技术依据，对传统井工矿煤流运输系统的改造升级具备实践参考价值。

（3）未来研究可通过多传感器数据融合、数据集扩增、边缘计算模型轻量化、巡检机器人设备联动等手段，从多角度提高识别检测方法的泛用性和实用性，推动形成井下综合故障预警系统的建设范式。

编辑丨李莎

审核丨赵瑞

煤炭科学研究总院期刊出版公司拥有科技期刊21种。其中，SCI收录1种，Ei收录5种、CSCD收录6种、Scopus收录8种、中文核心期刊9种、中国科技核心期刊11种、中国科技期刊卓越行动计划入选期刊4种，是煤炭行业最重要的科技窗口与学术交流阵地，也是行业最大最权威的期刊集群。

期刊简介

《智能矿山》（月刊，CN 10-1709/TN，ISSN 2096-9139）是由中国煤炭科工集团有限公司主管、煤炭科学研究总院有限公司主办的聚焦矿山智能化领域产学研用新进展的综合性技术刊物。

主编：王国法院士

刊载栏目：企业/团队/人物专访政策解读视角·观点智能示范矿井对话革新·改造学术园地、专题报道等。

投稿网址：www.chinamai.org.cn（期刊中心-作者投稿）

👉 征稿函详见链接： 征稿┃《智能矿山》面向广大读者征稿，欢迎投稿

期刊成果：创刊5年来，策划出版了“中国煤科煤矿智能化成果”“陕煤集团智能化建设成果”“聚焦煤炭工业‘十四五’高质量发展”等特刊/专题30多期。主办“煤矿智能化重大进展发布会”“煤炭清洁高效利用先进成果发布会”“《智能矿山》理事、特约编辑年会暨智能化建设论坛”“智能矿山零距离”“矿山智能化建设运维与技术创新高新研修班”等活动20余次。组建了理事会、特约编辑团队、卓越人物等千余人产学研用高端协同办刊团队，打造了“刊-网-号-群-库”全覆盖的1+N全媒体传播平台，全方位发布矿山智能化领域新技术、新产品、新经验。

👉 具体详见链接：《智能矿山》创刊5周年回顾

联系人：李编辑 010-87986441

邮发代号：82-476

👉 期刊订阅详见链接：欢迎订阅┃《智能矿山》杂志2026年订阅开始了！

往期荐读