国能神延煤炭公司赵树军：露天矿山矿用卡车多传感融合障碍物识别方法探讨

2025年09月12日 15:10 智能矿山杂志责编：戚金荣作者：智能矿山杂志

露天矿山道路凹坑、碎石密集，障碍物精准感知是实现矿用卡车自动驾驶的核心与难点。基于激光雷达与摄像头融合感知的障碍物识别方法，设计激光雷达点云与摄像头图像的联合标定方法，实现点云与图像坐标统一;结合二维和三维信息的目标检测算法，将图像检测障碍物回归目标中心点、点云中检测障碍物回归为目标中心点集;提出了基于KNN算法与二叉树模型的感知目标融合算法，KNN算法实现目标点中心融合，并采用二叉树模型提高检测目标匹配效率。

文章来源：《智能矿山》2025年第8期“学术园地”栏目

作者简介：赵树军，主要从事露天矿科技创新、生产技术管理的相关研究工作。E-mail：10022605@ceic.com

作者单位：国家能源集团陕西神延煤炭有限责任公司

引用格式：赵树军.露天矿山矿用卡车多传感融合障碍物识别方法探讨[J].智能矿山，2025，6(8)：69-72.

点击文末左下角阅读原文，免费下载阅读pdf全文

关注微信公众号，了解更多矿山智能化建设进展

露天矿山环境复杂、障碍物多，实现高效可靠的障碍物识别是矿用卡车自动驾驶技术的核心需求和难点。单一传感器障碍物识别方法难以适用于复杂的矿山环境，不能满足矿用卡车自动驾驶技术的感知需求。基于激光雷达和深度相机的融合感知方法，通过雷达和相机决策层融合，实现高精度障碍物识别，结合二维和三维目标检测算法提高障碍物识别的准确性；利用KNN算法和二叉树模型提高数据匹配的效率和可靠性。

露天矿环境特点

露天煤矿环境中的障碍物种类繁多，可分为固定障碍物、动态障碍物和对矿用卡车行驶有重要影响的特殊障碍物。固定障碍物包括但不限于岩石、矿石堆、建筑物和固定设备等位置和形态相对固定的障碍物，可通过预先地图信息和实时传感器数据进行识别。动态障碍物包括位置和速度变化的其他行驶车辆、工人和动物等，需要实时监测和响应确保安全。特殊障碍物包括深坑、积水、积雪等影响矿用卡车正常行驶的干扰因素，需要准确辨识以保障矿用卡车稳定运行。

露天煤矿特殊环境障碍物识别存在多方面挑战。不平路面、坡度变化和滑坡区域等复杂地形条件，需要障碍物识别方法具有高度的适应性；雨、雾和雪等恶劣天气条件，严重影响传感器性能和可靠性；矿区尘土和噪声干扰传感器信号和数据处理系统，要求障碍物识别方法满足实时调整和适应快速变化的复杂环境。

现有障碍物识别方法存在的问题

目前，露天矿无人驾驶车辆障碍物检测系统主要依赖多传感器识别道路障碍，再通过卷积神经网络算法模型训练实车数据，选取图像目标检测中的特定数据点并使用改良的迭代最近点算法消除虚假目标点，实现图像与3D点云数据融合，提高算法准确性和效率。

激光雷达向目标物体发送激光束，激光束通过不同目标物体返回不同回波，激光雷达接收回波，从中提取最近回波点进行聚类分析，确定回波点是否为障碍物；使用YOLO算法训练数据集以生成目标框，融合雷达目标和相机目标的检测框来确定障碍物，边界框重叠区域百分比用作判断障碍物的标准，激光雷达多回波感知示意如图1所示。

图1 激光雷达多回波感知示意

在露天采场的具体场景中，激光雷达传感器识别障碍物的方法存在显著缺陷。使用多传感器数据融合增加计算负担，增加算法时间复杂度并降低运行效率，导致矿用卡车感知系统实时性不足；普通单目相机无法获取深度信息，障碍物位置估计不精确；矿区运输路况复杂，障碍物种类多，增加了误检和漏检的风险。

露天矿矿用卡车自动驾驶障碍物识别方法

基于16线激光雷达及RealsenseD435深度相机的露天煤矿环境中矿用卡车自动驾驶的障碍物识别方法，目标检测算法满足高复杂路况的精度障碍物识别，主要包括6个方面的核心技术。

（1）数据采集设备

采用16线激光雷达和RealsenseD435深度相机作为主要的数据采集设备。16线激光雷达提供高精度点云数据，捕捉环境三维信息；RealsenseD435深度相机捕获高清图像数据，提供相关的深度信息。通过整合传感器数据，在统一系统中获得更丰富和多元化信息，提高障碍物识别系统的性能和可靠性。

（2）数据采集方式

激光雷达捕获周围环境的详细三维点云数据，为后续的对象识别提供三维信息源；深度相机获取高清图像数据和与之相应的深度信息。激光雷达检测使用CenterPoint算法，生成候选点并对输入点云离散化，生成多候选点的3D网格，采用网络输出和非极大值抑制策略确定最终目标中心点，数据融合提高了系统稳定性和可靠性，数据采集算法分配如图2所示。

图2 数据采集算法分配

（3）激光雷达与相机联合标定

露天矿矿用卡车自动驾驶障碍物识别系统中，激光雷达和相机联合标定确保从2个不同传感器获取的数据，可在统一坐标系中准确表示和分析。联合标定通常采用带有特定标记的平板作为标定对象，将带有标记的平板放置在激光雷达和相机共同视场中，找到激光雷达和相机之间的空间关系。在相机端，采用特征点检测算法标定对象标记，从中提取必要的几何信息；在激光雷达端，通过点云数据捕获标定对象的三维结构。激光雷达和相机的联合标定如图3所示。

图3 激光雷达和相机的联合标定

结合标定对象在2个传感器中的数据，建立描述激光雷达和相机之间旋转和平移关系的转换矩阵，标定得到的转换矩阵将三维点云数据投影到相机图像上，且将相机图像中识别到的对象精确定位到点云数据的对应对象。创建融合数据集，为后续目标检测算法提供更加准确和详细的数据支持。

（4）数据融合与处理

数据融合和处理是实现障碍物检测的关键，将来自激光雷达和相机的信息整合到统一框架中，以实现更加准确和可靠的障碍物识别。通过转换矩阵将激光雷达和相机的数据映射到统一坐标系，使用基于图像的CenterNet算法和基于雷达的CenterPoint算法从各自的数据源中识别障碍物，将2种方法检测到的目标中心点在共同平台融合，创建基于激光雷达和相机数据的融合数据集。

目标中心点融合使用KNN算法，查找最近邻居并合并相应数据点，通过比较图像和点云数据中的目标中心点，理解和识别各障碍物特性和位置，引入二叉树模型提高数据匹配效率，允许快速查找和匹配相应数据点，减少计算时间和资源，数据融合处理流程如图4所示。

图4 数据融合处理流程

（5）点云中的障碍物识别与回归

在点云数据处理阶段，选择使用CenterPoint算法识别和回归障碍物，在三维空间中得以精确定位和描述。将三维空间分割为许多体素，并在每个体素中确定1个代表点，通常为体素中心点，通过离散化输入点云数据，构建初步候选点3D网格集合标识潜在障碍物；后处理候选点预测候选点各项属性。

采用深度神经网络，基于候选点周围点云结构信息预测每个候选点的类别、三维空间尺寸和方向等属性。引入非极大值抑制策略消除冗余和错误候选点，减少重复检测和错误阳性，提高检测的准确性，保证检测系统的高精度和高可靠性。NMS通过比较相邻候选点的预测分数和重叠度，保留得分最高的候选点，同时抑制其他重叠度较高的点，centerpoint模型应用效果如图5所示。

图5 centerpoint模型应用效果

（6）障碍物中心点融合与匹配

在目标中心点融合过程中，K-最近邻（KNN）算法整合了由CenterNet和CenterPoint算法获取的二维图像和三维点云障碍物中心点信息。不同维度的相关数据信息输入统一坐标系中比较和关联。利用KNN算法找到最近点对，并通过比较中心点间的欧氏距离确定匹配点。在确定最近点对之后，采用投票系统，基于多数投票原则决定每个点的最终类别和属性，确保系统具有鲁棒性，抵抗传感器噪声和其他干扰。KNN算法在数据融合过程中识别出匹配点对，合并来自不同传感器的信息，提供更丰富的障碍物表示，提高障碍物识别的准确性和可靠性，KNN算法原理示意如图6所示。

图6 KNN算法原理

在KNN算法的数据匹配过程中，匹配效率采用了KD树结构加速和优化匹配效率。KD树用于多维空间中数据快速检索的二叉树结构。基于从雷达和相机获取的多维数据，选择目标中心点坐标作为KD树构建依据。应用KD树数据检索时，通过快速消除不可能包含目标区域减少搜索时间，提高了搜索效率。

矿用卡车配备激光雷达、毫米波雷达以及摄像头等传感器，在障碍物识别过程中快速构建周围环境的点全模型，勾勒出石块轮廓确定其位置和形状，根据大小进行绕障或跨障决策，矿用卡车多传感融合障碍物识别现场如图7所示。

图7 矿用卡车多传感融合障碍物识别现场

结语

露天煤矿环境中的矿用卡车自动驾驶系统通过融合16线激光雷达与RealsenseD435深度相机的数据，实现了对障碍物的准确识别。通过联合标定技术将点云数据和图像数据投影至同一坐标系，整合了二维和三维目标检测算法；利用CenterNet和CenterPoint算法分别处理图像和点云数据来获取目标中心点，并通过KNN算法实现了目标中心点的高效融合。为进一步提高数据匹配效率，引入了基于KD树结构的匹配策略，提高数据检索的速度和准确性。露天矿山智能矿用卡车多传感融合障碍物识别方法，提高了障碍物识别准确率，为实时避障研究提供了一定的技术支持。

编辑丨李莎

审核丨赵瑞

煤炭科学研究总院期刊出版公司拥有科技期刊21种。其中，SCI收录1种，Ei收录5种、CSCD收录6种、Scopus收录7种、中文核心期刊9种、中国科技核心期刊11种、中国科技期刊卓越行动计划入选期刊4种，是煤炭行业最重要的科技窗口与学术交流阵地，也是行业最大最权威的期刊集群。

《智能矿山》

Journal of Intelligent Mine

月刊CN 10-1709/TN，ISSN 2096-9139，聚焦矿山智能化领域产学研用新进展的综合性技术刊物。

主编：王国法院士

投稿网址：www.chinamai.org.cn（期刊中心-作者投稿）

联系人：李编辑 010-87986441

邮发代号：82-476

往期荐读