露天矿山铲装设备远程操控是采剥环节现场无人化的核心技术，常态化运行是煤矿智能化可持续高质量发展的关键。煤矿作业面环境复杂，工作面分散，粉尘、噪声、震动等恶劣条件对铲装设备远程操控技术提出了极高要求，需要解决周围环境感知不精准、安全风险较高、效率较低等一系列技术难点。
铲装设备远程操控系统
铲装设备远程操控系统基于遥控端操作台，实时对铲装设备进行远程操控作业，包括建立传感器网络与数据采集、数据处理与分析、自动控制系统运行、远程操控操作以及实时监控与反馈等多个方面，核心部分由设备端、遥控端与服务端3 部分组成，铲装设备远程操控系统如图1所示。
图1 铲装设备远程操控系统
（1） 设备端
通过加装智控中心、摄像头、雷达等模块式硬件，采集发送铲装设备姿态，现场各视角视频、现场音频，并进行压缩发送、视频切换，电气化改造实现PLC信息接收与控制，液压电液设备控制等功能，设备端集成模块如图2 所示。
图2 设备端集成模块
（2） 遥控端
通过全方位界面交互系统实现音视频流解压播放、视频切换、AI 智能化功能、车辆状态展示、控制状态展示、手柄按键操作信号采集发送、操作台指示灯控制等功能，遥控端操作界面如图3 所示。通过设计可覆盖整个矿山作业区域网络架构，包括通信设备部署和连接方式，实现专网或公网上流媒体数据传输和交互信息传输功能。
图3 遥控端操作界面
（3） 服务端
通过设计可覆盖整个矿山作业区域网络架构，包括通信设备部署和连接方式，实现专网或公网上流媒体数据传输和交互信息传输功能。
铲装设备远程操控系统技术与应用难点
数据获取和传输
采集各传感器和监测装置信息，实现采矿设备状态、环境条件和采矿过程参数的实时监测，此为铲装设备远程操控技术的关键。传输系统在露天矿环境中，受极端天气和振动等多种复杂环境素影响，电铲作业现场粉尘浓度>500 mg/m3，噪声>100 dB，震动频率为100 次以上。现有抗干扰通信技术在数据获取和传输方面存在以下3 个方面的不足。
（1） 抗干扰能力不足
在高浓度粉尘、强噪音和频繁震动的作业环境下，传感器、摄像头等硬件设备的正常运行受到极大干扰，出现粉尘覆盖传感器设备，数据精度和可靠性降低。
（2） 传输速率不高
由于矿山偏远地理位置和网络基础设施相对薄弱，现有传输速率低，视频传输需要大带宽，会出现视频流、传感器等大量数据传输时延>100 ms，无法满足实时监控和管理需求。
（3） 传输系统可靠性欠佳
当设备故障或通信中断，可能导致数据传输中断，人工介入维修，恢复耗时较长，影响生产效率，缺乏有效的故障恢复机制。
作业现场信息传输
（1） 作业现场信息感知受限
与传统作业时设备驾驶员从环境中获得直接的感知信息相比，远程操控依赖于显示器画面、声音反馈等现场运行情况参数，容易出现感知受限等情况，对作业效率甚至作业安全造成影响。
（2） 作业现场信息未三维展示
现有远程操控技术仅通过摄像头获取二维画面显示作业环境，难以准确反映三维空间，特别是在物料和光照条件不断变化时，会出现地形、距离等信息难以判断的情况，增加作业风险、影响作业效率。
铲装设备远程操控技术与应用创新
远程数据稳定采集和高效传输
针对抗干扰能力不足、数据传输速率低、系统可靠性有待提升等数据采集和传输问题，从3 个维度提出解决方案。
（1） 提升抗干扰能力
在信号处理方面，引入先进的数字滤波器、自适应滤波器等算法，滤除噪音和干扰，提升数据传输的稳定性和准确性；通过采用防尘、防水、防震外壳材料，确保硬件设备在恶劣环境中长期稳定运行；通过应用智能传感器技术，实时监测温度、湿度和振动等工作环境关键参数，并通过数据反馈及时做出调整，进一步提高系统抗干扰能力。
（2） 提高数据传输速率
通过优化通信协议，采用BUDP协议替代传统的TCP协议，减少数据包重传和确认操作，加快数据传输速率；通过优化正交频分复用OFDM、多输入多输出MIMO调制解调技术，并行传输和多信道传输等方式，实现在有限频谱带宽中传输更多数据，提高数据吞吐量和传输效率，确保铲装设备在远程操控中满足低时延、高效率的实时控制效果。
（3） 增强传输系统可靠性
针对传输系统可靠性问题，采取冗余设计和故障恢复机制，在关键设备增加了备用通道和备用存储器，当主通道发生故障时，系统自动切换到备用通道，确保数据传输不受影响。采用心跳检测技术监测设备状态，若出现异常情况，系统自动进行故障诊断和处理，保障设备正常运行，降低设备故障率，缩短故障处理时间，提高整体生产效率。超低延时系统适配或切换4G/5G/WiFi 等不同网络，编解码算法时延为50 ms，缩短60%。无需拼接板卡进行视频拼接，节省了流量占用，提供稳定的高速数据传输和低时延控制指令传输，实现设备实时远程监控和操控。保证驾驶员远程操控铲装设备时音视频数图同传，满足超低时延画面的清晰流畅，提升远程作业效率。
AI 智能化辅助技术
针对常规远程操控技术容易造成驾驶员感知受限安全风险以及作业效率低等问题，通过结合AI、AR等技术，研发出系列智能化功能辅助驾驶员，推动智能化设备从“能动能用”走向“实用好用”，为常态化运行提供技术保障，主要包括以下4 个方面的技术应用。
（1） 人员识别技术
基于计算机视觉和毫米波雷达，构建高精度、高可靠性的监控系统。计算机视觉通过深度学习模型训练，自动学习并提取图像中的行人形状、大小和纹理等，分类和定位图像中行人关键特征；毫米波雷达穿透尘土和低能见度环境，捕捉人员及机械运动信息。通过数据融合两类传感器的多维数据，提升识别精度和稳定性，实时预测并预防潜在碰撞，人员识别技术应用场景如图4 所示。
图4 人员识别技术应用场景
（2） 铲斗落点识别技术
目前，铲装设备远程操控显示界面未能有效显示环境深度信息，缺乏立体视觉元素，驾驶员难以精准判断屏幕上各物体与铲装设备的实际距离关系，增加操作难度、安全风险。铲斗落点识别技术通过实时监测设备铲斗空间位置，并将其垂直落点模拟显示在主画面中，为驾驶员精准定位目标位置提供辅助。
利用图像处理−3D点云融合技术，通过激光雷达获取铲斗及其下方地面信息的点云数据，融合主视角摄像头获取的彩色画面信息，经过测量标定以及计算后，通过数学模型和算法将激光雷达坐标系下的点转换到主视角相机坐标系下的参数，实现两者的精确融合，最终在主画面中模拟出挖掘机铲斗投影在地面的落点位置。
铲斗落点识别流程包括数据采集、图像和点云数据的融合，通过计算模型生成铲斗落点的实时投影。激光雷达通过发射激光并接收反射信号实时捕捉铲斗下方地面及周围空间的三维点云数据；摄像头提供现场彩色图像，用于捕捉周围物体的轮廓和与铲斗的相对关系。通过预先建立的标定参数，系统将激光雷达点云数据和摄像头提供的图像数据进行融合匹配，将三维点云数据转换为二维图像中的投影位置。最后经过实时计算输出，系统将铲斗的落点位置和地面的起伏信息以网格的形式投影到主画面，实时反馈给驾驶员，铲斗落点识别技术使用效果如图5所示。
图5 铲斗落点识别技术使用效果
（3） 地形侧剖面扫描技术
通过从侧面观察并模拟设备行进方向的视点，展现出周围地形的三维结构与高度差异，使驾驶员能够清晰地洞察到前方的地形状况以及与障碍物的相对距离。
利用IMU姿态传感器获取设备的姿态信息，根据姿态信息将设备旋转至对应角度构建侧剖面视角。利用激光雷达扫描设备前方地形与障碍物的三维点云数据，根据虚拟视点渲染技术将点云数据绘制在图像上，将设备的三维位置与目标区域进行动态映射，通过虚拟相机的视角生成点云图像，展示出设备前方地形的三维结构。
通过IMU姿态解算来获得设备的姿态信息，即利用惯性测量单元中的加速度计和陀螺仪数据来确定设备在三维空间中的精确姿态，通过扩展卡尔曼滤波器实时估算设备姿态，并修正陀螺仪漂移误差，保持姿态估算的高精度。用数据融合算法，整合激光雷达实时获取设备工作环境点云数据与IMU姿态数据，为虚拟视点渲染提供精确的三维空间信息。系统将三维环境通过透视投影的方式转换为二维图像，并根据设备的姿态数据调整视角和视图矩阵，确保实时显示图像符合实际操作环境的视觉效果。为了使视觉效果更直观，在图像上绘制水平线以作参考，地形侧剖面扫描技术使用效果如图6所示。
图6 地形侧剖面扫描技术使用效果
（4） 斗齿监测技术
铲装设备在露天矿山进行采掘过程中，铲斗前端的斗齿易发生脱齿和断齿情况，通过斗齿监测技术实现精确的缺齿报警，能够有效避免因斗齿进入破碎机中引发整条采掘−破碎生产线停工造成的重大经济损失。
通过图像−点云融合技术，用相机和激光雷达实时监测并提取斗齿的像素和点云数据，并在像素空间和点云空间进行处理，通过训练好的深度神经网络确定斗齿的状态信息以判断斗齿是否存在缺齿情况，并通过多模态数据融合，减少因单一数据源引起的误判。
通过摄像头获取斗齿的图像数据和激光雷达扫描的点云数据，利用图像−点云融合技术将数据融合在同一坐标系，结合相机信息与雷达信息，全面判断斗齿状态，使用多模态数据融合算法，提取出关键特征信息。同时通过深度学习神经网络工具，利用大量数据进行模型训练，使其学习到斗齿的典型特征，例如形状、长度、宽度、轮廓等状态信息，结合图像−点云数据提取关键特征信息后，判断斗齿状态信息（缺齿或完好），并通过阈值设定触发报警提醒。驾驶员可以通过远程操控的画面反馈，实时监测斗齿的状态，斗齿监测技术使用效果如图7所示。
图7 斗齿监测技术使用效果
铲装设备远程操控系统应用效果
升级后的铲装设备远程智控系统已在内蒙古平庄煤业（集团） 有限责任公司旗下的元宝山、蒙东矿业、白音华和锡林河4 座露天矿的7 台电铲完成实际应用。基于5G网络条件，构建了远控电铲多源模态感知的体系，提高了远程操控系统的稳定性和可靠性，以及电铲作业环境安全保障和远程操控效率。
（1） 铲装设备远程智控技术应用前，依靠人工实现装载作业，驾驶员需在强振、高粉尘、极寒或极热环境中实施作业，作业环境恶劣；采用4 班3 倒工作制，每班8 h，交接班过程接送人员上下矿耗时1 h/次，按3 次/天的换班频率需通勤耗时3 h/天，有效缩短了工作时间。
（2） 铲装设备远程智控技术应用后，驾驶员无需处在恶劣环境中作业，可通过远程操作装载，改善了工作环境，提高了作业安全性；驾驶员无需上下矿，可节省通勤时间3 h/天，按500 元/h 装载成效计算，单台电铲每年可降本约55 万元，提升了综合效率并降低了生产成本。
（3） 以元宝山露天煤矿为例，自远控电铲和无人矿卡开展常态化协同作业以来，累计作业超过13 700 h，对比传统模式下天气状况良好、爆破情况良好等作业环境条件理想的运行效率基准值356.6 m³·（km·h-1），远控电铲+ 无人矿卡协同作业运行效率从平均253.5 m³·（km·h-1）提升到304.9 m³·（km·h-1），平均由71%提升至85%，最高作业效率为484.5 m³·（km·h-1）。
结 语
矿山复杂环境下作业需求的特殊情况以及现有铲装设备远程操控技术难点，以实际矿山作业需求为依托，通过5G、AR、自动化等技术，深入优化了现有远程操控系统，铲装设备远程智控技术满足矿山复杂工作场景和实际作业需求，初步解决了智能化技术难以实际作业以及运行效率偏低的问题。实现智能化设备从“能用”到“好用”的升级，解决安全隐患、降低管理成本、提升生产效率。
策划：李金松 编辑：李雅楠
