煤矿井下掘进巷道的支护大多是在掘进机截割一个断面后，再由工人打钻行“锚、网、喷”作业，工人劳动强度大，且支护过程中存在顶板岩石冒落、砸伤等危险，以及粉尘、噪声、潮湿等环境带来的职业病危害。虽然掘锚一体机已在煤矿中应用，但现有锚杆机均为两轴作业，存在适应性较差、不灵活、不能自动寻孔、自动送装锚固剂、锚杆、锚盘，不能自动紧固螺帽等问题，在实际巷道掘进支护过程中， 无法完全摆脱人员的参与和实现无人化作业。因此，以智能掘进机机器人为基础，开发自动支护机器人，自动完成挂网、自主寻孔钻进顶锚帮锚、彻底解放工人在掘进工作面的工作是掘进支护未来发展方向和迫切需求。

巷道掘进和支护期间，存在粉尘浓度大、光照不足等不利因素，给钻机寻孔定位带来了诸多不便。笔者提出基于3D视觉的支护机器人钻机定位技术，通过计算机视觉、深度学习、迁移学习和路径规划等核心技术，通过3D智能相机能够快速构建立体视觉，利用双目立体匹配计算，可实时得到目标钻孔深度信息和三维模型。

钻机定位对象及需求

锚网支护是常见的支护方式，具有作业速度快、工艺繁琐等特点，施工过程中要求各个工序的作业精准、配合流畅，否则会影响整个支护的质量和效率，支护作业流程如图1所示。

图1支护作业流程

支护作业过程中，待完成钢带作业接顶后， 钻机钻头需要穿过钢带孔进行钻孔作业，因此需要对钢带孔进行精准定位；但井下粉尘、油雾、污水、昏暗等恶劣作业环境对定位系统有严峻的考验，给准确定位增加了困难。常见的支护材料如图 2所示。

钢带常见孔径尺寸为40mm x 60 mm/30 mm x 70 mm,视觉系统应能够适应井下粉尘、油 雾、污水、昏暗等恶劣作业环境，需要在复杂背景、复杂光线、镜头污染、抖动、不同角度情况下 识别精度达到1 mm内。由于钢带和锚网所处环境 背景复杂、光线不足，对定位识别技术提出了更高的要求，而3D视觉技术是解决定位识别技术对煤矿环境及材料的适应性、可靠性的有效手段，能够实现对钢带孔的实时精准定位并配合支护机器人控制系统协调作业。

图2 支护材料

支护机器人整体构成

将现有工业机器人技术引入煤矿井下，可加 装在各种型号的掘进机上，在临时支护将锚网、钢带托举顶板到位后，利用掘进机悬臂两侧的机械臂 自主寻找钢带预留的锚杆孔进行钻孔作业。同时安装在转台上的机器人完成取放钎子、送药卷、锚 杆、锚盘、预紧锚杆螺母至初拉力等工作。支护机 器人整体构成及3D视觉系统位置如图3所示，3D视 觉相机安装架如图4所示。

将掘进机和液压钻车相结合，在掘进机两侧 各安装2条机械臂，双臂配合模拟人工支护动作。 其中3D视觉系统位于掘锚一体机顶部的锚钻平台部分。此处视野范围较大，用于寻找W钢带的孔， 获取工作环境的图像信息，以及完成装卸钎子、钻 孔、装入锚固剂等支护作业；位于两侧的小臂机器人为六轴式工业机械臂，能够自由伸缩，自工具仓 抓取锚杆、锚固剂等物料，递送至锚钻平台，配合 锚钻平台完成支护工作。

图3 支护机器人整体构成及3D视觉系统位置

图4 3D视觉相机安装架

3D视觉技术应用

3D视觉技术是通过3D摄像头采集视野内空间每个点位的三维坐标信息，再通过算法复原，智能获取三维立体成像。3D视觉技术更接近人的感知模式，不会轻易受到外界环境、复杂光线的影响， 技术更加稳定，能够获取环境中的深层信息，解决二维体验和安全性较差的问题。

在3D视觉相机的选择上，目前市面上主要以 TOF相机、3D结构光相机和双目3D相机为主。 TOF相机利用红外发射器和接收器来收发光脉冲信号，并根据信号往返于红外发射器与目标表面的时 间来计算目标与TOF相机之间的距离，可以用来测 量较远距离的目标，范围可达到100 m,精度可达 厘米级别；3D结构光相机则是将散斑、条纹、编码结构光等投射到目标表面，再由红外摄像头对其进行扫描，接收采集目标表面反射的结构光信息， 并进行计算和分析，进一步转化为位置信息、深度信息等，相比于TOF相机，3D结构光相机测量距离较近，但测量精度和图像的分辨率更高，识别精度可达0.01〜1.00mm；双目3D相机利用三角视差法与视差理论工作，与前2种视觉相机相比，在低功耗的同时测量精度相对较高。双目3D相机虽然计算复杂，也会被光照变化所限制，但不会受到目标表面反光的影响，并且在室内、室外均可使用。

支护机器人控制系统涉及到多个执行机构的协同作业，实现自动化操作的关键之一是“操作精度”的保障和实现。该系统涉及3个基本坐标系， 即“大地坐标系” “小臂机器人基坐标系” “相机 （锚杆钻机）坐标系”。视觉系统通过计算和处理相机拍摄的图像给出空间坐标系，然后根据底座与末端执行器之间的位置关系转换为锚杆钻机底座的 基坐标系，最后再转换到小臂末端手爪工具坐标系，从而控制小臂完成相应的操作。2次坐标系精度的转换将直接影响最终的操作精度。控制系统坐标关系如图5所示。

为提高支护机器人控制系统的定位精度，支护机器人液压系统采用比例阀、伺服阀组合控制。 钻臂、小臂的位置精度将影响三大坐标系的综合精度，因此钻臂部分采用伺服阀与传感器形成的闭环 控制，以满足高精度需求。钻机、平台、顶支撑部 分等相对精度要求不高，采用比例阀控制，这样可以实现全过程的无级调速，同时增加启动平稳性； 比例阀与传感器、编码器配合组成闭环控制，可以实现相对准确的位置控制，满足设计需要。

图5控制系统坐标关系

3D视觉试验及分析

由于支护巷道粉尘浓度大、光照不足，3D视觉系统工作距离近、精度要求高，且钢带自身反光较强，因此设计采用双目3D相机作为检测单元。 双目3D相机一般由左目和右目2个水平放置的相机组成，考虑一个空间点P，在左目和右目各成一 像，记作PL、PR。由于相机基线的存在，左右两目存在视差，因此成像位置不同，再根据三角形 P-PL-PR和三角形P-OL-OR的相似关系，可以计算出像素点和双目相机之间的距离，获取目标点的位置数据。通过在山东翟镇煤矿井下工业现场试验， 双目3D视觉系统试验效果如图6、图7所示。

通过多次试验，分别对不同背景、光照度、 相机污染、相机抖动和不同目标进行目标物识别， 识别结果见表1一表5。

图6钢带、锚网3D视觉点阵

图7钢带、锚网3D视觉点阵

表1复杂背景下的目标物识别效果

表4 抖动条件下的目标物识别效果

表5 不同状态下的目标物识别效果

结语

将双目3D视觉相机置于锚钻平台，利用双目分 别成像进而获取钢带孔和锚网孔位置信息，定位精 度可达到1mm；对不同背景、光照度、相机污染、 相机抖动和目标进行目标物识别，基于形状的模型 结果能够满足支护机器人对钻机钻孔需要。识别过 程操作简单、定位精度高，能够通过坐标变换与控 制系统数据互通，进而指导锚钻平台和小臂机器人 的支护作业，为支护机器人全自动自主作业提供了可能，是提升支护作业装备智能化的重要手段。

原文阅读：http://www.chinacaj.net/i,2,466028,0.html?stem_from=lastest