煤炭是国家能源基石,是清洁高效利用的最经济、可靠的能源,煤矿智能化是实现煤炭工业高质量发展的核心技术支撑,而网络是煤炭企业实现智能化最重要的IT基础设施。
国能神东煤炭集团有限责任公司(简称神东煤炭集团) 是国家能源集团的骨干煤炭生产企业,积极响应国家现代化建设的号召,正在全面推进煤矿智能化建设工作,也是国内煤矿智能化建设的标杆企业。随着神东煤炭集团煤矿智能化建设的推进,单个矿井的网络规模及其网络带宽迅速增加,扁平化的叶脊架构在煤炭企业网络中的部署和实践成为必然趋势。
现有叶脊架构的应用研究主要集中在企业数据中心领域,例如包琅允在《叶脊架构在数据中心的应用》中探讨了采用叶脊架构的大二层架构,以解决数据中心东西向流量问题,进而提高网络效率;安志聪在《数据中心叶脊网络架构及预端接布线设计探讨》文中指出,采用叶脊架构大二层架构,解决数据中心东西流量问题,提高了数据中心网络效率。然而,目前鲜见叶脊架构在大型煤炭企业网络中的应用实践研究。基于此,笔者介绍了叶脊架构在煤炭企业网络中的应用实践,包括组网现状、网络架构设计、路由规划等内容,并详细分析了叶脊架构在神东煤炭集团网络实践中的具体应用效果,旨在为叶脊架构在大型煤炭企业网络中的应用提供参考与借鉴。
叶脊架构组网方案
网络现状及改造需求
神东煤炭集团拥有13 个矿井,矿井分布在内蒙古、陕西、山西三省区域,南北长160 km、东西宽140 km,通信网络覆盖地理范围广,矿区通信光缆敷设环境较为复杂,增加了通信网络维护难度。原有神东骨干网络由6 个核心结点组成环网架构,其余各矿及地面单位结点使用二层组网技术连接至6个骨干结点,各二级单位的设备网关均连接6 个骨干结点。以太网为基于总线的广播式网络,二层数据链路层,采用带冲突检测的载波监听多路访问(CSMA/CD) 机制,神东煤炭集团以太网的二层广播域较大,易形成广播风暴,企业网络的信道利用率较低,神东煤炭集团原网络环型拓扑示意如图1所示。
随着神东煤炭集团矿井智能化建设,矿井单位对网络带宽、速率、时延、收敛速度等需求迅速提高,网络改造需解决网络带宽小、二层广播域大、不支持IPv6 协议等问题,亟待建设大容量、高可靠、易维护的煤炭企业网络,以满足日益增加的网络容量及可靠性需求。
网络架构设计
叶脊(Spine-Leaf) 网络架构也称为分布式核心网络,由叶子层(叶层) 和脊椎层(脊层) 组成,每个叶层(leaf layer) 交换机都与每个脊层(spinelayer) 交换机联接,形成扁平化网络拓扑结构,最大优势是带宽利用率高、东西向数据传输效率高和网络高可靠性。
为提升骨干网络的利用效率和可靠性,神东煤炭集团网络架构整体采用叶脊网络架构,其中公司总部、A 矿、B 矿、C 矿等4 个结点,属于脊交换机,13 个矿井单位和3 个地面单位交换机作为叶交换机,具体如图2 所示。
在神东煤炭集团叶脊网络架构中,每个脊交换机结点部署2 台物理交换机,采用CSS (ClusterSwitch System) 集群和MAD (Multi-ActiveDetection) 多主检测技术,2 台物理交换机从逻辑上虚拟为1 台设备,登录CSS中任1 台成员交换机,即可统一配置和管理CSS 系统所有成员交换机,可简化网络部署和配置管理,并扩展带宽和链路跨框冗余备份。
16 个叶交换机结点与该区域的脊交换机结点在物理层两两相联,形成扁平化网络拓扑结构;叶交换机与脊交换机间2 条物理链路接口,采用Eth-Trunk (链路聚合) 技术进行捆绑,捆绑后作为更大带宽的逻辑接口使用,2 个物理接口间形成负载平衡,有效提高通信链路的可靠性。
路由规划设计
神东煤炭集团网络路由协议使用OSPF (OpenShortest Path First) 路由协议,启用OSPFv3,同时支持IPv4 地址和IPv6 地址。公司总部、A矿、B矿、C矿等4 个脊交换机结点属于网络中的核心/汇聚层,16 个叶交换机结点属于网络中的汇聚/接入层。图3绿色区域为4 个脊交换机和16 个叶交换机对应端口,划分至OSPF骨干区域0;红色区域为接入层每台叶交换机划分出OSPF 业务区域,负责接入各单位不同的业务VLAN,16 个叶层交换机负责接入各单位二层交换机,各单位的设备网关移至接入层的叶交换机上。因此,神东煤炭集团网络路由区域为1 个骨干区域area0 和16个业务区域area1-16。
叶脊架构实践效果
叶脊架构在神东煤炭集团网络中的实践部署,改变了网络架构,其应用实践效果及价值体现在以下4 个方面。
网络带宽和网络时延
(1) 增加网络带宽
公司核心/汇聚层网络节点带宽由10 Gbit/s 增加到2×40 Gbit/s,网络额定速率提高8 倍;汇聚/接入层网络节点带宽由1 Gbit/s 增加到10 Gbit/s,网络额定速率提高10倍。
(2) 减小网络发送时延
设长度为100 MB的数据块,若在带宽为10 Gbit/s的信道上连续发送,发送速率为10 Gbit/s,发送时延为0.083 886 08 s;同理100 MB的数据块在带宽为40 Gbit/s 的信道上连续发送,其网络时延是0.020971 52 s,网络发送时延减少4倍,见表1。
提升网络路由收敛速度
OSPF协议使用分布式的链路状态协议,当链路状态序号发生变化时,路由器向所有路由器洪泛法发送信息。每10 s,OSPF用问候分组报文确定相邻路由器可达性,其余4 种分组报文完成链路状态数据库同步。
神东煤炭集团叶脊网络共划分17 个OSPF区域,如图 3 所示,当非骨干区域某煤矿网络设备或链路故障时,路由表仅在该矿OSPF 非骨干业务区域内收敛,减少路由表大小,不会泛洪至其他OSPF 区域,提高网络路由表的收敛速度。
改造前网络核心层由公司总部、A矿、B矿、C矿、D矿和E 矿等6 个骨干结点组成,链路条数为7,网络收敛时间17 s;改造后网络核心层由公司总部、A矿、B矿、C矿等4 个结点组成,链路条数为5,网络收敛时间11 s。
提高网络转发率和利用率
叶脊网络架构满足业务分层,提升网络转发效率和网络利用效率。
(1) 缩小二层广播域
梳理全公司IP 地址,13 个矿井单位和3 个地面单位网络终端设备网关下移至叶交换机,广播报文限制在矿区内部,缩小企业网络数据链路层的广播域。改造前某核心结点下连4 个矿井单位,若1 个煤矿为1 000 个网络终端接入,改造前二层广播域范围为4 000台网络终端,改造后为1 000台网络终端。
(2) 缩短路由跳数
叶脊网络架构中,所有横向叶交换机的网络位
置为平行状态,扩大了接入层网络结点,缩短网络路由跳数,降低网络转发时延。在同一煤矿区域中心,煤矿网络主机通过1 个区域脊交换机结点与另一煤矿的网络主机通信,如图4 红色箭头所示,D矿主机经过2 跳即可到达目标路由F 矿;在不同煤矿区域中心,某煤矿网络主机通过2~3 个区域脊交换机结点,与另一煤矿的网络主机通信,如图4 绿色箭头所示,B矿主机经过3 跳到达目标路由K矿。
(3) 网络业务分层
神东煤炭集团叶脊网络架构实现了网络业务分层,网络业务分层很好适应了煤矿智能化分布式数据中心建设的数据通信需求,为煤矿智能化建设提供通信网络保障。
第1 层:同一煤矿2 台主机间通信时,2 台主机的网关都在1 个叶交换机的OSPF业务区域内,网络数据块仅在该矿内部传输(终端主机的网关位于该矿叶交换机)。
第2 层:同一煤矿区域中心不同煤矿的2 台主机间通信时,网络数据块经过该煤矿区域中心脊交换机和矿叶交换机(经过3 个OSPF 区域);如图4 红色箭头所示,当D矿和F 矿间存在大量东西向流量时,对其他煤矿网络影响较小。
第3 层:跨煤矿区域中心不同煤矿的2 台主机间通信时,网络数据块在不同脊交换机和叶交换机间传输(经过3个OSPF区域,如图4 绿色箭头所示。
第4 层:煤矿主机在访问神东数据中心、集团广域网或互联网等业务时,网络数据块会在不同脊交换机和叶交换机上传输(经过3个以上OSPF区域)。
网络可靠性与可扩展性
(1) 设备集群和链路聚合保障网络的可靠性
改造前网络核心交换机为1 台物理设备,核心结点间用1 条物理链路连接,改造前4~5 个矿的网络终端可同时收到数据链路层的广播报文;改造后每个脊交换机结点部署2 台物理设备,脊结点间用2条物理链路连接;叶交换机与脊交换机间的2 条物理链路,采用链路聚合技术形成负载均衡。在叶交换机间主机通信时,至少有4 种物理转发路径;煤矿主机在访问神东数据中心、集团广域网或互联网时,至少有6种物理转发路径。
(2) 网络分层满足扩展性
16 个叶交换机接入侧,分别划分至16 个不同的OSPF业务区域,各单位设备的网关下移至叶交换机结点,公司各矿井及地面单位网络相对独立,某煤矿网络业务调整割接时,网络影响范围缩小至该矿叶交换机之下,便于网络扩展与网络维护工作。网络可靠性与可扩展性对比见表2。
总 结
(1) 叶脊网络架构有效解决了大二层网络广播域影响范围较大的问题。通过分层设计,实现了网络业务分层,大幅缩小了广播域的范围,显著提高了网络的转发效率和利用率。
(2) 叶脊网络架构解决了网络容量小的问题。通过增加3 层网络结点和提升网络结点带宽,提供更大网络容量,满足神东煤炭集团日益增长的网络需求。
(3) 叶脊网络架构解决了网络可靠性和可扩展性的问题,两两相联的扁平化网络拓扑结构与1 个骨干区域和16 个业务区域的网络路由规划,网关下移至13 个矿井和3 个地面单位的叶交换机,并支持IPv6 协议,全面提升了网络可靠性与可扩展性。
(4) 网络业务的分层设计使得网络管理更为清晰高效。每个叶层交换机与脊层交换机连接,形成扁平化网络拓扑结构,提高了带宽利用率,优化了东西向煤矿数据传输效率。
(5) 因神东煤炭集团横跨内蒙古、陕西、山西3 个省区,部署叶脊架构项目实施过程中,因脊交换机和叶交换机间需互联,对网络结点间的物理通信光缆资源需求较大,需重新敷设较多光缆线路资源,以满足叶脊架构部署要求。
助理编辑:李雅楠