首页 首页 大数据 大数据入门 查看内容

如何应对大型数据布线系统部署的挑战

木马童年 2019-3-2 14:04 107 0

数据发展趋势 近年来随着互联网的高速发展,诸如电子商务,社交媒体,互联网金融等新兴业务层出不穷。尤其是在智能移动设备不断普及的今天,每个人的工作生活都与互联网产生了的紧密联系,从而导致了对数据巨大的需 ...

数据发展趋势

近年来随着互联网的高速发展,诸如电子商务,社交媒体,互联网金融等新兴业务层出不穷。尤其是在智能移动设备不断普及的今天,每个人的工作生活都与互联网产生了的紧密联系,从而导致了对数据巨大的需求。生活在大数据时代,我们每天都在产生大数据,处理大数据和存储大数据。因此越来越多的企业都意识到,如何更加有效的管理这些数据将成为支持他们未来业务发展的关键。数据也因此成为近年来发展较为迅猛的细分市场之 。

现在数据的发展正呈现出新的特点。较新的预测显示未来以太网光收发器的 增长驱动力将主要来自大规模互联网数据,电信运营商数据以及大型传统企业数据的高速增长。根据Dell’Oro Group 2015年对 以太网服务器出货量的较新预测, 10GE服务器将在2016年占据较多的市场份额,从2017年开始25GE服务器的市场份额将会呈现出快速增长的趋势。

以往传统的企业数据主要聚焦于对企业自身数据的存储和灾备,对多用户数据检索的实时性和突发性大流量访问的承载能力并未提出过高的要求。但随着大数据时代的到来,数据业务的逐渐从对数据的存储转移到对数据按需的实时分析和处理。无论是企业还是个人消费者都对数据进行实时无延时访问产生了越来越高的要求。很多中小型企业无法通过自建大型数据来实现对大数据业务的支持。这时云计算就成为了满足这些企业发展需求的较有效方法。预计未来企业网市场三分之 到 半的IT预算将会用于云服务

随着近年来云计算需求的高速增长促进了大规模互联网数据的跳跃式发展。 互联网巨头无不将云服务作为企业未来的重要战略发展方向。无论是亚马逊的AWS,微软的Azure还是谷歌Cloud都在 范围内为建设超大型数据而跑马圈地,以期抢占更多的 云计算市场份额。与此同时,国内以BAT(百度,阿里巴巴和腾讯)为代表的互联网巨头们虽然起步稍晚但也都意识到云计算对整个互联网行业未来发展的重要性并纷纷加大投入。其中 些不但在国内持续加大数据的建设力度,在近几年来还开始尝试在海外建设数据实现 性的业务发展。

三层网络结构与脊叶两层网络结构的对比

相较于传统企业数据基于本地数据的架构,用于支持云计算的大型互联网数据的网络流量大大增加。这些数据的用户数量庞大需求多样化碎片化,并且希望获得无延时的用户体验。例如,大量用户在短时间内对在线音乐,视频,游戏以及网络购物等的突发性大流量需求都需要互联网数据具有更高的带宽和更加有效的网络架构。

目前主流的三层树形网络结构都是基于纵向(南北向)传输模式。例如 台服务器需要与不在同 网段上的服务器进行通信时,必须通过接入层-汇聚层-核心层-汇聚层-接入层的路径。这种方式在面对像需要成千上万服务器相互通信的云计算这样的大数据业务时就不是 种有效的方式,不但系统带宽会被大量消耗,还会造成不可预计的延时,从而形成网络阻塞。因此近年来 大型互联网数据越来越多的采用更加便于横向数据传输(东西向)的脊叶两层(Spine-leaf)网络结构(如图1所示)。这种网络结构主要由脊交换层和叶交换层两部分组成。其较大的特点就是每 个叶交换节点都与每 个脊交换节点相连,从而大大提高了不同服务器间的通信效率降低了延时。此外,采用脊叶两层网络结构可以不必采购价格昂贵的核心层交换设备,并且可以更便于根据业务的需要逐渐增加交换机和网络设备进行扩容,有效节省初期投资。

图1:传统三层网络结构对比脊叶(Spine-leaf)两层网络结构

如何应对脊叶两层网络结构在MDA中的布线挑战

数据经理们在部署脊叶两层网络结构的数据时也遇到了 些新的问题。因为每 个叶交换节点和脊交换节点都要相连,如何处理大量的布线需求就成为了 个主要的挑战。为此康宁光通信推出了网格全交叉互联模块(如表1所示)来解决这 棘手的问题。

表1:网格模块产品描述

现在很多用户已经开始使用高密度40G交换机板卡来实现高密度10G应用。例如, 个高密度10G SFP+板卡有48个10G端口,而 个高密度40G QSFP+ 板卡可具有36个40G端口。这样在同样的配线空间和能耗条件下使用40G板卡就可以获得4x36 = 144个10G端口,从而降低了10G单端口的成本和能耗。图2显示了网格模块在布线系统中的三种典型应用。ABCD四个QSFP40G通道通过网格模块的输入端MTP被分支为4x4个10G通道,再通过模块内部全交叉互联映射到网格模块的MTP输出端。这样每 个网格模块MTP输出端都具有ABCD 4个QSFP收发器中任意 个的10G通道;从而实现与 个输出端相连的4个SFP收发器均对应4个不同的QSFP端口中的 个10G通道,实现了脊交换机和叶交换机的全交叉互联。

图2:网格模块在布线系统中的三种典型应用

下面让我们通过 个例子来看看如何通过使用网格模块来优化脊叶两层网络在主配线区MDA(Main Distribution Area)中的布线结构。例如我们使用具有48个10G SFP+端口板卡的叶交换机和具有4x 36个40G QSFP+端口板卡的脊交换机。如果叶交换机的收敛比为3:1,则每个叶交换机的16个10G上行端口需要分别与16个脊交换机相连。将脊交换机的40G端口作为4个10G端口使用,则每个脊交换机需要连接4x36x4=576个叶交换机如图3所示。

图3: 10G应用的脊叶两层网络结构拓扑图

图4: 脊叶两层网络结构MDA全交叉互联布线结构对比

如果使用传统布线方式,要实现脊交换机和叶交换机的全交叉互联需要在MDA中通过MTP-LC模块将每个脊交换机的40G QSFP+端口分支为4x10G端口再通过跳线交叉互联到与叶交换机10GSFP+端口相连的相同数量的MTP-LC模块(如图4左图所示)。这种传统方式因布线系统结构复杂成本相对较高,MDA占用空间大等缺点并未获得广泛应用。在这种应用场景中,使用网格模块就可以很好的解决这些问题。如图4右图所示,通过在MDA中使用网格模块我们可以无需将脊交换机的40G端口使用MTP-LC模块分支为10G端口就能实现与叶交换机的全交叉互联,从而大大优化MDA的布线结构并可为用户带来如表2所示的很多价值。

表2:网格模块在MDA布线中的优势

总结

随着用户对数据网络带宽需求的逐年提高,数据主干网络已经逐渐由10G向40G演进,今后还将会升 到100G。这样使用40G分支为4x10G以及将来由100G分支为4x25G的脊叶两层网络将成为支持大型数据既经济又高效的网络结构。因此使用网格模块来实现脊叶两层网络全交叉互联的布线结构不但可以支持目前的40G网络,还可以让用户的布线系统平滑的升 到未来的100G网络,有效的解决了用户对未来系统升 的困扰。

在不久的将来,多智时代一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏多智时代,及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

数据发展 互联网 电子商务 社交媒体 互联网金融 智能
0
为您推荐
大数据时代,主要需要什么类型的人才?

大数据时代,主要需要什么类型的人才?

什么是大数据,大数据是主要指的是,无法在可承受的时间范围内用常规软件工具进行捕捉…...

什么样的人才是大数据人才呢?我们应该怎么定义和分类?

什么样的人才是大数据人才呢?我们应该怎么定义和分类

在未来世界,国家之间、区域之间甚至是公司之间的大数据人才的争夺战,将是愈演愈烈的…...

数据科学,数据分析和机器学习之间,有什么本质区别?

数据科学,数据分析和机器学习之间,有什么本质区别?

我们都知道机器学习,数据科学和数据分析是未来的发展方向。有些公司不仅利用大数据帮…...

大数据技术怎么学习,在学习大数据之前,需要具备什么基础?

大数据技术怎么学习,在学习大数据之前,需要具备什么

  大数据又称黑暗数据,是指人脑无法处理的海量数据聚合成的信息资产,在民生、IT、…...

大数据现在处于什么阶段,入行大数据,需要学习哪些基础知识?

大数据现在处于什么阶段,入行大数据,需要学习哪些基

大数据的发展历程总体上可以划分为三个重要阶段,萌芽期、成熟期和大规模应用期…...

对于大数据开发的学习,最经典的学习路线是什么?

对于大数据开发的学习,最经典的学习路线是什么?

对于现代社会,大数据开发的重要性不言而喻,通过大量的数据处理、分析获取有价值的信…...