首页 首页 云计算 查看内容

云存储技术带来什么

木马童年 2019-4-15 20:34 19 0

“云计算将带来一场革命”。技术革命一定是源于某项技术突破,那么云计算又是源于何?从技术的视角看,云计算所突破的就是海量存储技术以及在此基础上的并行计算技术的突破。正是这些突破,造就了诸如Google、Facebo ...

    “云计算将带来一场革命”。技术革命一定是源于某项技术突破,那么云计算又是源于何?从技术的视角看,云计算所突破的就是海量存储技术以及在此基础上的并行计算技术的突破。正是这些突破,造就了诸如Google、Facebook、Twitter这些新兴互联网企业。另一方面企业信息系统正日益变得复杂与庞大,上述技术突破展现出来的几乎无限的扩展、海量计算以及高可用的特性正是企业所迫切需要的。

    一、云存储技术带来什么

    云存储技术最早来源于互联网企业,这也是可以理解的,这些企业所面临的访问量也是之前仟何企业所不曾遇到的。从一个数据就可以得知:现在支付宝每天新增的记录数为3亿条。显然这样的数据量以及在此之上的运算,不是传统关系型数据库可以支撑的了。

    这里所说的云存储技术并非特指某项技术,而是一大类技术的统称,一般来自只要是具有以下特征的数据库都可以被看作是云存储技术。首先是共有几乎无限的扩展能力,可以支撑几百TB直至PB级的数据;此外,是采用了并行计算模式,从而获得海量运算能力。简而言之,当计算能力不足,无论是存储还是运算,对于需求提出方而言,就是简单的增加机器即可实现。云存储更进一步的特征便是高可用性,也就是说,在任何时候都能够保证系统正常使用,即便有机器发生故障。目前常见的符合这样特征的系统,有Google的GFS以及BigTable,Apache基金会的Hadoop(HDFs和HBaSe),最初来自于Amazon现在也属于Apache基金会的Cassandra,此外还有MongoDB、CouchDB、Hypetable、Redis等等。

    作为可扩展性是指系统架构可以让系统提供更多的服务而不降低使用性能的特性。通过现有的机器增加硬件的容量、内存进行垂直扩展,这是最简单的达到可扩展性的手段,但这有个限度。而水平扩展则需要增加更多机器,每台机器提供全部或部分数据。这样所有主机都不必负担全部业务请求。但软件自己需要有内部机制来保证集群中节点间的数据同步。而云存储技术所带来的可扩展性几乎是无限的,并且对于投资者而言投入(硬件投资)与产出(提供更多的服务)几乎是线性的。

    水平扩展说到底就是使用更多的主机来承担运算。假设一台主机在运行一年的时间里发生的故障是n次,那么20台主机在运行一年的时间里发牛故障的次数则为20×n,由此看出当某个集群中主机的数量达到一定程度,在一年中发生故障的概率将会非常大,甚至每天有机器发生故障也不是危言耸听。许多云存储技术都将此作为基本的设计前提,凶此云存储技术天生具有良好的高可用性与容错性。

    是否可把现在的企业应用都替换了?不行。实行应用前,需先满足EricBrewer的CAP理论(2002年被理论证明)。依据这个理论,一个大规模分布式数据库系统,有以下三个需求:

    1一致性(Consistency):对于所有的数据库客户端使用同样的查询都可以得到同样的结果,即使是有并发更新的时候也是如此。

    2可用性(AvailabiLity):所有的数据库客户端总是可以读写数据。

    3分区耐受性(PartitionTolerance):数据库可以分散到多台机器上,即使发生网路故障,被分成多个分区,依然可以提供服务。

    CAP理论指出,同时只能具有这三个特性中的两个。传统的关系型数据库所强调的是一致性(C)与可用性(A),而在分区耐受性(P)方面的支持十分有限,这一点从本质上揭示了上述关系型数据库的问题。再来看云存储技术,都特别强调了分区耐受性(P),从而弥补关系型数据库存此方面的不足,接下来的区别就是选择可用性(A)还是一致性(C)了。对于CP系统,放弃的是可用性(A),数据可保持一致性,但如果有节点发生故障,仍然会有部分数据无法访问;而对于AP系统,放弃的则是一致性(C),那么你的系统就有可能返回不太精确的数据。

    以上技术特点决定了云存储技术有一些特别擅长的领域。例如访问流量可能会非常大,即随时访问数据量非常大,从而需要大规模分布式部署。考察读写操作的比例,特别适合统计分析型工作。有时对于数据一致性要求并不高,可以容忍当某个数据被写入后,在一段合理的时间内可能会有部分用户读到的是写入之前的数据,搜索业务就是一个典型例子。

[page]    但同时也有些计算领域并非云存储技术所擅长。例如事务密集型计算,这类计算对一致性要求非常高,相比读操作,写操作会频繁持续发生。

    通过以上分析,我们发现,“年轻的”云存储技术并非完美无暇,看似“古老的”关系型数据库在其面前并非一无是处。云存储技术现在不是,将来也小应该是关系型数据库的替代者。在我们为它所展现出来的那些令人激动的特性面前,必须冷静分析,这是否就是企业运算所需要的?至少现在看来小是全部。

    二、企业应用探索

    显然不是所有的企业计算都适合使用云存储,采用关系型数据库也许仍然是目前的最佳选择。那么应该将其用在哪里?以下列举两个目前较适合采取云存储技术的应用领域。

    1数据仓库

    数据仓库将集中来自几乎所有业务生产系统的数据,对外提供企业的各种查询报表以及数据分析。从功能看这是一个典型的统计分析型工作,日常大量发生的都是读操作。另一方面需要周期性地从业务生产系统收集原始数据,并可能需要对其进行进一步的数据加工,这一过程繁琐密集。数据量无疑非常大,实际生产中的数据仓库通常需要保留几年至十几年的数据,可以达到TB级,其中一些数据表可能会达到几十亿条甚至更多的记录数。以上这些需求特点决定了其特别适合采用云存储技术。

    2企业统一资料库

    所谓企业统一资料库,就是将企业运行中所基于的各种资料集中到一个应用系统中进行统一管理,再由这个系统以服务的方式,提供给所有需要的其他业务系统,所提供的服务除普通查询外,还应包含基于搜索引擎的资料搜索服务,包括商品(以及商品类别、品牌)、合作伙伴(供应商、客户、加盟商等)、合同(采购合同、销售合同、加盟合同等)等。在这个应用中读操作发生的频率将远大于写操作,尤其当其以在线方式提供资料服务时更是如此,例如为网店提供资料服务。

    云存储在内的一系列云计算技术都还处于刚开始的阶段,就如IT历史上的其他新技术一样,在为我们展示出令人激动的新特性同时,还有很多不足。这些不足既包括技术本身还有很多有待完善的地方,也包括围绕其后续开发工具不足导致的进入门槛偏高,以及与传统技术的融合程度不高等等。但这些并不妨碍它未来美好的明天,为客户不断创造新的价值。

在不久的将来,多智时代一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏多智时代,及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

云计算 存储技术 并行计算 互联网 云存储 数据库
0
为您推荐
人算不如天算,数据驱动的云计算远超天算啦!

人算不如天算,数据驱动的云计算远超天算啦

在今天的世界, 一切业务数据化,一切数据业务化,只有这样才能迎接这个时代。所以我希…...

业务不到两年增速85%,是哪家公司这么厉害?

业务不到两年增速85%,是哪家公司这么厉害?

核心提示:自从2015年9月的OracleOpenWorld大会上推出全线的SaaS和PaaS产品以来,甲骨…...

打开企业云计算之门的利剑,不容错过?

打开企业云计算之门的利剑,不容错过?

在现实中,很多企事业单位的IT基础设施就处于此层次级别,即:只是采用了虚拟化技术去…...

云计算炙手可热,究竟是谁在背后?

云计算炙手可热,究竟是谁在背后?

核心提示:前不久,万达网络科技集团与美国IBM公司达成合作,借助IBM的云计算技术,进…...

云计算对数据进行智能分析,云计算核心技术有哪些?

云计算对数据进行智能分析,云计算核心技术

随着信息技术不断进步,闪存、磁盘、数据中心、DNA等各种新的存储技术不断出现。即便…...

“云”上存储日渐成熟, 那么最关键的是什么?

“云”上存储日渐成熟, 那么最关键的是什

展望未来,世界并不只是由公有或私有化技术组成,还有许多两者的混合体。因此势必会有…...

云计算开源呈现爆发式增长,如何使用云计算开源技术成为产业链关注的热点?

云计算开源呈现爆发式增长,如何使用云计算

近几年来,在云计算领域,开源技术呈现爆发式的增长,借用云计算领域的主流看法,这个…...

云计算提供了基础平台,云计算产业进入2.0

云计算提供了基础平台,云计算产业进入2.0

云计算引发了软件开发部署模式的创新,成为承载各类应用的关键基础设施,并为大数据、…...

私有云的建设是一个需要长期迭代的过程,我们都还在路上!

私有云的建设是一个需要长期迭代的过程,我

伴随着IT新技术的发展,像虚拟化、云计算和大数据对大家来说已经不再陌生了。在企业里…...

大家都要向云计算转型,为什么?

大家都要向云计算转型,为什么?

我们曾经开玩笑说硬件也要向云计算转型,软件也要向云计算转型,系统集成商也要向云计…...