首页 首页 大数据 大数据入门 查看内容

开源技术群雄逐鹿 数据分析大势所趋

木马童年 2019-1-14 01:40 2 0

中国的开源市场与其它国家有何异同?如何理解目前开源技术的诸多选择? 当谈及美国和中国开源市场的异同,Teradata旗下大数据公司总裁Ron认为虽然中国和美国存在地域和文化的差异,但对开源以及如何应用开源进行数据 ...

中国的开源市场与其它国家有何异同?如何理解目前开源技术的诸多选择?

当谈及美国和中国开源市场的异同,Teradata旗下大数据公司总裁Ron认为虽然中国和美国存在地域和文化的差异,但对开源以及如何应用开源进行数据分析都表现出了极大的兴趣;而且,开源与数据分析相关的技术,部署速度也是非常快。虽然不同的公司或组织采用开源分析技术的程度不尽相同,但一般而言,首先采用这些开源技术的公司是互联网公司或者是广告公司。这一点中美两个市场比较相似。金融服务行业、银行业、零售业等,紧随其后。孔宇华也认为,很多开源技术最早起源于美国,美国对开源技术的采用在各个方面都比较规范。但是,开源技术在中国的发展速度很快,尤其在当今的大数据时代。

但是,中国也有自身的市场特点。Ron指出,在公有云领域,中国的公有云提供商就和美国或其他地方不一样,例如,美国市场的提供商Amazon或Google在中国可能就不是占主导地位。孔宇华表示,虽然具有这样的差异性,但是总体发展趋势是一样。所以,在市场方面,中国的大数据和云服务的市场和美国市场的发展脚步基本上是一致的。

开源技术群雄逐鹿

开源市场从来不缺席创新者,目前的开源大数据技术用群雄逐鹿来形容丝毫不为过。Ron认为,开源的战略就是要帮助客户能够取得成功,就是用数据分析建立相应的生态系统。客户可能会用更多的技术,这些技术有的可能是数据的存储,有的可能是数据的分析,所以要建立这样一种能力,既有数据仓库,又有数据湖,另外还能实时处理相应的数据,通过分析工具进行相应的分析。针对目前流行的开源技术,Ron进行了如下解读:

1、Hadoop从长远来讲还是会被长期使用的,比如在运营或者其他方面。Hadoop更多的是针对数据存储这一层,有HDFS,这个是肯定会被继续使用。

从资源的管理系统来看,我们确实看到人们在用Spark。不过,这是用在Hadoop之上。所以,Spark是针对资源的管理。对于用户而言,Spark的优势体现在需要实时互动的方面,运营上或跟客户的互动方面。从成熟度来讲,Spark是一项快速成熟的技术,但是还是和Hadoop的核心技术是不能相提并论。

2、Cassandra更多地是在低延迟的反应上,比如在网上或移动网址上的一些互动。当有一些事件进入,你要看是不是有风险,这个系统会不好运转。

3、Kafka是一个常用的技术,特别是你在Messaging上,就是报文上。如果是可拓展的情况下,一系列报文进来的时候,它是有用处的。在针对数据流方面,Kafka在技术方面有很大的提升空间。

4、Akka只是框架性的,虽然说还算成熟,它是在很少的社区内被人们所使用的一项技术。

但是,人们对于存储的保守心态是不会变的,因为一旦存储层出现了缺陷,就会造成数据泄露的风险。所以,存储对开源技术的态度还是很保守。但是,对于一些API,人们还是乐于尝试一些新的技术。

数据重要,数据分析更关键

无论企业采用何种开源技术,都是希望能够更有效地对数据进行分析,为企业带来投资回报率。“企业越来越多地使用数据分析,而且不光要对数据进行分析,还要把分析做得更好。”Ron说道,“我们看到很多公司认识到了数据的重要性,而且对数据的使用也越来越像数据科学家对数据的分析和使用,并且对这些数据进行一些自动化的工作。通过这些,使自己和自己的竞争对手有一个差分化,这是他们业务成功的一个非常重要的部分。”

Ron认为,在第一轮数字化浪潮中脱颖而出的公司一般是在网上和消费者互动的消费类公司;在下一轮数字化浪潮中,将有更多的工业行业和一些传统的B2B行业加入数字化的竞争大军。物联网也是非常关键的数字化发展领域。所以,要用好数据分析,这不仅仅将增加自身的企业竞争力,同时也涉及到企业的生死存亡。

在不久的将来,多智时代一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏多智时代,及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

开源技术 大数据 数据分析 互联网 金融服务 大数据时代
0
为您推荐
大数据告诉你,9月智能手机行业动态

大数据告诉你,9月智能手机行业动态

2014年9月,中国智能手机市场在售机型的数量仍在1100款以上,但参与竞争的厂商数量则…...

秒级处理海量数据,浙江移动大数据平台是怎么做到的?

秒级处理海量数据,浙江移动大数据平台是怎

项目背景 近年来,随着云计算、移动互联网、物联网等技术的发展,以及智能手机、平板…...

实体零售商的大数据玩法:监控顾客的手机 隐私是最大障碍

实体零售商的大数据玩法:监控顾客的手机

北京时间7月15日消息,和许多实体零售商一样,诺德斯特姆公司(Nordstrom)也想增加对…...

整合AI和数据科学新利器:基于Apache Spark的Hydrogen项目

整合AI和数据科学新利器:基于Apache Spark

作者:Reynold Xin 译者:Sambodhi 以往数据集的准备以及模型的训练工作是分开的,这…...

旅游“大数据”需要“云计算”

旅游“大数据”需要“云计算”

“五一”小长假第一天,南京多个景区景点出现了人挤人、人看人的盛况,其中,古林公园…...

吐槽:25家硅谷大数据/SaaS公司技术博客

吐槽:25家硅谷大数据/SaaS公司技术博客

本文主要介绍美国硅谷数据类技术公司,也可以说是SaaS领域。有一些笔者也没有深入了解…...