首页 首页 大数据 查看内容

你真正理解大数据吗,大数据与传统技术的本质区别有哪些?

木马童年 2017-6-16 09:40 119 0

当大数据概念进入中国之后,很多中国企业分不清楚大数据与传统数据处理之间的关系,很多人把利用数据的工作都叫做大数据,导致了概念的混淆。甚至一些大学教授,ODS功能叫做大数据是根本错误的

        技术领先的国家,在大数据概念之前,已经有了丰富的利用数据的经验,比如数据挖掘技术、BI、ODS等技术在现今国家已经有了非常丰富的案例。而早期利用数据,因为数据获取成本高,只能是对精选的数据进行处理,这个时候统计学的数据原理、以及分类聚合、寻找关联性等技术是数据的主要技术。

       而中国企业在2012年时,在应用数据方面落后于发达国家,仅有个别行业、个别企业利用了信息系统的数据创造价值。

       而当大数据概念进入中国之后,很多中国企业分不清楚大数据与传统数据处理之间的关系,很多人把利用数据的工作都叫做大数据,导致了概念的混淆。甚至一些大学教授,ODS功能叫做大数据是根本错误的。

大数据创造价值的基础是XML、云计算、物联网

       大数据与传统的数据技术的差别:

       1、数据规模大:传统数据技术主要是利用现有存在关系性数据库中的数据,对这些数据进行分析、处理,找到一些关联,并利用数据关联性创造价值。这些数据的规模相对较小,可以利用数据库的分析工具处理。而大数据的数据量非常大,不可能利用数据库分析工具分析。

       2、非结构化数据:传统数据主要在关系性数据库中分析,而大数据可以处理图像、声音、文件等非结构化数据。

       3、处理方式不同:因为数据规模大、非结构化数据这两方面因素,导致大数据在分析时不能取全部数据做分析。大数据分析时如何选取数据?这就需要根据一些标签来抽取数据。所以大数据处理过程中,比传统数据增加了一个过程Stream。就是在写入数据的时候,在数据上打一个标签,之后在利用大数据的时候,根据标签抽取数据。这个过程就类似于寻找图书:如果你在你个人书柜里,寻找一本书是很容易的,所以你买了书,可以直接放到书柜上,不用做任何处理;而如果图书馆买了书,如果不做任何处理的话,你是很难找到一本书的,所以图书馆在新书入库的时候,首先会对每本书打上标签,而这个打标签的过程,就是类似于Stream的工作。

       XML技术是大数据Stream的基础

       在探索大数据的技术基础的时候,很多人都容易忽视XML技术。

       XML是eXtensible Markup Language的英文缩写,将文件加上可以扩展(可以自定义)的标签的语言。

       XML是在2000年左右非常热门的技术,其快速发展促进了很多技术的进步:html5技术发展,通过SOA技术实现跨平台功能调用,文档格式的统一等等。

大数据创造价值的基础是XML、云计算、物联网

       使用XML标记的XSLT语言,是扩展样式表转换语言,可以将XML文件转化成任何样式的文本。

       随着XML技术的发展,很多文件都是用XML格式存储,比如Word文档等。打上XML标签的数据可以非常容易的通过XSLT抽取出来。

       XML技术可以方便的为数据打上标签,并能快速通过标签抽取数据,一方面可以在超越关系数据库范围之外的更大范围处理数据;另外可以支持非结构化数据的处理。所以XML技术是大数据发展的最基础的技术。

       云计算技术为大数据提供高性价比的计算和存储能力

       数据可以创造价值,但大数据处理需要强大的计算和存储能力。而在早期,这么强大的计算和存储能力需要在大型机上实现。大型机价格昂贵,早期可以使用数据创造价值的企业都是非常富有的企业,比如电信运营商、银行类的企业。

大数据创造价值的基础是XML、云计算、物联网

       早期国内数据处理能力强的企业都是银行、电信运营商的供应商。

       而云计算技术的发展,可以让大量的价格便宜的PC机汇聚起来,形成类似于大型机的计算和存储能力,而成本又非常低。这个时候数据分析的成本就可以被更多的企业所承担,从而形成对数据分析需求的一个爆发。

       云计算对计算和存储能力的可扩展性,对数据的分布式处理方式,促发了大数据概念的诞生。

       物联网为大数据提供丰富的数据来源

       早期的数据处理,其数据来源主要是通过手工输入、在手工输入数据通过计算机处理之后形成的数据;这样的数据还是有限的。

       而物联网技术的发展,更多的传感设备可以自动采集数据,并能够通过通讯技术、云计算技术汇聚到一个平台上,从而极大的丰富了数据来源。

       物联网技术让数据可以成几何级数的增长,为大数据提供了丰富的数据来源,从而促发了对数据分析技术的需求,丰富了大数据应用。

       而物联网最终获得价值,也是通过大数据积累到一定量之后,形成智慧,创造价值的。

       未来人工智能、物联网、智能制造创造价值,都离不开大数据的价值。

                                   

在不久的将来,多智时代一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏多智时代,及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

传统数据 物联网技术 云计算 数据库 统计学
0

聚焦多智时代,引领智能变革

© 多智时代(www.duozhishidai.com)版权所有 / 工信部备案 豫ICP备15012664号-1