首页 首页 大数据 查看内容

Hadoop是什么,主要有哪几部分组成和Hadoop的影响力?

木马童年 2017-11-17 16:59 1467 0

通俗来讲,Hadoop是由Apache软件基金会所开发出来的开放源代码分布式计算技术,是以Java语言开发,专门针对大量且结构复杂的大数据分析所设计,其目的不是为了瞬间反应、撷取和分析数据,而是通过分布式的数据处理模 ...

        通俗来讲,Hadoop是由Apache软件基金会所开发出来的开放源代码分布式计算技术,是以Java语言开发,专门针对大量且结构复杂的大数据分析所设计,其目的不是为了瞬间反应、撷取和分析数据,而是通过分布式的数据处理模式,大量扫描数据文件以产生结果。其在效能与成本上均具有优势,再加上可通过横向扩充,易于应对容量增加的优点,因而备受瞩目。

timg (3).jpg

        Hadoop不需要使用商业服务器,在一般个人计算机上就能运转。用户可利用网络连接两台以上的电脑组成服务器群,即所谓的“丛集”,丛集内的主机会分工合作处理数据。随着需要处理的数据量越来越大,只要不断增加计算机数量,而不需修改应用程序代码,就能立即提高Hadoop的运算能力。

         总而言之,Hadoop可以用更低的成本,得到更高的运算效能,提高数据分析的能力,也难怪有些人称Hadoop为大数据的救星,这说法虽然夸张,但却有几分真实,因为通过Hadoop,就算资金不够雄厚的个人或组织,也能分析大量的结构与非结构数据。

         Hadoop的组成,Hadoop的组成主要分为三个部分,分别为最著名的分布式文件系统(HDFS)、MapReduce框架、储存系统(HBase)等组件。

          HDFS:数据切割、制作副本、分散储存

          HDFS会把一个文档切割成好几个小区块、制作副本,然后在Hadoop的服务器群集中跨多台计算机储存副本,文档副本通常预设为3份,该设定可以自行更改。除此之外,HDFS的理念是其认为移动运算到数据端通常比移动数据到运算端来得成本低,这是由于数据的位置信息会被考虑在内,因此运算作业可以移至数据所在位置。

           MapReduce:拆解任务、分散处理、汇整结果

           MapReduce是由Map和Reduce组成,Map为分布式计算数据,Reduce则是负责汇整Map运算完的结果并输出。由于将一份数据分成多份储存和运算,本来一台计算机的工作可以被分工合作,所以速度当然可以快很多。

            更厉害的是当某副本毁损时,MapReduce还会自动侦测,改派另一个副本执行任务。因为Hadoop一般是在计算机上运转,计算机的故障率比商业服务器高出许多,所以这种容错的功能非常重要,当丛集中有计算机毁损时,才能继续执行任务。

            简单来说,Hadoop借由把数据切割、分散存放和处理的方式,让丛集内每台计算机只需处理小部分的任务,大大提高了数据分析的效率,再加上可以同时处理结构和非结构的数据格式、相对便宜的建置成本及容错的特点,使之成为大数据分析很重要的技术。

           HBase:分布式储存系统

                HBase是Hadoop所使用的数据库,可在随机且实时地读写超大数据集时使用。HBase是一种分布式储存系统,并且具备可用性、高效能、以及容易扩充容量及效能的特性。HBase适用于在数以千计的一般等级服务器上储存PB级的数据,其中以Hadoop分布式文件系统(HDFS)为基础,提供类似Bigtable的功能,HBase同时也提供了MapReduce程序设计的功能。

           Hadoop的影响力,就是说,Hadoop丛集可扩充至PB甚至是EB的容量,过去只能仰赖抽样数据进行分析的企业数据分析师及营销人员,现在能将所有相关的数据纳入一起分析,再加上处理速度与日俱进,可借由反复进行分析或测试各种不同的查询条件,进而获得过去无法取得的更有价值的洞见与信息。

在不久的将来,多智时代一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏多智时代,及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

Hadoop 大数据分析 数据处理
0
为您推荐
大数据技术改变城市的运作方式,智慧城市呼之欲出

大数据技术改变城市的运作方式,智慧城市呼

纽奥良虽像大多数城市一样有火灾侦测器安装计划,但直到最近还是要由市民主动申装。纽…...

大数据分析面临生死边缘,未来之路怎么走?

大数据分析面临生死边缘,未来之路怎么走?

大数据分析开始朝着营销落地,尤其像数果智能这类服务于企业的大数据分析供应商,不仅…...

什么是工业大数据,要通过3B和3C来理解?

什么是工业大数据,要通过3B和3C来理解?

核心提示:工业视角的转变如果说前三次工业革命分别从机械化、规模化、标准化、和自动…...

大数据普及为什么说肥了芯片厂商?

大数据普及为什么说肥了芯片厂商?

科技界默默无闻的存在,芯片行业年规模增长到了3520亿美元。半导体给无人驾驶汽车带来…...

大数据技术有哪些,为什么说云计算能力是大数据的根本!

大数据技术有哪些,为什么说云计算能力是大

历史规律告诉我们,任何一次大型技术革命,早期人们总是高估它的影响,会有一轮一轮的…...

个人征信牌照推迟落地,大数据 重新定义个人信用!!

个人征信牌照推迟落地,大数据 重新定义个

为金融学的基础正日益坚实。通过互联网大数据精准记录海量个人行为,进而形成分析结论…...