首页 首页 大数据 查看内容

认识大数据错误理念 走出迷雾森林

木马童年 2019-4-29 15:00 17 0

在大数据时代下,提及Hadoop技术,相信很多都不陌生,就于Hadoop技术本身而言,可以说是开源领域的传奇,然而如今业界还伴随着一些流言,这些流言可能会导致IT高管们带着“有色”的观点去制定策略。 从IDC分析师报 ...

大数据时代下,提及Hadoop技术,相信很多都不陌生,就于Hadoop技术本身而言,可以说是开源领域的传奇,然而如今业界还伴随着一些流言,这些流言可能会导致IT高管们带着“有色”的观点去制定策略。

从IDC分析师报告中2013年数据存储上的增长速度将达到53.4%,AT&T更是声称无线数据的流量在过去的5年内增长200倍,从互联网内容、电子邮件、应用通知、社交消息以及每天接收的消息都在显着的增长,这也是众多大企业都聚焦大数据的原因所在。

毫无疑问,Hadoop成为解决大数据需求的主要投资领域之一,而类似Facebook等互联网巨头在都公开的吹捧Hadoop上取得的成功,同样初入大数据领域的公司也必先着眼于Hadoop。但对于Hadoop技术而言,是一个多维的解决方案,可以通过不同的方式进行部署和使用。下面就了解一些关于Hadoop和大数据的七大错误理念:

1.大数据仅仅是容量

对大数据来说,除了指体积之外,还经常提到Variety(多样)、VariabilITy(可变)、VelocITy(速度)和Value(价值)。关键点在于大数据并不是体积上的增长,更多是未来的实时分析、结构化和非结构化数据的发展,并被企业CIO用于更好的决策。

综上所述,并不是只有分析大数据才会获得价值。举个例子,存储和分析1PB的超时限数据的价值可能比不上实时分析1GB的数据,而从“新鲜”的数据上获得价值比解剖过时的数据更具价值。

2.传统SQL不能在Hadoop上使用

众多厂商在Hadoop上投入精力,布局市场战略时,十分清楚HDFS和MapReduce受限于处理类似SQL语言的能力,这也是Hive、Pig和Sqoop最终得以推广的原因。更多企业通过Hadoop和SQL兼容来管理大量的数据,Pivotal HD是结合SQL并行处理资料库与Hadoop 2.0,针对企业资料分析需求而优化的Hadoop强化版本。

3.Hadoop是唯一的新IT数据平台

谈到数据平台,大型机在IT投资组合里有是一个长期投资,与ERP、CRM和SCM这些系统一样演变至今。而面对大数据时代,大型机不想被架构遗弃,必须展示在现有IT投资环境中的价值,而许多客户遇到速度、规模和成本的问题,通过vFabric SQLFire这样的内存大数据网络去解决高速数据存取,促进大型机批处理或实时分析报告这些问题。

4.虚拟化会导致性能下降

Hadoop最初的设计只是运行实体服务器上,然而随着云计算发展,许多企业都希望能作为云数据中心提供服务。之所以虚拟化Hadoop,企业首先要考虑管理基础设施的扩展性,认识到扩展计算资源,比如虚拟Hadoop节点在数据和计算分开时会对性能有所帮助,否则如果你关闭某个Hadoop节点将丢失上面的所有数据或者添加一个没有数据的空节点。

5.Hadoop只可以在数据中心运行

对于在SaaS云服务解决方案,许多云服务允许云端运行Hadoop、SQL,这无疑可以帮助企业省下数据中心建造投资的时间和金钱。特别是对于公有云情况下,Java开发者可以从Spring Data for Hadoop以及一些其它的GITHub用例中获益。

6.Hadoop对虚拟化无经济价值

Hadoop被很多人认为,尽管在商用服务器上运行,添加一个虚拟层在带来额外支出的同时并不会有额外的价值收益,但其实这个说法并没有考虑到数据和数据分析事实上都是动态的。虚拟化基础设施同样可以减少物理硬件数量,让CAPEX(资本支出)直接等于商用硬件成本,而通过自动以及高效利用共享基础设施同样可以减少OPEX(运营成本)。

7.Hadoop不能运行在SAN或NAS上

尽管Hadoop在本地磁盘上运行,对于中小型集群一样可以在一个共享的SAN环境下体现良好的性能表现,而高带宽比如10GB以太网、PoE以及iSCSI对性能同样有很好的支持。

以上七大有关大数据“误解”问题的客观看待。如同不同项目需求不同,Hadoop是一个工具来帮助企业更好的应对大数据问题。无论是面对数据网格的GemFire 或SQLFire,还是面向消息的RabbITMQ中间件,一个完整的SaaS解决方案如今比在Hadoop环境更容易实现。

t评论:

大数据的影响力日渐深入,大数据已经成为行业追逐的焦点,正确认识大数据的错误理念,可以帮助人们走出迷雾森林,以上几点关于大数据错误理念,需要客观理性看待,找寻应对策略,才能正确运用大数据,将大数据价值发挥的淋漓尽致。

在不久的将来,多智时代一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏多智时代,及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

大数据时代 数据存储 互联网 大数据 解决方案 非结构化数据
0
为您推荐
大数据技术改变城市的运作方式,智慧城市呼之欲出

大数据技术改变城市的运作方式,智慧城市呼

纽奥良虽像大多数城市一样有火灾侦测器安装计划,但直到最近还是要由市民主动申装。纽…...

大数据分析面临生死边缘,未来之路怎么走?

大数据分析面临生死边缘,未来之路怎么走?

大数据分析开始朝着营销落地,尤其像数果智能这类服务于企业的大数据分析供应商,不仅…...

什么是工业大数据,要通过3B和3C来理解?

什么是工业大数据,要通过3B和3C来理解?

核心提示:工业视角的转变如果说前三次工业革命分别从机械化、规模化、标准化、和自动…...

大数据普及为什么说肥了芯片厂商?

大数据普及为什么说肥了芯片厂商?

科技界默默无闻的存在,芯片行业年规模增长到了3520亿美元。半导体给无人驾驶汽车带来…...

大数据技术有哪些,为什么说云计算能力是大数据的根本!

大数据技术有哪些,为什么说云计算能力是大

历史规律告诉我们,任何一次大型技术革命,早期人们总是高估它的影响,会有一轮一轮的…...

个人征信牌照推迟落地,大数据 重新定义个人信用!!

个人征信牌照推迟落地,大数据 重新定义个

为金融学的基础正日益坚实。通过互联网大数据精准记录海量个人行为,进而形成分析结论…...