首页 首页 大数据 查看内容

Hadoop架构的人气下滑原因有哪些?

木马童年 2020-3-17 13:20 119 0

Hadoop架构的人气在下滑,这可能归咎于几个不同的因素,尤其是机器学习的兴起。过去这几年,HDFS的使用量一直在下降,这种基于Java的文件系统已几乎成为所谓的大数据革命的代名词。这主要归因于市场对Hadoop普遍缺乏 ...

Hadoop架构的人气在下滑,这可能归咎于几个不同的因素,尤其是机器学习的兴起。

过去这几年,HDFS的使用量一直在下降,这种基于Java的文件系统已几乎成为所谓的大数据革命的代名词。这主要归因于市场对Hadoop普遍缺乏兴趣。但是导致Hadoop被大规模抛弃的Hadoop架构方面又如何呢?要知道,就在不久前Hadoop还大有希望。

坦率地说,Hadoop走下坡路似乎找不到一个最根本的理由。相反,Hadoop架构人气下滑可能归咎于几个不同的因素。

一些IT专业人员对于自己无法在Hadoop集群上执行任何有意义的数据分析颇为沮丧。一种常见的观点是,Hadoop非常适合存储大量数据,但是对于需要最终用户可以直接处理这些数据的那些企业来说,它又往往不是最佳解决方案。

几家供应商已经开发了SQL on Hadoop解决方案,让客户可以针对驻留在Hadoop上的数据运行SQL查询。即便如此,这些工具也不是天生一模一样,每家SQL on Hadoop供应商都似乎为特定的使用场合设计其工具。不难想象众多企业组织痛苦地发现:它们购买的SQL on Hadoop引擎其实并不是很适合自己的大数据项目

不仅仅是很难让Hadoop完成企业组织需要它完成的任务这个因素导致Hadoop的使用量减少。导致Hadoop日渐式微的偶尔提到的另一个原因是,Hadoop与目前的IT趋势不相合拍。

大数据革命似乎在一夜之间就立稳了脚跟;大数据蔚然成风时,Hadoop完全准备好了响应号召。毕竟,据Hortonworks声称,HDFS文件系统“已表明了它具有在生产环境下支持200 PB存储的可扩展性”,而4500台服务器组成的单单一个集群就能支持“近10亿个文件和块”。很显然,HDFS处理得了大数据。

可问题是,大数据潮流似乎已翻篇了。尽管IT部门仍然在搞可能归属大数据这个大类的项目,但这个术语用得越来越少。相反,当下的IT潮流似乎是机器学习;当然,Hadoop并不直接支持机器学习。市面上有一些第三方工具(比如Apache Mahout)能够做到让Hadoop支持机器学习,但可能数量太少、动作太晚。

然而,Hadoop使用量下降的最大原因可能是亚马逊AWS和微软Azure等IaaS云日渐成熟。公共云对于企业组织远离Hadoop起到了重要的作用,这出于几个不同的原因。

第一个原因是纯粹的感知或看法。我们生活在一个云优先的世界。公共云提供商在说服人们相信在云端运行工作负载比在本地运行同样那些工作负载要省钱得多这方面做得很到位。

另外,外头往往认为继续在本地环境部署新工作负载的企业多少落后于时代。

公共云提供商慢慢促使Hadoop衰落的第二个原因是,云提供商实际上构建了一个更管用的捕鼠器。虽然值得一提的是,亚马逊确实通过亚马逊EMR支持Hadoop和Spark,但对于需要大数据分析功能的企业组织而言,EMR并非亚马逊的唯一解决方案。亚马逊还提供Athena和Elasticsearch,前者可用于分析存储在亚马逊S3中PB级的数据,后者支持PB级的日志分析、文本搜索和应用程序监控功能。

在不久的将来,多智时代一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏多智时代,及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

机器学习 大数据 数据分析 解决方案 Hadoop 大数据项目
0
为您推荐
大数据技术改变城市的运作方式,智慧城市呼之欲出

大数据技术改变城市的运作方式,智慧城市呼

纽奥良虽像大多数城市一样有火灾侦测器安装计划,但直到最近还是要由市民主动申装。纽…...

大数据分析面临生死边缘,未来之路怎么走?

大数据分析面临生死边缘,未来之路怎么走?

大数据分析开始朝着营销落地,尤其像数果智能这类服务于企业的大数据分析供应商,不仅…...

什么是工业大数据,要通过3B和3C来理解?

什么是工业大数据,要通过3B和3C来理解?

核心提示:工业视角的转变如果说前三次工业革命分别从机械化、规模化、标准化、和自动…...

大数据普及为什么说肥了芯片厂商?

大数据普及为什么说肥了芯片厂商?

科技界默默无闻的存在,芯片行业年规模增长到了3520亿美元。半导体给无人驾驶汽车带来…...

大数据技术有哪些,为什么说云计算能力是大数据的根本!

大数据技术有哪些,为什么说云计算能力是大

历史规律告诉我们,任何一次大型技术革命,早期人们总是高估它的影响,会有一轮一轮的…...

个人征信牌照推迟落地,大数据 重新定义个人信用!!

个人征信牌照推迟落地,大数据 重新定义个

为金融学的基础正日益坚实。通过互联网大数据精准记录海量个人行为,进而形成分析结论…...