数智资源网
首页 首页 大数据 查看内容

Hadoop架构的人气下滑原因有哪些?

木马童年 2020-3-17 13:20 454 0

Hadoop架构的人气在下滑,这可能归咎于几个不同的因素,尤其是机器学习的兴起。过去这几年,HDFS的使用量一直在下降,这种基于Java的文件系统已几乎成为所谓的大数据革命的代名词。这主要归因于市场对Hadoop普遍缺乏 ...

Hadoop架构的人气在下滑,这可能归咎于几个不同的因素,尤其是机器学习的兴起。

过去这几年,HDFS的使用量一直在下降,这种基于Java的文件系统已几乎成为所谓的大数据革命的代名词。这主要归因于市场对Hadoop普遍缺乏兴趣。但是导致Hadoop被大规模抛弃的Hadoop架构方面又如何呢?要知道,就在不久前Hadoop还大有希望。

坦率地说,Hadoop走下坡路似乎找不到一个最根本的理由。相反,Hadoop架构人气下滑可能归咎于几个不同的因素。

一些IT专业人员对于自己无法在Hadoop集群上执行任何有意义的数据分析颇为沮丧。一种常见的观点是,Hadoop非常适合存储大量数据,但是对于需要最终用户可以直接处理这些数据的那些企业来说,它又往往不是最佳解决方案。

几家供应商已经开发了SQL on Hadoop解决方案,让客户可以针对驻留在Hadoop上的数据运行SQL查询。即便如此,这些工具也不是天生一模一样,每家SQL on Hadoop供应商都似乎为特定的使用场合设计其工具。不难想象众多企业组织痛苦地发现:它们购买的SQL on Hadoop引擎其实并不是很适合自己的大数据项目

不仅仅是很难让Hadoop完成企业组织需要它完成的任务这个因素导致Hadoop的使用量减少。导致Hadoop日渐式微的偶尔提到的另一个原因是,Hadoop与目前的IT趋势不相合拍。

大数据革命似乎在一夜之间就立稳了脚跟;大数据蔚然成风时,Hadoop完全准备好了响应号召。毕竟,据Hortonworks声称,HDFS文件系统“已表明了它具有在生产环境下支持200 PB存储的可扩展性”,而4500台服务器组成的单单一个集群就能支持“近10亿个文件和块”。很显然,HDFS处理得了大数据。

可问题是,大数据潮流似乎已翻篇了。尽管IT部门仍然在搞可能归属大数据这个大类的项目,但这个术语用得越来越少。相反,当下的IT潮流似乎是机器学习;当然,Hadoop并不直接支持机器学习。市面上有一些第三方工具(比如Apache Mahout)能够做到让Hadoop支持机器学习,但可能数量太少、动作太晚。

然而,Hadoop使用量下降的最大原因可能是亚马逊AWS和微软Azure等IaaS云日渐成熟。公共云对于企业组织远离Hadoop起到了重要的作用,这出于几个不同的原因。

第一个原因是纯粹的感知或看法。我们生活在一个云优先的世界。公共云提供商在说服人们相信在云端运行工作负载比在本地运行同样那些工作负载要省钱得多这方面做得很到位。

另外,外头往往认为继续在本地环境部署新工作负载的企业多少落后于时代。

公共云提供商慢慢促使Hadoop衰落的第二个原因是,云提供商实际上构建了一个更管用的捕鼠器。虽然值得一提的是,亚马逊确实通过亚马逊EMR支持Hadoop和Spark,但对于需要大数据分析功能的企业组织而言,EMR并非亚马逊的唯一解决方案。亚马逊还提供Athena和Elasticsearch,前者可用于分析存储在亚马逊S3中PB级的数据,后者支持PB级的日志分析、文本搜索和应用程序监控功能。

机器学习 大数据 数据分析 解决方案 Hadoop 大数据项目
0
为您推荐
HIVE数据仓库完美实战课程,资源教程下载

HIVE数据仓库完美实战课程,资源教程下载

课程名称【快速掌握HIVE视频教程】HIVE数据仓库完美实战课程课程目录├第一周:hive基…...

廖雪峰-2019大数据分析精品资料价值1980元,资源教程下载

廖雪峰-2019大数据分析精品资料价值1980元,资源教程

课程介绍:廖雪峰大神历时3个月打磨出来的《数据分析必备技能》的视频学习资料,由浅…...

尚硅谷-大数据项目之电商数仓教程下载

尚硅谷-大数据项目之电商数仓教程下载

课程介绍:本课程以国内电商巨头实际业务应用场景为依托,对电商数仓的常见实战指标以…...

尚硅谷大数据Flink技术与实战,资源教程下载

尚硅谷大数据Flink技术与实战,资源教程下载

课程名称尚硅谷大数据Flink技术与实战课程目录理论_Flink基础 001__Flink理论_Flink…...