数智资源网
首页 首页 大数据 大数据入门 查看内容

大数据管道技术 推动Hadoop架构与开发模式的变革

木马童年 2020-10-18 11:24 292 0

快速数据分析和实时处理的兴起,可能会给大数据管道带来一定的变革,微服务架构正在融入Hadoop领域。最近几年,开源Hadoop风格的数据开发已经获得了很大的关注,但让主流企业采用这种开发模式依然用了很长时间。它在 ...

快速数据分析和实时处理的兴起,可能会给大数据管道带来一定的变革,微服务架构正在融入Hadoop领域。

最近几年,开源Hadoop风格的数据开发已经获得了很大的关注,但让主流企业采用这种开发模式依然用了很长时间。它在处理大数据的海量性及多样性上有很大的价值。但它也具有一定的复杂性,它会导致数据处理系统构建方式的巨大变革。

而在数据处理的速度方面,就相对简单了。企业需要迅速处理数据,速度是企业对大数据管道产生广泛兴趣的主要原因,企业需要从批处理的数据处理方式转变为实时处理和即时数据分析。

过去十年中,对计算性能提升的主要目的是为了更好地应对复杂性。随着开发者社区的兴起,容器和Docker,微服务已经可以提供松散耦合的,轻便的面向服务架构来应对各种复现性需求。并在数据一侧的开发上也投入了一定的努力,这意味着Hadoop上的编程模式可能会产生一些变化,而在Hadoop 2上,这些变动可能更大,因为在Hadoop 2上可以开发更广泛的分布式Hadoop附加组件。

容器的变革

如今,我们看到了实时分析应用程序所带来的影响,它结合了不同的框架部分。 Spark,Kafka和Cassandra是其中最常见的,它们和其他技术一起组成了流式大数据管道。容器和微服务都更适合于整体架构,更为重要的是,让这些框架能够协同工作不是一件容易的事。不仅如此,在他们一同工作的同时,还需要对其进行调整和更新,以实现更好的融合。

在大数据架构中应用容器和微服务的举措正变得越来越普遍。BlueData最近在其EPIC平台上新增了用于管理Docker容器的应用,这些容器用于创建Hadoop和Spark集群。 MapR编程架构是将微服务技术应用于流和实时分析应用程序架构的先驱。Pachyderm构造了一个容器化的处理引擎,在最近的Strata + Hadoop 2016 大会上该技术独占鳌头。

Mesosphere也在密切关注着相关技术的发展,它已经建立了一个系统,用于运行容器和数据服务。该公司的产品是构建在一个开源的分布式系统内核或群集管理器Apache Mesos上。它已经被Airbnb,苹果,Twitter和其他一些公司所采用。

数据点

也许对于Spark和Mesos容器服务在一起出现,我们并不用感到十分惊讶,因为Spark的创始人Matei Zaharia与Mesos的研发也有着一定的渊源。 事实上,今年Mesosphere开展的针对500名Mesos用户的研究发现,43%的受访者在Mesos上使用Spark;32%的受访者在Mesos平台上使用Kafka,24%的用户则使用Cassandra。

另一个专注于数据分析和微服务的新兴公司是Lightbend,该公司的创始人包括Scala(Spark和Akka开发所使用语言)的发明者,Akka是Apache Flink中分布式通信的核心,也是大数据管道的另一个新兴的元素。

Lightbend发现了用于快速实时数据处理应用的容器和框架之间的重大关联。 今年早些时候,公司进行的一项调查显示,在Java虚拟机上运行应用程序的2100个开发人员中,34%的受访者进行实时大部分数据处理,22%的受访者进行等量的批处理和实时处理。

在生产环境中使用了微服务的受访者中,30%的人使用了Kafka,21%的人运行着Spark Streaming,这再次证实了新的数据处理框架与服务和容器方法之间的关联。调查还发现,这两个框架都与另一个技术有关,那就是Akka Streams,35%的受访者使用了它。

对于数据微服务,大多数新的基础设施仍需要构建。很多地方还需要一点点摸索,开发团队需要找出哪些是正确的,哪些是错误的。

此外,数据管理的明显特征——“状态”会话和数据持久性在微服务领域仍然有待完善。 对于Hadoop的开发风格来说,它要取代或替换专用的数据仓库,使用更具活力的开源系统,这还有很长的一段路要走。


数据分析 大数据 服务架构 数据处理 应用程序 流式大数据
0
为您推荐
Hadoop源码解析与实战学习视频,资源教程下载

Hadoop源码解析与实战学习视频,资源教程下载

课程名称Hadoop源码解析与实战学习视频,资源教程下载课程目录01 免费试听.doc02 免费…...

大数据开发之Hadoop工程师全套学习课程,视频资源下载

大数据开发之Hadoop工程师全套学习课程,视频资源下载

课程名称大数据开发之Hadoop工程师全套学习课程,视频资源下载课程目录大数据开发之Ha…...

徐老师大数据Spark学习视频,资源教程下载

徐老师大数据Spark学习视频,资源教程下载

课程名称徐老师大数据Spark学习视频,资源教程下载课程介绍Apache Spark 是专为大规模…...

深入浅出实战讲解-Spark框架实战 集中轰炸Spark-从入门到高级应用及优化

深入浅出实战讲解-Spark框架实战 集中轰炸Spark-从入

课程名称深入浅出实战讲解-Spark框架实战 集中轰炸Spark-从入门到高级应用及优化课程…...

北风网Spark大型项目实战138讲,资源教程下载

北风网Spark大型项目实战138讲,资源教程下载

课程名称北风网Spark大型项目实战138讲,资源教程下载课程目录001.课程介绍002.课程环…...

Hadoop&Spark企业应用实战,资源教程下载

Hadoop&Spark企业应用实战,资源教程下载

课程名称HadoopSpark企业应用实战,资源教程下载课程目录第一周:企业级Hadoop应用概…...