首页 首页 大数据 大数据入门 查看内容

Spark on Yarn的运行原理

木马童年 2018-10-13 19:39 37 0

一、YARN是集群的资源管理系统 1、ResourceManager:负责整个集群的资源管理和分配。 2、ApplicationMaster:YARN中每个Application对应一个AM进程,负责与RM协商获取资源,获取资源后告诉NodeManager为其分配并启 ...

一、YARN是集群的资源管理系统

1、ResourceManager:负责整个集群的资源管理和分配。

2、ApplicationMaster:YARN中每个Application对应一个AM进程,负责与RM协商获取资源,获取资源后告诉NodeManager为其分配并启动Container。

3、NodeManager:每个节点的资源和任务管理器,负责启动/停止Container,并监视资源使用情况。

4、Container:YARN中的抽象资源。

二、Spark的概念

1、Driver:和ClusterManager通信,进行资源申请、任务分配并监督其运行状况等。

2、ClusterManager:这里指YARN。

3、DAGScheduler:把spark作业转换成Stage的DAG图。

4、TaskScheduler:把Task分配给具体的Executor。

三、SPARK on YARN

3.1、yarn-cluster模式下

Spark on Yarn的运行原理

(1)ResourceManager接到请求后在集群中选择一个NodeManager分配Container,并在Container中启动ApplicationMaster进程;

(2)在ApplicationMaster进程中初始化sparkContext;

(3)ApplicationMaster向ResourceManager申请到Container后,通知NodeManager在获得的Container中启动excutor进程;

(4)sparkContext分配Task给excutor,excutor发送运行状态给ApplicationMaster。

3.2、yarn-client模式下

Spark on Yarn的运行原理

(1)ResourceManager接到请求后在集群中选择一个NodeManager分配Container,并在Container中启动ApplicationMaster进程;

(2)driver进程运行在client中,并初始化sparkContext;

(3)sparkContext初始化完后与ApplicationMaster通讯,通过ApplicationMaster向ResourceManager申请Container,ApplicationMaster通知NodeManager在获得的Container中启动excutor进程;

(4)sparkContext分配Task给excutor,excutor发送运行状态给driver。

3.3、yarn-cluster与yarn-client的区别:

它们的区别就是ApplicationMaster的区别,yarn-cluster中ApplicationMaster不仅负责申请资源,并负责监控Task的运行状况,因此可以关掉client;

而yarn-client中ApplicationMaster仅负责申请资源,由client中的driver来监控调度Task的运行,因此不能关掉client。

在不久的将来,多智时代一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏多智时代,及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

未分类
0
为您推荐
七招帮你实现虚拟化效果最大化

七招帮你实现虚拟化效果最大化

虚拟化是如今用来部署新应用程序和工作负载的事实上的标准方法。不过,说到基于这种仍…...

汽车消费大数据:京津浙人均拥有量居前三

汽车消费大数据:京津浙人均拥有量居前三

中国正日渐成为车轮上的国家。继2012年全国民用汽车拥有量破一亿大关后,2013年私人汽…...

Mark Allman

Mark Allman

Mark Allman is a computer scientist in the networking group at the International…...

简析云计算在存储领域的趋势和优势

简析云计算在存储领域的趋势和优势

个人和非常小的公司把重要的文件都放在自己的计算机硬盘上。但是硬盘会发生故障,尽管…...

Python数据分析之pandas

Python数据分析之pandas

前言 前面一篇文章我们介绍了numpy,但numpy的特长并不是在于数据处理,而是在它能非…...

社会心态蓝皮书:网民情绪中愤怒是主导性情绪

社会心态蓝皮书:网民情绪中愤怒是主导性情

10月8日,由中国社会科学院社会学所及社会科学文献出版社共同举办的《社会心态蓝皮书…...