数智资源网
首页 首页 大数据 查看内容

煮饺子和MESOS之间妙不可言的关系

木马童年 2019-4-9 20:20 157 0

你知道大型的饺子馆是怎么煮饺子的吗? 是这样煮吗? ↓ 那你要让顾客喝西北风了! 难道是很多个这种锅一起煮吗? ↓ 呵呵,不是,你想赔死吗? 其实 他们用了一种神器 ↓ 为什么会酱紫? 我们来分析一下大 ...

你知道大型的饺子馆是怎么煮饺子的吗?

煮饺子和MESOS之间妙不可言的关系

是这样煮吗?

煮饺子和MESOS之间妙不可言的关系

那你要让顾客喝西北风了!

难道是很多个这种锅一起煮吗?

煮饺子和MESOS之间妙不可言的关系

呵呵,不是,你想赔死吗?

其实

他们用了一种神器

煮饺子和MESOS之间妙不可言的关系

为什么会酱紫?

我们来分析一下大型饺子馆面对的需求

煮饺子和MESOS之间妙不可言的关系煮饺子和MESOS之间妙不可言的关系煮饺子和MESOS之间妙不可言的关系

这种情况下

不像我们自己在家吃饺子

不可能把所有的饺子放在一个大锅里面煮

道理你懂的……

但是,难道要每个订单一个锅来煮?

太浪费资源了吧

所以就有人发明了这种支持“虚拟化”锅

煮饺子和MESOS之间妙不可言的关系

我们把煮水饺看成不同的任务

煮饺子和MESOS之间妙不可言的关系

水饺锅里面不同的格子执行不同的任务

格子并不封闭,汤是互通的

这样

一锅就可以满足很多客人了

如果客人再多了怎么办?

多来几只饺子锅组成集群!

煮饺子和MESOS之间妙不可言的关系

好强大的煮饺子集群

不管有多少客人

不管有多复杂的煮饺子组合

都可以在集群里面完成了

好拉轰啊

所有的格子都被池化

大厨根据点菜需求

灵活分配不同的格子来完成任务

任何一个格子都可以用来煮任何一种水饺

有同学问

客人还想吃煎饺或者蒸饺怎么办?

不要紧,更奇葩的锅已经有人发明了

煮饺子和MESOS之间妙不可言的关系

不光可以煮,同时还可以煎和蒸

尼玛,黑科技真发达

“煮饺子集群”很牛逼

分配任务、具体操作的大厨更不简单

观摩一下他们是如何工作的吧

煮饺子和MESOS之间妙不可言的关系

好了,煮饺子的事情讲完了

这跟MESOS有毛线关系?

煮饺子和MESOS之间妙不可言的关系

Mesos是Apache下的开源分布式资源管理框架,它被称为是分布式系统的内核。

小黑羊观点>>

Mesos跟我们前面介绍的“煮饺子”体系有异曲同工之妙。

数据中心有很多计算任务需要执行,比如Hadoop任务(饺子A)、MPI任务(饺子B)、Storm任务(饺子C)、Spark任务(饺子D)。

但是要想灵活的部署这些任务,达到呼之则来、挥之则去的效果,却没辣么简单。

人们都希望动态、灵活的利用数据中心的计算资源,更细粒度的分发任务,这就需要一套资源管理和调度框架来达到目的。

最早的时候,Google用自己开发的Borg来做这些事,可那是人家“私营饺子馆”专利,不可能随便拿来用的。

煮饺子和MESOS之间妙不可言的关系

后来,就有活雷锋开发了Mesos来做和Borg一样的事儿,而且还开源了。

煮饺子和MESOS之间妙不可言的关系

一张图看懂Mesos和煮饺子的关系

Mesos的角色分工与两层调度体系:

Mesos master相当于煮水饺的厨师长,当然有备份的副厨师长做替补(Standby master),他们之间的出勤制度由酒店老板负责监督(ZooKeeper)。

Mesos slave驻留在每个饺子锅上(可认为是负责值守每个锅的厨工),负责具体任务分发。

具体的计算任务被按需分配在“锅集群”中执行,比如Hadoop、MPI、Spark等等,他们相当于不同的煮饺子需求。

每个“锅”提供一定的资源隔离能力,饺子锅用的是隔离网,Mesos方案目前比较流行采用Docker来进行隔离。

针对每种口味的饺子,都有点饺子、包饺子、煮饺子、上饺子的工作调度流程,被称为“Framework”,mesos为了可以适应各品种饺子的“FrameWork”流程

煮饺子和MESOS之间妙不可言的关系

饺子菜单——Mesos可以配合调用的“FrameWork”

MESOS的“煮饺子”任务调度过程:

① Slave 1(煮饺子师傅)向Master(厨师长)汇报其管理的饺子锅的空闲资源:4个CPU、4GB内存。

② Master(厨师长)检查Framework1(猪肉韭菜)目前的订单需求。

③ Framework1(猪肉韭菜)的当前订单需求是:煮两份饺子,分别是4两和3两,4两的需要用<2 cpus, 1 gb ram>的资源,3两的需要用<1 cpus, 2 gb ram>资源。

④ 最后,Master(厨师长)向Slave(煮饺子师傅)下发任务,开工!

煮饺子和MESOS之间妙不可言的关系

MESOS的工作流程

这个“煮饺子”的Mesos系统什么好处呢?

煮饺子和MESOS之间妙不可言的关系

Mesos管理的是计算集群,调度的是任务,是当下更为流行的“数据中心操作系统”。它把集群资源池化,按需动态调配,提高资源使用效率和敏捷性,Mesos能让资源利用率提升5倍以上。

与容器技术结合,可以轻松部署海量计算资源和微服务,让上层业务的可伸缩性得到极大提高,Mesos可在数十秒内完成上万Docker容器部署。

模块化、插件式架构,轻松耦合多种Framework,这使得Mesos在其所支持的宽泛领域中,业务迅速增长。

专业人士认为,Mesos具备问鼎数据中心资源管理推荐平台的能力。

煮饺子和MESOS之间妙不可言的关系

目前Twitter、Airbnb、eBay、Netflix包括Apple家的Siri,都用了Mesos来“煮饺子”。

国内豆瓣是最早用Mesos的,去哪儿网、爱奇艺、小米、360也都在尝试Mesos。

爱奇艺煮饺子大师傅杨成伟语:

虚拟化 分布式系统 数据中心 计算资源 计算集群 操作系统
0
为您推荐
HIVE数据仓库完美实战课程,资源教程下载

HIVE数据仓库完美实战课程,资源教程下载

课程名称【快速掌握HIVE视频教程】HIVE数据仓库完美实战课程课程目录├第一周:hive基…...

尚硅谷大数据Flink技术与实战,资源教程下载

尚硅谷大数据Flink技术与实战,资源教程下载

课程名称尚硅谷大数据Flink技术与实战课程目录理论_Flink基础 001__Flink理论_Flink…...

廖雪峰-2019大数据分析精品资料价值1980元,资源教程下载

廖雪峰-2019大数据分析精品资料价值1980元,资源教程

课程介绍:廖雪峰大神历时3个月打磨出来的《数据分析必备技能》的视频学习资料,由浅…...

尚硅谷-大数据项目之电商数仓教程下载

尚硅谷-大数据项目之电商数仓教程下载

课程介绍:本课程以国内电商巨头实际业务应用场景为依托,对电商数仓的常见实战指标以…...