首页 首页 云计算 查看内容

马如悦:揭秘百度分布式系统与未来发展

木马童年 2019-5-21 22:15 179 0

8月27日消息,2010年系统架构师大会今天在北京永泰福朋.喜来登大酒店隆重开幕。本次大会主题为:“企业IT应用最佳实践”,是由IT168联合旗下三大技术社区ChinaUnix、ITPUB、IXPUB主办的继2009年第一届系统架构师大会 ...

8月27日消息,2010年系统架构师大会今天在北京永泰福朋.喜来登大酒店隆重开幕。本次大会主题为:“企业IT应用最佳实践”,是由IT168联合旗下三大技术社区ChinaUnix、ITPUB、IXPUB主办的继2009年第一届系统架构师大会之后偏重技术经验分享和案例剖析的又一次技术盛宴。据悉,本次技术大会邀请了30多位各行各业、国内最顶级的技术专家分享来自最终企业用户端的系统架构成功实践经验。

来自百度系统部的高级工程师马如悦先生在演讲现场修改了自己的PPT,他表示在看到现场如潮的架构师对各种架构的兴趣之后,觉得不该老调重弹的说些概念,而应该将较核心的内容拿出来与大家共享,赢得了现场的掌声。马如悦在“百度的部分分布式系统”演讲中详细介绍了百度分布式系统的规模和大致采用的软硬件系统,并介绍了未来的发展计划。

马如悦:揭秘百度分布式系统与未来发展

▲百度系统部分布式小组 高级工程师 马如悦

据了解,百度的分布式系统主要有如下三大部分,分别是用于广告计算(主要是后端数据训练和计算)的HPC高性能计算系统:规模大约在200个节点左右;而用于MapReduce计算的DC系统则用于大规模分布式计算,主要用于类似日志统计和挖掘、众多调研计算等等,其每日计算量超过2.5PB数据(Google的这一数字是20PB)。

分布式存储方面,马如悦表示目前百度存储系统的平均容量已经达到了70%,4000台机器每天仅更换的坏就有200多块。

马如悦:揭秘百度分布式系统与未来发展

▲百度的系统架构规模

从下面的百度分布式计算架构图可以看出,底层的计算资源管理层采用了agent调度不同类型的计算分别给MPI结构的算法和Map-Reduce和DAG算法应用等。与一些学术界人士的观点不同,马如悦先生认为Map-Reduce有自身的优势,不需要去强行用MR去做MPI计算。而通过调度的分配,可以让HPC高性能计算集群和大规模分布式集群各得其所的计算相应数据。

马如悦:揭秘百度分布式系统与未来发展

▲百度分布式计算系统架构图

马如悦详细介绍了有关百度HCE语言的有关内容,他表示HCE是基于C++的Hadoop环境,是一个全功能C++环境,可以避开Java语言对于释放和资源申请的弊端,并在调用数据时绕开Java语言的所有关节,极大的提升算法效率。

马如悦:揭秘百度分布式系统与未来发展

▲HCE的设计图

注:本文经过马如悦老师指正后有修改,特此说明,并感谢马老师。

在不久的将来,多智时代一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏多智时代,及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

架构师 分布式系统 分布式计算 存储系统 计算资源 计算集群
0
为您推荐
人算不如天算,数据驱动的云计算远超天算啦!

人算不如天算,数据驱动的云计算远超天算啦

在今天的世界, 一切业务数据化,一切数据业务化,只有这样才能迎接这个时代。所以我希…...

业务不到两年增速85%,是哪家公司这么厉害?

业务不到两年增速85%,是哪家公司这么厉害?

核心提示:自从2015年9月的OracleOpenWorld大会上推出全线的SaaS和PaaS产品以来,甲骨…...

打开企业云计算之门的利剑,不容错过?

打开企业云计算之门的利剑,不容错过?

在现实中,很多企事业单位的IT基础设施就处于此层次级别,即:只是采用了虚拟化技术去…...

云计算炙手可热,究竟是谁在背后?

云计算炙手可热,究竟是谁在背后?

核心提示:前不久,万达网络科技集团与美国IBM公司达成合作,借助IBM的云计算技术,进…...

云计算对数据进行智能分析,云计算核心技术有哪些?

云计算对数据进行智能分析,云计算核心技术

随着信息技术不断进步,闪存、磁盘、数据中心、DNA等各种新的存储技术不断出现。即便…...

“云”上存储日渐成熟, 那么最关键的是什么?

“云”上存储日渐成熟, 那么最关键的是什

展望未来,世界并不只是由公有或私有化技术组成,还有许多两者的混合体。因此势必会有…...

云计算开源呈现爆发式增长,如何使用云计算开源技术成为产业链关注的热点?

云计算开源呈现爆发式增长,如何使用云计算

近几年来,在云计算领域,开源技术呈现爆发式的增长,借用云计算领域的主流看法,这个…...

云计算提供了基础平台,云计算产业进入2.0

云计算提供了基础平台,云计算产业进入2.0

云计算引发了软件开发部署模式的创新,成为承载各类应用的关键基础设施,并为大数据、…...

私有云的建设是一个需要长期迭代的过程,我们都还在路上!

私有云的建设是一个需要长期迭代的过程,我

伴随着IT新技术的发展,像虚拟化、云计算和大数据对大家来说已经不再陌生了。在企业里…...

大家都要向云计算转型,为什么?

大家都要向云计算转型,为什么?

我们曾经开玩笑说硬件也要向云计算转型,软件也要向云计算转型,系统集成商也要向云计…...