数智资源网
首页 首页 大数据 查看内容

从底层到应用,百度大脑“幕后”架构探秘

木马童年 2020-6-19 19:55 111 0

2600年前,春秋时期,赵国。晋国大夫赵朔被屠岸贾杀害,赵朔死前将遗腹孤儿托付给门客程婴。程婴舍去己子,携赵朔的孤儿赵武潜入盂山藏匿15年之久,后人就把盂山改名为藏山。而藏山的所在地,就是如今的山西阳泉。说 ...

2600年前,春秋时期,赵国。

晋国大夫赵朔被屠岸贾杀害,赵朔死前将遗腹孤儿托付给门客程婴。程婴舍去己子,携赵朔的孤儿赵武潜入盂山藏匿15年之久,后人就把盂山改名为藏山。而藏山的所在地,就是如今的山西阳泉。

从底层到应用,百度大脑“幕后”架构探秘

说起阳泉这个地方,可谓是人杰地灵。几千年前,这里就是古仇犹国的所在地,而在近代历史中,这里更是“百团大战”的主战场。而阳泉这一次进入我们的视野,则是得益于一个熟悉的名字——百度。

在百度创始人李彦宏的家乡阳泉,有一座占地360亩的超大规模数据中心——百度云计算(阳泉)中心。在这里,百度部署了大量整机柜服务器、HVDC(高压直流)、OCU(置顶冷却单元)等一系列业界领先的设备,也是目前百度全国几十家数据中心里规模最大的一家。

从底层到应用,百度大脑“幕后”架构探秘

“数据中心按照T3+标准设计建造,建筑面积12万平米,包括共4期8个模组,设计容纳16万台服务器,拥有400+项专利技术。自2014年9月正式开始运行,到今天已经安全运行了1534天,”百度云计算(阳泉)中心负责人,百度系统部高级经理顾鹏如是说。

从底层到应用,百度大脑“幕后”架构探秘

其实别看占地面积这么大,阳泉这座数据中心运营团队只有几十个人。“我们全部采用先进的自动化、智能化控制技术,需要巡视、维护、调控人员极少,每个班组2~3人就可以完成2个模组约3万平米7×24小时运营”顾鹏介绍。

从底层到应用,百度大脑“幕后”架构探秘

作为超大规模的高端数据中心,这里不仅仅在管理上实现了自动化,更重要的是在节能方面成效显著。在数据中心模块的楼顶,我们看到了大片的太阳能光伏板,这也是数据中心电力获取的来源之一。“我们充分利用了模组楼顶的空余地方,安装了即发即用的清洁能源,阳泉数据中心是国内首个应用光伏发电的数据中心”。

其实除了太阳能发电的电力来源之外,风能电力也是阳泉数据中心的供电来源之一。据统计,2017年百度阳泉数据中心一共用了将近2600万度风电,占比整个用电量的16%。“2018年,我们基本上风电能达到5500万度,清洁能源预计占比可能达到23%以上。园区全部投产以后,数据中心年节约用电量预计达到2.5亿度,可相当于13万个家庭全年的用电量”。

从底层到应用,百度大脑“幕后”架构探秘

除了电力供应之外,在数据中心普遍存在的发热高、散热难问题上,阳泉数据中心充分利用室外自然冷源,搭配多种空调末端技术,通过提高冷冻水供回水温度、服务器进风温度等措施,全年超过96%以上时间免费冷却(Free Cooling),将单模组年均PUE(能源使用率)降低至1.10,这个数据在全球业界也处于领先范畴。

如今,阳泉数据中心已经承载了众多百度的核心业务,大家熟知的“百度大脑”也部署其中。“数据中心为百度大数据业务、人工智能提供了强有力的支持,包括语音、图像、搜索、无人车、加速计算等业务都是如此,成为百度大脑的动力引擎”。

说起百度大脑,其实就在不久前刚刚结束的上海“2018世界人工智能大会”上,搭载百度大脑110+先进AI能力的百度云,还展示了包括在人工智能、大数据、云计算在各个领域的落地。

从底层到应用,百度大脑“幕后”架构探秘

其实说起百度与英特尔的合作,已经有超过十年的历史了。在此之前,双方就已经在百度大脑、百度云、DuerOS等方面进行了广泛而深度的合作。

2018 ABCSUMMIT百度云智峰会上,百度云与英特尔再联手,宣布采用新一代对象存储系统,首次推出Optane+QLC存储设计方案,以及基于OpenVINO的视觉计算方案等等。

OpenVINO是用于增强视觉AI计算能力的软件包,可以部署在数据中心到边缘等多种硬件平台上。曾经在百度云智峰会上展示的苏州环卫局实现渣土车实时监控的方案,就是百度云视觉计算的典型应用业务。此前在与爱奇艺的合作中,百度云基于英特尔至强6148处理器开展视频黄暴内容识别业务,取得了相较之前平台最高8.8倍的性能提升。

对于全面转向AI的百度来说,AI的新型应用对存储系统提出了新的挑战,更智能的AI应用需要对大规模数据的高效处理,这也对于存储的读写性能提出了新的挑战。为此,百度云基于英特尔最新的Optane和QLC SSD存储介质打造了新一代对象存储系统。该系统充分发挥了Optane介质的优势,相比传统基于HDD的对象存储性能提升21倍,同时又挖掘了QLC介质高性价比的特点,使得最终系统的总体成本大大低于目前市面上的全闪存方案。

从底层到应用,百度大脑“幕后”架构探秘

此外,在无人驾驶领域中,英特尔也参与到百度自动驾驶L3和L4领域的解决方案研发中,包括传感器融合,控制和规划,以及Halo Creek和Car Branch的高清图像集成。

9月25日,百度与Intel共同发起的“5G+AI边缘计算联合实验室”正式揭牌成立,旨在加速国内边缘计算(MEC)技术研发。双方将充分发挥在技术和应用开发领域的优势,共同对人工智能、车联网、5G、边缘计算、搜索、在线翻译、VR/AR、物联网等方面的技术、产品和商业模式进行探索。

可以说,在这个智能化、数据化的时代,我们需要类似百度大脑这种人工智能能力的集大成者,深度的理解真实世界,进而更好的支撑各种应用。但在这些酷炫的高科技背后,离不开强大的数据中心底层硬件支撑,特别是英特尔至强可扩展处理器、傲腾内存这样更快速、更高效的平台支持。

正如百度创始人李彦宏描述的那样——让机器去替代人的体力,我们在工业化时代已经解决了这个问题;如今,我们要解决的是,让机器能够像人一样思考。

创始人 数据中心 云计算 智能化 大数据业务 人工智能
0
为您推荐
HIVE数据仓库完美实战课程,资源教程下载

HIVE数据仓库完美实战课程,资源教程下载

课程名称【快速掌握HIVE视频教程】HIVE数据仓库完美实战课程课程目录├第一周:hive基…...

尚硅谷大数据Flink技术与实战,资源教程下载

尚硅谷大数据Flink技术与实战,资源教程下载

课程名称尚硅谷大数据Flink技术与实战课程目录理论_Flink基础 001__Flink理论_Flink…...

廖雪峰-2019大数据分析精品资料价值1980元,资源教程下载

廖雪峰-2019大数据分析精品资料价值1980元,资源教程

课程介绍:廖雪峰大神历时3个月打磨出来的《数据分析必备技能》的视频学习资料,由浅…...

尚硅谷-大数据项目之电商数仓教程下载

尚硅谷-大数据项目之电商数仓教程下载

课程介绍:本课程以国内电商巨头实际业务应用场景为依托,对电商数仓的常见实战指标以…...

小码哥李明杰Java版《恋上数据结构与算法》 ,资源教程下载

小码哥李明杰Java版《恋上数据结构与算法》 ,资源教

课程目录01-学前须知01-为什么要学习数据结构与算法02-编程语言的选择03-课程大纲04-…...

阿里云大数据分析师ACP认证视频教程下载

阿里云大数据分析师ACP认证视频教程下载

课程介绍阿里云大数据行业认证-大数据分析师认证(ACP-Alibaba Cloud Certified Prof…...

恋上数据结构与算法(第二季),视频教程下载

恋上数据结构与算法(第二季),视频教程下载

课程介绍:课程由MJ老师和名企算法大咖共同研发,在保证易懂的同时确保课程的系统全面…...

社交网络分析与挖掘,视频教程下载

社交网络分析与挖掘,视频教程下载

课程介绍:社交网络和数据挖掘是计算机学科相关研究中的热点,其具体研究涵盖理论、关…...