首页 首页 云计算 查看内容

淘宝分布式数据处理实践

木马童年 2019-5-16 22:10 41 0

近日,由中科院计算所主办的“Hadoop 中国2010云计算大会”在北京召开,今年已是第四届举办。包括百度、淘宝和中移动在内的诸多企业都展示了基于Hadoop的应用。在本次大会上淘宝数据平台及产品部基础研发组周敏介绍 ...

近日,由中科院计算所主办的“Hadoop 中国2010云计算大会”在北京召开,今年已是第四届举办。包括百度、淘宝和中移动在内的诸多企业都展示了基于Hadoop的应用。在本次大会上淘宝数据平台及产品部基础研发组周敏介绍了淘宝对Hadoop的功能扩展和改造,分布式数据仓库的构思,并着重介绍了对Hive实践以及改造。以下是周敏在本次大会的ppt节选。

淘宝分布式数据处理实践

淘宝数据图

淘宝望目前有会员2亿左右,日均UV高达4000万,日交易量高达数亿元,每天产生大量的数据,所以部署了一个大规模的Hadoop集群,此集群规模为:

1.总容量为9.3PB,利用率77.09%。

2.共有1100台机器。

3.Master:8CPU,48GB内存,SAS Raid。

4.Slave节点异构:

8CPU/8CPU(HT)

16G/24G内存

1T*12/2T*6/1T*6 SATA JBOD

12/20 slots

5.约18000道作业/天,扫描数据:约500TB/天用户数474人,用户组38个

其中,从两方面介绍了Slave的规模:

1.Slave机器异构

6T机器磁盘利用率较高

Rebalance

单机速度控制:10M/s

每天9:00-23:30运行

2.Slave故障率

每周10-20次硬盘规章

每周1-2次主板或其他故障

1.基于0.19.1

2.大量Patch,主要来自官方社区0.19.2,0.20,0.21等,少部分自己开发

3.Hadoop客户端和服务端代码开发分离,云梯管理员只负责服务端升级,并保持版本向下兼容。

在Hadoop功能方面的扩展有几个方面:

1.安全性

密码认证

扩展ACL,用户访问其他组的数据

2.Scheduler

基于FairScheduler的改造

slots动态调整

各个组使用自己的资源

3.Slave单磁盘容错

DataNode坏掉一块磁盘不需要停止,减少数据分发

TaskTracker坏掉一块磁盘后不对作业造成影响

周敏还介绍了淘宝在Master节点容灾的解决方案及将来在这方面的工作计划:

1. 3个Master+1个Standby节点

配置文件一致,上传至SVN

2. JobTracker无元数据,JobHistory每天备份七天前的历史文件

3. NameNode和SecondaryNameNode

Check point 1天做一次(晚上8点之后),降低NameNode启动时间

Fsimage和edits同时通过NFS写到SNN上,元数据保存两份

4.Standby在NN或JT机时启用

周敏表示,在这方面还有很多工作要做:

1.JobTracker单点问题

调度效率低下导致集群利用率不足

2.NameNode HA

AvatarNode

3.Namenode内存瓶颈

Heap Size 40G,CMS gc之后23G

分布式NameNode ,Dynameic Partition Tree

4.Hadoop升级

5.OSD及CRUSH算法

由于数据量比较大,有些记录格式有错,使得自己编写MapReduce Job生成的数据总是少了一些,基于Hive很多的有点,所以项目就用Hive来写:

淘宝分布式数据处理实践

在使用Hive时的经验图

淘宝对Hive的使用时对一下几方面进行了改造:

1.UDFs

2.建立/删除临时函数

3.多线程Thrift server

4.GBK支持

5.完全JDBC

6.Multi Distinct Aggregation支持

7.认证与权限

8.bug fix

淘宝分布式数据处理实践

淘宝将来在Hive方面的工作图

在不久的将来,多智时代一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏多智时代,及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

云计算 数据平台 数据仓库 安全性 解决方案 数据保存
0
为您推荐
人算不如天算,数据驱动的云计算远超天算啦!

人算不如天算,数据驱动的云计算远超天算啦

在今天的世界, 一切业务数据化,一切数据业务化,只有这样才能迎接这个时代。所以我希…...

业务不到两年增速85%,是哪家公司这么厉害?

业务不到两年增速85%,是哪家公司这么厉害?

核心提示:自从2015年9月的OracleOpenWorld大会上推出全线的SaaS和PaaS产品以来,甲骨…...

打开企业云计算之门的利剑,不容错过?

打开企业云计算之门的利剑,不容错过?

在现实中,很多企事业单位的IT基础设施就处于此层次级别,即:只是采用了虚拟化技术去…...

云计算炙手可热,究竟是谁在背后?

云计算炙手可热,究竟是谁在背后?

核心提示:前不久,万达网络科技集团与美国IBM公司达成合作,借助IBM的云计算技术,进…...

云计算对数据进行智能分析,云计算核心技术有哪些?

云计算对数据进行智能分析,云计算核心技术

随着信息技术不断进步,闪存、磁盘、数据中心、DNA等各种新的存储技术不断出现。即便…...

“云”上存储日渐成熟, 那么最关键的是什么?

“云”上存储日渐成熟, 那么最关键的是什

展望未来,世界并不只是由公有或私有化技术组成,还有许多两者的混合体。因此势必会有…...

云计算开源呈现爆发式增长,如何使用云计算开源技术成为产业链关注的热点?

云计算开源呈现爆发式增长,如何使用云计算

近几年来,在云计算领域,开源技术呈现爆发式的增长,借用云计算领域的主流看法,这个…...

云计算提供了基础平台,云计算产业进入2.0

云计算提供了基础平台,云计算产业进入2.0

云计算引发了软件开发部署模式的创新,成为承载各类应用的关键基础设施,并为大数据、…...

私有云的建设是一个需要长期迭代的过程,我们都还在路上!

私有云的建设是一个需要长期迭代的过程,我

伴随着IT新技术的发展,像虚拟化、云计算和大数据对大家来说已经不再陌生了。在企业里…...

大家都要向云计算转型,为什么?

大家都要向云计算转型,为什么?

我们曾经开玩笑说硬件也要向云计算转型,软件也要向云计算转型,系统集成商也要向云计…...