首页 首页 大数据 大数据入门 查看内容

流式数据处理在百度数据工厂应用与实践

木马童年 2019-8-15 11:50 25 0

李俊卿关于《流式数据处理在百度数据工厂应用与实践》主题演讲,主要内容如下。 百度数据工厂以 Spark 为基础提供了流批一体的大数据分析解决方案,流式数据处理在里面承担了其中的实时计算和实时与离线转换功能。流 ...

李俊卿关于《流式数据处理在百度数据工厂应用与实践》主题演讲,主要内容如下。

百度数据工厂以 Spark 为基础提供了流批一体的大数据分析解决方案,流式数据处理在里面承担了其中的实时计算和实时与离线转换功能。流式数据处理不仅提供了流批统一 SQL 引擎、流批统一 META 管理和实时落数仓等技术支持,还提供了流式数据处理的一体化平台,提供流式数据处理的提交、运维、监控等能力。以百度数据工厂为基础,流式数据处理在大型日志分析、广告物料分析、实时推荐、大屏展示等方面提供了强力支撑,获得了较好的效果。本演讲将分享我们就 Spark 流式数据处理在数据工厂内做了哪些技术支持、改造及相应的实践。

主要内容:

理解数据工厂在流批统一上的优势;

了解数据工厂流式数据处理的技术改进;

理解流式数据处理的一体化平台;

数据工厂流式数据处理在百度内的实践。

李俊卿,百度高级研发工程师,数据工厂流式数据处理负责人。加入百度后,一直从事大数据相关工作,参与了百度大数据离线批处理从 Hive 到 Spark1.x 到 Spark2.x 技术方案的架构升级,主导了数据工厂的流式数据处理的整体设计及核心的研发工作,提出基于 Spark 的流 / 批 SQL 引擎统一方案,对分布式系统流批一致处理有独到见解。

流式数据处理在百度数据工厂应用与实践
流式数据处理在百度数据工厂应用与实践
流式数据处理在百度数据工厂应用与实践
流式数据处理在百度数据工厂应用与实践
流式数据处理在百度数据工厂应用与实践
流式数据处理在百度数据工厂应用与实践
流式数据处理在百度数据工厂应用与实践
流式数据处理在百度数据工厂应用与实践
流式数据处理在百度数据工厂应用与实践
流式数据处理在百度数据工厂应用与实践

完整演讲 PPT 下载链接:

https://qcon.infoq.cn/2019/beijing/schedule

在不久的将来,多智时代一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏多智时代,及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

数据处理 大数据分析 解决方案 实时计算 工程师 大数据
0
为您推荐
对于大数据开发的学习,最经典的学习路线是什么?

对于大数据开发的学习,最经典的学习路线是什么?

对于现代社会,大数据开发的重要性不言而喻,通过大量的数据处理、分析获取有价值的信…...

大数据时代,主要需要什么类型的人才?

大数据时代,主要需要什么类型的人才?

什么是大数据,大数据是主要指的是,无法在可承受的时间范围内用常规软件工具进行捕捉…...

什么样的人才是大数据人才呢?我们应该怎么定义和分类?

什么样的人才是大数据人才呢?我们应该怎么定义和分类

在未来世界,国家之间、区域之间甚至是公司之间的大数据人才的争夺战,将是愈演愈烈的…...

数据科学,数据分析和机器学习之间,有什么本质区别?

数据科学,数据分析和机器学习之间,有什么本质区别?

我们都知道机器学习,数据科学和数据分析是未来的发展方向。有些公司不仅利用大数据帮…...

大数据现在处于什么阶段,入行大数据,需要学习哪些基础知识?

大数据现在处于什么阶段,入行大数据,需要学习哪些基

大数据的发展历程总体上可以划分为三个重要阶段,萌芽期、成熟期和大规模应用期…...

大数据技术怎么学习,在学习大数据之前,需要具备什么基础?

大数据技术怎么学习,在学习大数据之前,需要具备什么

  大数据又称黑暗数据,是指人脑无法处理的海量数据聚合成的信息资产,在民生、IT、…...