首页 首页 资源教程 数据资源 Spark 查看内容

深入浅出实战讲解-Spark框架实战 集中轰炸Spark-从入门到高级应用及优化

木马童年 2020-10-30 17:55 46 0

课程名称深入浅出实战讲解-Spark框架实战 集中轰炸Spark-从入门到高级应用及优化课程目录│一、内存计算框架spark第1章1.1、 与MapReduce对比性介绍Spark是什么.mp41.10、 Spark 实现WordCount功能讲解.mp41.11、 Sp ...

image.png

课程名称

深入浅出实战讲解-Spark框架实战 集中轰炸Spark-从入门到高级应用及优化

课程目录

│<一、内存计算框架spark>

<第1章>

1.1、 与MapReduce对比性介绍Spark是什么.mp4

1.10、 Spark 实现WordCount功能讲解.mp4

1.11、 Spark如何提交应用程序及各个组件名词解释.mp4

1.2、 Spark四大特性及与MapReduce比较.mp4

1.3、 如何指定Hadoop版本进行编译Spark.mp4

1.4、 Spark 应用程序测试讲解一.mp4

1.5、 Spark应用程序测试讲解二.mp4

1.6、 Scala基本知识讲解(变量,函数及高阶函数).mp4

1.7、 Spark Standalone安装部署讲解一.mp4

1.8、 Spark Standalone安装部署讲解二.mp4

1.9、 Spark Standalone安装部署讲解三.mp4

<第2章 rdd="">

2.1、 Spark RDD五大特性讲解(以WordCount案例和比较MapReduce).mp4

2.10、 Spark Core应用案例讲解三(1).mp4

2.11、 Spark Core应用案例讲解三(2).mp4

2.2、 RDD创建的两种方式讲解.mp4

2.3、 RDD Operation讲解(transformation和action).mp4

2.4、 RDD 依赖讲解(宽依赖和窄依赖).mp4

2.5、 Spark RDD Shuffle讲解(类似MapReduce中的Shuffle).mp4

2.6、 如何创建Spark Application.mp4

2.7、 Spark 内核剖析讲解.mp4

2.8、 Spark Core应用案例讲解一.mp4

2.9、 Spark Core应用案例讲解二.mp4

<第3章>

3.1、 如何使用IDEA开发Spark Application及Local与打包测试讲解.mp4

3.10、 Spark Streaming如何读取出来HDFS上数据.mp4

3.11、 Spark Streaming核心概念DStream及相关Operation讲解.mp4

3.12、 Spark Streaming与Flume集成讲解一.mp4

3.13、 Spark Streaming与Flume集成讲解二.mp4

3.14、 Kafka架构功能、环境搭建与演示.mp4

3.15、 Spark Streaming与Kafka集成方式一使用讲解.mp4

3.16、 Spark Streaming与Kafka集成方式二使用讲解.mp4

3.17、 Spark Streaming与Kafka集成结合UpdateStateByKey统计案例讲解.mp4

3.2、 Spark Application监控(HistoryServer历史服务器配置使用).mp4

3.3、 Spark Application运行的两种方式Client和Cluster区别.mp4

3.4、 Spark 如何运行在YARN上(两种模式的区别)和解决NodeManager节点不健康问题.mp4

3.5、 演示讲解Spark-shell运行在YARN上及以yarn cluster方式提交应用到yarn运行.mp4

3.6、 回顾复习Spark Core知识点.mp4

3.7、 Spark Streaming功能介绍和Demo演示.mp4

3.8、 通过Demo演示深入理解Spark Streaming如何工作.mp4

3.9、 Spark Streaming编程模型讲解.mp4

│<二、spark深入剖析>

<第1章>

1.1、Spark基本工作原理与RDD-1.mp4

1.10、wordcount程序原理深度剖析.mp4

1.11、Spark架构原理.mp4

1.12、创建RDD(集合、本地文件、HDFS文件)-1.mp4

1.13、创建RDD(集合、本地文件、HDFS文件)-2.mp4

1.14、transformation和action讲解与原理剖析.mp4

1.15、案例:统计每行出现的次数(操作key-value对).mp4

1.16、常用transformation和action操作概览.mp4

1.17、map案例实战:将集合中的数字乘以2.mp4

1.18、filter案例实战:过滤集合中的偶数.mp4

1.19、flatMap案例实战:将文本行拆分为单词.mp4

1.2、Spark基本工作原理与RDD-2.mp4

1.20、groupByKey案例实战:将每个班级的成绩进行分组.mp4

1.21、reduceByKey案例实战:统计每个班级的总分.mp4

1.22、sortByKey案例实战:按照学生成绩进行排序.mp4

1.23、join和cogroup案例实战:打印学生成绩.mp4

1.24、action操作开发实战.mp4

1.25、RDD持久化详解.mp4

1.26、共享变量(Broadcast Variable和Accumulator).mp4

1.27、高级编程之基于排序机制的wordcount程序.mp4

1.28、使用Java实现二次排序.mp4

1.29、使用Scala实现二次排序.mp4

1.3、使用Java开发本地测试的wordcount程序-1.mp4

1.30、获取文本内最大的前3个数字.mp4

1.31、获取每个班级排名前3的成绩(分组取topn).mp4

1.4、使用Java开发本地测试的wordcount程序-2.mp4

1.5、将java开发的wordcount程序提交到spark集群上运行.mp4

1.6、使用scala开发wordcount程序.mp4

1.7、使用spark-shell开发wordcount程序.mp4

1.8、Spark UI补充说明.mp4

1.9、spark-submit中的--master选项的补充说明(重要,必看!).mp4

<第2章>

2.1、Spark内核架构深度剖析.mp4

2.10、Master资源调度算法原理剖析与源码分析.mp4

2.11、Worker原理剖析与源码分析-1.mp4

2.12、Worker原理剖析与源码分析-2.mp4

2.13、job触发流程原理剖析与源码分析.mp4

2.14、stage划分算法原理剖析.mp4

2.15、DAGScheduler源码分析(stage划分算法、task最佳位置计算算法).mp4

2.16、TaskScheduler原理剖析与源码分析.mp4

2.17、Executor原理剖析与源码分析.mp4

2.18、Task原理剖析.mp4

2.19、Task源码分析.mp4

2.2、宽依赖与窄依赖深度剖析.mp4

2.20、普通Shuffle操作的原理剖析.mp4

2.21、优化后的Shuffle操作的原理剖析.mp4

2.22、Shuffle读写源码分析.mp4

2.23、BlockManager原理剖析.mp4

2.24、BlockManager源码分析-1.mp4

2.25、BlockManager源码分析-2.mp4

2.26、CacheManager原理剖析.mp4

2.27、CacheManager源码分析.mp4

2.28、Checkpoint原理剖析.mp4

2.3、基于Yarn的两种提交模式深度剖析.mp4

2.4、基于yarn的提交模式的spark-env.sh配置补充.mp4

2.5、SparkContext原理剖析.mp4

2.6、SparkContext源码分析.mp4

2.7、Master主备切换机制原理剖析与源码分析.mp4

2.8、Master注册机制原理剖析与源码分析.mp4

2.9、Master状态改变处理机制原理剖析与源码分析.mp4

<第3章>

3.1、性能优化概览.mp4

3.10、数据本地化.mp4

3.11、reduceByKey和groupByKey.mp4

3.12、shuffle性能优化.mp4

3.2、诊断内存的消耗.mp4

3.3、高性能序列化类库.mp4

3.4、优化数据结构.mp4

3.5、对多次使用的RDD进行持久化或Checkpoint.mp4

3.6、使用序列化的持久化级别.mp4

3.7、Java虚拟机垃圾回收调优.mp4

3.8、提高并行度.mp4

3.9、广播共享数据.mp4

资源调度 数据结构 共享数据
0
为您推荐
尚学堂Spark教程视频,张富刚主讲教程下载

尚学堂Spark教程视频,张富刚主讲教程下载

课程介绍张富刚老师,5年大数据、人工智能开发经验,曾经任职于HPE、国家生物研究院等…...

Spark Streaming实时流处理项目实战-Flume+Kafka+Spark Streaming打造通用流处理平台 ...

Spark Streaming实时流处理项目实战-Flume+Kafka+Spar

课程简介:本课程从实时数据产生和流向的各个环节出发,通过集成主流的分布式日志收集…...

大数据,Spark集群深度解析与优化实战视频教程下载

大数据,Spark集群深度解析与优化实战视频教程下载

课程名称大数据Spark集群深度解析与优化实战视频教程Spark大数据技术深入精讲课程课程…...

Spark快速大数据分析——读书笔记,资源教程下载

Spark快速大数据分析——读书笔记,资源教程下载

课程名称Spark快速大数据分析——读书笔记,资源教程下载课程介绍 作为MapReduce的继…...

2020年最新 Hadoop大数据技术与应用,资源教程下载

2020年最新 Hadoop大数据技术与应用,资源教程下载

课程名称2020年最新 Hadoop大数据技术与应用,资源教程下载课程介绍学习Hadoop平台框…...

Spark 2.0全新培训视频教程 Spark 2.0入门到精通全攻略 四章节课程,Spark视频教程下 ...

Spark 2.0全新培训视频教程 Spark 2.0入门到精通全攻

课程名称Spark 2.0全新培训视频教程 Spark 2.0入门到精通全攻略 四章节课程 Spark视频…...