首页 首页 下载资源 数据资源 Spark 查看内容

从零起步大数据Spark实战高手之路,资源教程下载

木马童年 2020-9-21 08:14 53 0

课程名称从零起步大数据Spark实战高手之路,资源教程下载课程介绍从零起步,分阶段无任何障碍逐步掌握大数据统一计算平台Spark,从Spark框架编写和开发语言Scala开始,到Spark企业级开发,再到Spark框架源码解析、Sp ...

image.png

课程名称

从零起步大数据Spark实战高手之路,资源教程下载

课程介绍

从零起步,分阶段无任何障碍逐步掌握大数据统一计算平台Spark,从Spark框架编写和开发语言Scala开始,到Spark企业级开发,再到Spark框架源码解析、Spark与Hadoop的融合、商业案例和企业面试,一次性彻底掌握Spark,成为云计算大数据时代的幸运儿和弄潮儿,笑傲大数据职场和人生!

1,掌握Scala;

2,精通Spark企业及开发;

3,精通Spark框架源码实现;

4,掌握Spark与Hadoop融合和商业案例;

5,轻松加入任何类型和难度的Spark面试;

【课程目录】

1.熟练的掌握Scala语言系列课

安装Scala开发环境

Scala常用类型介绍

动手体验值与变量的声明

动手体验Scala函数与方法的定义和使用

动手编写条件表达式

循环表达式与For循环的使用

默认参数、带名参数及变长参数

lazy值

异常处理

数组

Map操作

类的定义:属性与方法

不同的构造器

object对象

apply方法

方法重写与字段重写

抽象类

trait

包的定义与使用

包对象定义与使用

文件访问

函数的定义

值函数

匿名函数

闭包

SAM与Curry

高阶函数示例

集合

序列

可变列表与不可变列表

集合操作

case class

泛型类

泛型函数

Lower bounds 与 Upper bounds

View bounds

Context bounds

协变与逆变

隐式转换

隐式参数

隐式类

创建actor

actor的消息机制

共享线程

多个actor协同工作

actor使用最佳实践

隐式转换规则

隐式参数

上下文界定

隐式参数下的隐式转换

Scala隐式转发最佳实践

Akka在分布式系统中的巨大价值

Akka架构

Akka内核剖析

Akka案例实战

2.精通Spark提供给开发者API系列课程

动手构建Spark集群

测试Spark集群

程序数据的来源:File、HDFS、HBase、S3等

IDE环境构建

Maven

sbt

编写并部署Spark程序的实例

源码剖析SparkContext

加载数据成为RDD

DAG

深入实战各种Scala RDD Function

RDD的优化问题

编写可测试的Spark程序

Spark测试框架解析

Spark测试代码实战

Logs

内存

序列化

安全

3.精通Spark内核系列课程

Spark生态系统剖析

Spark的架构设计剖析

RDD计算流程解析

Spark的出色容错机制

Cache的内部实现揭秘

CheckPoint内部实现揭秘

Broadcast的实现揭秘

生产环境下的Broadcast

transformation

action

lineage

宽依赖与窄依赖

任务调度流程分析

DAGScheduler

TaskScheduler

Task内部揭秘

累加器的机制和使用的最佳实践

RDD的设计和源码实现

Spark作业提交过程源码剖析

Task执行过程源码剖析

Scheduler模块源码剖析

如何建立RDD之间的关系

细说RDD的transformation

揭秘combineByKey

从部署层次细说Job的部署和执行细节

Job的逻辑执行和物理执行

复杂的Job的实现

Job的物理执行内幕

生产和提交Job的内幕

Shuffle的工作机制

细说Shuffle操作

深入解析Shuffle

Shuffle的性能优化

Job的提交和接收内幕揭秘

Task内幕揭秘

从集群工作的角度看Shuffle

4.掌握基于Spark上的核心框架的使用系列课程(spark sql、GraphX)

Spark SQL原理和实现

使用Spark SQL操作文本文件和DSL

Spark SQL操作JSON和Hive

Spark GraphX原理和实现

PageRank

TriangleCount

Table operator和Graph Operator

Verticies、Edges、Triplets

动手编写GraphX实例

图操作之Property Operator、Structural Operator

大数据 Spark 云计算 大数据时代 分布式系统
0