首页 首页 资源教程 数据资源 查看内容

大数据开发协作框架及工具,Sqoop+Flume+Oozie+Hue完美实战,资源教程下载

木马童年 2020-6-9 16:16 164 0

课程名称大数据开发协作框架及工具:Sqoop+Flume+Oozie+Hue完美实战 大数据开发必备技术课程介绍:Sqoop(发音:skup)是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传 ...

image.png

       课程名称

大数据开发协作框架及工具:Sqoop+Flume+Oozie+Hue完美实战 大数据开发必备技术

课程介绍

Sqoop(发音:skup)是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。

Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。

Oozie是一种框架,它让我们可以把多个Map/Reduce作业组合到一个逻辑工作单元中。本文是对该框架的基本介绍。

Hue是一个可快速开发和调试Hadoop生态系统各种应用的一个基于浏览器的图形化用户接口。

课程目录

│  ├<第1章 数据转换工具Sqoop>

│  │  ├1.02_02_01_01 大数据Hadoop 2.x协作.框架的功能 网页.mp4

│  │  ├1.02_02_01_02 Sqoop 功能概述和版本、架构讲解 网页.mp4

│  │  ├1.02_02_01_03 Sqoop 使用要点(核心)及企业版本讲解.mp4

│  │  ├1.02_02_01_04 使用CDH 5.3.6版本快速搭建Hadoop 2.x和Hive伪分布式环境 网页.mp4

│  │  ├1.02_02_01_05 Sqoop 1安装及基本使用讲解 网页.mp4

│  │  ├1.02_02_01_06 使用Sqoop导入数据到HDFS及本质分析 网页.mp4

│  │  ├1.02_02_01_07 Sqoop导入数据设置数据存储格式parquet 网页.mp4

│  │  ├1.02_02_01_08 Sqoop导入数据使用query讲解 网页.mp4

│  │  ├1.02_02_01_09 Sqoop导入数据设置数据压缩为sanppy 网页.mp4

│  │  ├1.02_02_01_10 对snappy压缩数据结合Hive进行数据的导入与分析 网页.mp4

│  │  ├1.02_02_01_11 Sqoop导入数据时两种增量方式导入 网页.mp4

│  │  ├1.02_02_01_12 Sqoop导入数据direct使用讲解 网页.mp4

│  │  ├1.02_02_01_13 Sqoop导出数据Export使用讲解 网页.mp4

│  │  ├1.02_02_01_14 Sqoop如何将RDBMS表中的数据导入到Hive表中 网页.mp4

│  │  ├1.02_02_01_15 Sqoop如何导出Hive表中数据到RDBMS中 网页.mp4

│  │  ├1.02_02_01_16 Sqoop使用--options-file进行运行任务讲解 网页.mp4

│  │  └1.02_02_01_17 回顾复习Sqoop的使用及布置作业(oracle与hadoop数据的import) 网页.mp4

│  ├<第2章 文件收集框架Flume>

│  │  ├2.02_02_02_01 Flume功能概述讲解 网页.mp4

│  │  ├2.02_02_02_02 Flume架构设计讲解 网页.mp4

│  │  ├2.02_02_02_03 Flume Agent编程及flume-ng命令使用讲解 网页.mp4

│  │  ├2.02_02_02_04 Flume第一个Agent应用编写(实时读取数据) 网页.mp4

│  │  ├2.02_02_02_05 Flume Agent三大组件Source、Channe、Sink常用类型讲解 网页.mp4

│  │  ├2.02_02_02_06 Flume第二个Agent应用讲解(实时监控读取日志数据,存储hdfs文件系统) 网页.mp4

│  │  ├2.02_02_02_07 Flume收集数据存储hdfs上的一些高级配置.mp4

│  │  ├2.02_02_02_08 Flume在企业大数据仓库中数据收集架构 网页.mp4

│  │  ├2.02_02_02_09 Flume收集数据存储hdfs上的企业需求讲解 网页.mp4

│  │  └2.02_02_02_10 Flume实在案例讲解(监控日志目录日志数据,实时抽取之hdfs系统上) 网页.mp4

│  ├<第3章 任务调度框架Oozie>

│  │  ├3.02_02_03_01 工作流调度框架Oozie功能初步认识 网页.mp4

│  │  ├3.02_02_03_02 Linux Crontab调度讲解 网页.mp4

│  │  ├3.02_02_03_03 大数据Hadoop常用三种调度框架讲解 网页.mp4

│  │  ├3.02_02_03_04 Oozie 功能架构及三大Server讲解 网页.mp4

│  │  ├3.02_02_03_05 Oozie安装部署讲解一 网页.mp4

│  │  ├3.02_02_03_06 Oozie安装部署讲解二 网页.mp4

│  │  ├3.02_02_03_07 Oozie案例运行MapReduce Wordflow讲解 网页.mp4

│  │  ├3.02_02_03_08 如何定义Ooozie Workflow讲解 网页.mp4

│  │  ├3.02_02_03_09 Oozie Workflow中MapReduce Action定义讲解 网页.mp4

│  │  ├3.02_02_03_10 如何编写新API中MapReduce Action讲解 网页.mp4

│  │  ├3.02_02_03_11 编写Oozie Workflow的MapReduce Action并运行 网页.mp4

│  │  ├3.02_02_03_12 回顾复习Oozie Workflow编程要点及MapReduce Action的使用 网页.mp4

│  │  ├3.02_02_03_13 Oozie WorkFlow中Hive Action使用案例讲解一 网页.mp4

│  │  ├3.02_02_03_14 Oozie WorkFlow中Hive Action使用案例讲解二 网页.mp4

│  │  ├3.02_02_03_15 Oozie WorkFlow中Sqoop Action使用案例讲解一 网页.mp4

│  │  ├3.02_02_03_16 Oozie WorkFlow中Sqoop Action使用案例讲解二 网页.mp4

│  │  ├3.02_02_03_17 Oozie WorkFlow中Shell Action使用案例讲解 网页.mp4

│  │  ├3.02_02_03_18 Oozie WorkFlow作业布置 网页.mp4

│  │  ├3.02_02_03_19 Oozie Coordinator调度讲解及系统时区配置与定时触发两种配置方式 网页.mp4

│  │  ├3.02_02_03_20 Oozie Coordinator配置定时触发案例演示 网页.mp4

│  │  ├3.02_02_03_21 Oozie Coordinator·配置调度MapReduce· WordCount程序 网页.mp4

│  │  ├3.02_02_03_22 Oozie企业使用案例(Hive Action、Sqoop Actoion及定时调度)讲解一 网页.mp4

│  │  ├3.02_02_03_23 Oozie企业使用案例(Hive Action、Sqoop Actoion及定时调度)讲解二 网页.mp4

│  │  ├3.02_02_03_24 Oozie企业使用案例(Hive Action、Sqoop Actoion及定时调度)讲解三 网页.mp4

│  │  ├3.02_02_03_25 Oozie中Coordinator中的数据可用性及Bundle讲解(1) 网页.mp4

│  │  └3.02_02_03_26 Oozie中Coordinator中的数据可用性及Bundle讲解(2) 网页.mp4

│  ├<第4章 大数据WEB工具Hue>

│  │  ├4.02_02_04_01 Hue架构功能讲解 网页.mp4

│  │  ├4.02_02_04_02 Hue编译安装讲解 网页.mp4

│  │  ├4.02_02_04_03 Hue集成HDFS、YARN配置功能演示讲解 网页.mp4

│  │  ├4.02_02_04_04 Hue集成Hive配置讲解(HiveServer2及MetaStore) 网页.mp4

│  │  ├4.02_02_04_05 Hue集成RDBMS配置讲解 网页.mp4

│  │  └4.02_02_04_06 Hue集成Oozie配置讲解及作业布置 网页.mp4

│  ├<第1章 数据转换工具Sqoop>

│  │  ├1.02_02_01_01 大数据Hadoop 2.x协作.框架的功能 网页.mp4

│  │  ├1.02_02_01_02 Sqoop 功能概述和版本、架构讲解 网页.mp4

│  │  ├1.02_02_01_03 Sqoop 使用要点(核心)及企业版本讲解.mp4

│  │  ├1.02_02_01_04 使用CDH 5.3.6版本快速搭建Hadoop 2.x和Hive伪分布式环境 网页.mp4

│  │  ├1.02_02_01_05 Sqoop 1安装及基本使用讲解 网页.mp4

│  │  ├1.02_02_01_06 使用Sqoop导入数据到HDFS及本质分析 网页.mp4

│  │  ├1.02_02_01_07 Sqoop导入数据设置数据存储格式parquet 网页.mp4

│  │  ├1.02_02_01_08 Sqoop导入数据使用query讲解 网页.mp4

│  │  ├1.02_02_01_09 Sqoop导入数据设置数据压缩为sanppy 网页.mp4

│  │  ├1.02_02_01_10 对snappy压缩数据结合Hive进行数据的导入与分析 网页.mp4

│  │  ├1.02_02_01_11 Sqoop导入数据时两种增量方式导入 网页.mp4

│  │  ├1.02_02_01_12 Sqoop导入数据direct使用讲解 网页.mp4

│  │  ├1.02_02_01_13 Sqoop导出数据Export使用讲解 网页.mp4

│  │  ├1.02_02_01_14 Sqoop如何将RDBMS表中的数据导入到Hive表中 网页.mp4

│  │  ├1.02_02_01_15 Sqoop如何导出Hive表中数据到RDBMS中 网页.mp4

│  │  ├1.02_02_01_16 Sqoop使用--options-file进行运行任务讲解 网页.mp4

│  │  └1.02_02_01_17 回顾复习Sqoop的使用及布置作业(oracle与hadoop数据的import) 网页.mp4

│  ├<第2章 文件收集框架Flume>

│  │  ├2.02_02_02_01 Flume功能概述讲解 网页.mp4

│  │  ├2.02_02_02_02 Flume架构设计讲解 网页.mp4

│  │  ├2.02_02_02_03 Flume Agent编程及flume-ng命令使用讲解 网页.mp4

│  │  ├2.02_02_02_04 Flume第一个Agent应用编写(实时读取数据) 网页.mp4

│  │  ├2.02_02_02_05 Flume Agent三大组件Source、Channe、Sink常用类型讲解 网页.mp4

│  │  ├2.02_02_02_06 Flume第二个Agent应用讲解(实时监控读取日志数据,存储hdfs文件系统) 网页.mp4

│  │  ├2.02_02_02_07 Flume收集数据存储hdfs上的一些高级配置.mp4

│  │  ├2.02_02_02_08 Flume在企业大数据仓库中数据收集架构 网页.mp4

│  │  ├2.02_02_02_09 Flume收集数据存储hdfs上的企业需求讲解 网页.mp4

│  │  └2.02_02_02_10 Flume实在案例讲解(监控日志目录日志数据,实时抽取之hdfs系统上) 网页.mp4

│  ├<第3章 任务调度框架Oozie>

│  │  ├3.02_02_03_01 工作流调度框架Oozie功能初步认识 网页.mp4

│  │  ├3.02_02_03_02 Linux Crontab调度讲解 网页.mp4

│  │  ├3.02_02_03_03 大数据Hadoop常用三种调度框架讲解 网页.mp4

│  │  ├3.02_02_03_04 Oozie 功能架构及三大Server讲解 网页.mp4

│  │  ├3.02_02_03_05 Oozie安装部署讲解一 网页.mp4

│  │  ├3.02_02_03_06 Oozie安装部署讲解二 网页.mp4

│  │  ├3.02_02_03_07 Oozie案例运行MapReduce Wordflow讲解 网页.mp4

│  │  ├3.02_02_03_08 如何定义Ooozie Workflow讲解 网页.mp4

│  │  ├3.02_02_03_09 Oozie Workflow中MapReduce Action定义讲解 网页.mp4

│  │  ├3.02_02_03_10 如何编写新API中MapReduce Action讲解 网页.mp4

│  │  ├3.02_02_03_11 编写Oozie Workflow的MapReduce Action并运行 网页.mp4

│  │  ├3.02_02_03_12 回顾复习Oozie Workflow编程要点及MapReduce Action的使用 网页.mp4

│  │  ├3.02_02_03_13 Oozie WorkFlow中Hive Action使用案例讲解一 网页.mp4

│  │  ├3.02_02_03_14 Oozie WorkFlow中Hive Action使用案例讲解二 网页.mp4

│  │  ├3.02_02_03_15 Oozie WorkFlow中Sqoop Action使用案例讲解一 网页.mp4

│  │  ├3.02_02_03_16 Oozie WorkFlow中Sqoop Action使用案例讲解二 网页.mp4

│  │  ├3.02_02_03_17 Oozie WorkFlow中Shell Action使用案例讲解 网页.mp4

│  │  ├3.02_02_03_18 Oozie WorkFlow作业布置 网页.mp4

│  │  ├3.02_02_03_19 Oozie Coordinator调度讲解及系统时区配置与定时触发两种配置方式 网页.mp4

│  │  ├3.02_02_03_20 Oozie Coordinator配置定时触发案例演示 网页.mp4

│  │  ├3.02_02_03_21 Oozie Coordinator·配置调度MapReduce· WordCount程序 网页.mp4

│  │  ├3.02_02_03_22 Oozie企业使用案例(Hive Action、Sqoop Actoion及定时调度)讲解一 网页.mp4

│  │  ├3.02_02_03_23 Oozie企业使用案例(Hive Action、Sqoop Actoion及定时调度)讲解二 网页.mp4

│  │  ├3.02_02_03_24 Oozie企业使用案例(Hive Action、Sqoop Actoion及定时调度)讲解三 网页.mp4

│  │  ├3.02_02_03_25 Oozie中Coordinator中的数据可用性及Bundle讲解(1) 网页.mp4

│  │  └3.02_02_03_26 Oozie中Coordinator中的数据可用性及Bundle讲解(2) 网页.mp4

│  ├<第4章 大数据WEB工具Hue>

│  │  ├4.02_02_04_01 Hue架构功能讲解 网页.mp4

│  │  ├4.02_02_04_02 Hue编译安装讲解 网页.mp4

│  │  ├4.02_02_04_03 Hue集成HDFS、YARN配置功能演示讲解 网页.mp4

│  │  ├4.02_02_04_04 Hue集成Hive配置讲解(HiveServer2及MetaStore) 网页.mp4

│  │  ├4.02_02_04_05 Hue集成RDBMS配置讲解 网页.mp4

│  │  └4.02_02_04_06 Hue集成Oozie配置讲解及作业布置 网页.mp4

大数据 数据库 数据存储 数据使用 数据压缩 数据收集
0
为您推荐
大数据时代,主要需要什么类型的人才?

大数据时代,主要需要什么类型的人才?

什么是大数据,大数据是主要指的是,无法在可承受的时间范围内用常规软件工具进行捕捉…...

什么样的人才是大数据人才呢?我们应该怎么定义和分类?

什么样的人才是大数据人才呢?我们应该怎么定义和分类

在未来世界,国家之间、区域之间甚至是公司之间的大数据人才的争夺战,将是愈演愈烈的…...

数据科学,数据分析和机器学习之间,有什么本质区别?

数据科学,数据分析和机器学习之间,有什么本质区别?

我们都知道机器学习,数据科学和数据分析是未来的发展方向。有些公司不仅利用大数据帮…...

大数据现在处于什么阶段,入行大数据,需要学习哪些基础知识?

大数据现在处于什么阶段,入行大数据,需要学习哪些基

大数据的发展历程总体上可以划分为三个重要阶段,萌芽期、成熟期和大规模应用期…...

大数据技术怎么学习,在学习大数据之前,需要具备什么基础?

大数据技术怎么学习,在学习大数据之前,需要具备什么

  大数据又称黑暗数据,是指人脑无法处理的海量数据聚合成的信息资产,在民生、IT、…...

对于大数据开发的学习,最经典的学习路线是什么?

对于大数据开发的学习,最经典的学习路线是什么?

对于现代社会,大数据开发的重要性不言而喻,通过大量的数据处理、分析获取有价值的信…...