首页 首页 大数据 大数据入门 查看内容

采用Kettle分页处理大数据量抽取任务

木马童年 2019-3-2 14:05 183 0

需求: 将Oracle数据库中某张表历史数据导入MySQL的 张表里面。 源表(Oracle):table1 目标表(MySQL):table2 数据量:20,000,000 build_query_page.ktr: 构造页数游标 这 步中,我们需要构造 个类似这样的 ...

作者:Grey

原文地址:http://www.cnblogs.com/greyzeng/p/5524614.html

需求:

将Oracle数据库中某张表历史数据导入MySQL的 张表里面。

源表(Oracle):table1

目标表(MySQL):table2

数据量:20,000,000

思路:

由于服务器内存资源有限,所以,无法使用Kettle 次性从源表导入目标表千万 别的数据,考虑采用分页导入的方式来进行数据传输,即:

根据实际情况设置 个每次处理的数据量,比如:5,000条,然后根据总的数据条数和每次处理的数据量计算出 共分几页,

假设总数据量有:20,000,000,所以页数为:20,000,000/5,000=4,000页

注: 若存在小数,小数部分算 页,比如:20.3算21页

步骤:

根据需求的条件,先对数据进行分页:

数据量:20,000,000

每页数据量:5,000

页数:4,000

源表(Oracle):table1

目标表(MySQL):table2

主流程:transfer_table1_to_table2.kjb

流程说明:

transfer_table1_to_table2.kjb: 主流程

build_query_page.ktr: 构造页数游标

loop_execute.kjb: 根据页数来执行数据导入操作

我们分别来看各个部分的构成:

build_query_page.ktr: 构造页数游标

这 步中,我们需要构造 个类似这样的数据结构:

其中P_PAGE是表头,其余为页码数,

注: 在这里取页码数我通过这个表的rownum来构造

SQL:

selectrownumasP_PAGEfrommds.mds_balances_histwhererownum<=4000

具体实现如下图:

loop_execute.kjb: 根据页数来执行数据导入操作

在上 步中,我们构造了页数,在这步中,我们遍历上 步中的页码数,通过页码数找出相应的数据集进行操作,

其中包括set_values.ktr和execute_by_page.ktr两个转换

loop_execute.kjb具体实现如下:

set_values.ktr:表示获取从上 步中获得的页数

execute_by_page.ktr:表示根据页数进行数据导入操作

其中query_by_page采用Oracle经典三层嵌套分页算法:

SELECTb.rn,b.*FROM

(

SELECTA.*,ROWNUMRN

FROM(SELECT*FROMmds.mds_balances_hist) A

WHEREROWNUM<= (${VAR_P_PAGE}*5000)

) b

WHERERN >= ((${VAR_P_PAGE}-1)*5000+1)

注: ${VAR_P_PAGE}为每次获取的页码数。

select_field为设置需要导入的列名:

output_target目的是输出到目标表table2:

因为要遍历上 次执行的结果,那么需要在transfer_table1_to_table2.kjb的loop_execute.kjb中做如下设置:

较后,执行transfer_table1_to_table2.kjb即可。

总结:

通过上述方法,我们可以很好的解决内存不足的情况下,大数据量在不同的数据库之间的导入工作。

在不久的将来,多智时代一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏多智时代,及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

数据库 数据结构
0
为您推荐
大数据现在处于什么阶段,入行大数据,需要学习哪些基础知识?

大数据现在处于什么阶段,入行大数据,需要学习哪些基

大数据的发展历程总体上可以划分为三个重要阶段,萌芽期、成熟期和大规模应用期…...

大数据技术怎么学习,在学习大数据之前,需要具备什么基础?

大数据技术怎么学习,在学习大数据之前,需要具备什么

  大数据又称黑暗数据,是指人脑无法处理的海量数据聚合成的信息资产,在民生、IT、…...

对于大数据开发的学习,最经典的学习路线是什么?

对于大数据开发的学习,最经典的学习路线是什么?

对于现代社会,大数据开发的重要性不言而喻,通过大量的数据处理、分析获取有价值的信…...

大数据时代,主要需要什么类型的人才?

大数据时代,主要需要什么类型的人才?

什么是大数据,大数据是主要指的是,无法在可承受的时间范围内用常规软件工具进行捕捉…...

什么样的人才是大数据人才呢?我们应该怎么定义和分类?

什么样的人才是大数据人才呢?我们应该怎么定义和分类

在未来世界,国家之间、区域之间甚至是公司之间的大数据人才的争夺战,将是愈演愈烈的…...

数据科学,数据分析和机器学习之间,有什么本质区别?

数据科学,数据分析和机器学习之间,有什么本质区别?

我们都知道机器学习,数据科学和数据分析是未来的发展方向。有些公司不仅利用大数据帮…...