数智资源网
首页 首页 大数据 查看内容

[成都大数据培训哪里比较好]CDH6.3.2升级Hive到4.0.0

木马童年 2020-9-23 17:55 54 0

  升级目的:为上层开发,提供统一元数据服务并能通过hive操作kudu表,kylin可以通过hive对在kudu中的数据做分析   面临问题:hive4.0之前hive没有KuduStorageHandler机制,需要hive和kudu整合功能而升级,但 ...

  升级目的:为上层开发,提供统一元数据服务并能通过hive操作kudu表,kylin可以通过hive对在kudu中的数据做分析

  面临问题:hive4.0之前hive没有KuduStorageHandler机制,需要hive和kudu整合功能而升级,但是github上官方开源的代码看该模块代码没完成。所以需要自己提供实现或等官方发布,为了满足当下需求,羚羊选择了自己实现

  1、备份原元数据

  mysqldump -uroot -pxxxxxx metastore > ./metastore.sql

  2、解压备好的hive安装包

  cd /opt/cloudera

  tar -xvf apache-hive-4.0.0-SNAPSHOT-bin.tar.gz

  

  3、原hive安装目录下创建lib400目录

  cd /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hive

  mkdir lib400

  

  4、拷贝hive新版本lib到lib400目录下(只替换hive开头的jar包,其他jar包不要替换,其中hive-exec-2.1.1-cdh6.3.2.jar不要换)

  1cp -r /opt/cloudera/apache-hive-4.0.0-SNAPSHOT-bin/lib/* /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hive/lib400

  5、CM中停掉hive,及hive相关的服务

  

  6、 修改hive启动文件,调用lib400的jar包

  1vim /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hive/bin/hive

  /HIVE_LIB

  

  同步lib和hive脚本文件到所有节点

  scp -P41121 -r lib400/ hadoop@10.111.15.164:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hive/

  scp -P41121 -r hive hadoop@10.111.15.164:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hive/bin

  7、各节点创建软链接

  ln -s /opt/cloudera/parcels/CDH/lib/hive/lib400/jline-2.14.6.jar /opt/cloudera/parcels/CDH/lib/hadoop-yarn/lib/jline-2.12.jar

  升级元数据库 metastore到hive4.0.0

  source /data/metastore-backup/mysql/upgrade-2.1.0-to-2.2.0.mysql.sql

  source /data/metastore-backup/mysql/upgrade-2.2.0-to-2.3.0.mysql.sql

  source /data/metastore-backup/mysql/upgrade-2.3.0-to-3.0.0.mysql.sql

  source /data/metastore-backup/mysql/upgrade-3.0.0-to-3.1.0.mysql.sql

  source /data/metastore-backup/mysql/upgrade-3.1.0-to-3.2.0.mysql.sql

  source /data/metastore-backup/mysql/upgrade-3.2.0-to-4.0.0.mysql.sql

  7、CM中再启动hive

  8、查看hive版本

  hive -version

(责任编辑:范老师)
数据服务 数据库
0
为您推荐
HIVE数据仓库完美实战课程,资源教程下载

HIVE数据仓库完美实战课程,资源教程下载

课程名称【快速掌握HIVE视频教程】HIVE数据仓库完美实战课程课程目录├第一周:hive基…...

尚硅谷大数据Flink技术与实战,资源教程下载

尚硅谷大数据Flink技术与实战,资源教程下载

课程名称尚硅谷大数据Flink技术与实战课程目录理论_Flink基础 001__Flink理论_Flink…...

廖雪峰-2019大数据分析精品资料价值1980元,资源教程下载

廖雪峰-2019大数据分析精品资料价值1980元,资源教程

课程介绍:廖雪峰大神历时3个月打磨出来的《数据分析必备技能》的视频学习资料,由浅…...

尚硅谷-大数据项目之电商数仓教程下载

尚硅谷-大数据项目之电商数仓教程下载

课程介绍:本课程以国内电商巨头实际业务应用场景为依托,对电商数仓的常见实战指标以…...