首页 首页 大数据 大数据入门 查看内容

Sqoop数据导入到HBase遇上的问题及解决方法

木马童年 2018-9-15 17:15 10 0

运行bin/sqoop import --connect jdbc:mysql://ip:port/database --username *** --password ****--hbase-bulkload --hbase-create-table --column-family info --hbase-row-key username --hbase-table detects --t ...

运行bin/sqoop import --connect jdbc:mysql://ip:port/database --username *** --password ****--hbase-bulkload --hbase-create-table --column-family info --hbase-row-key username --hbase-table detects --table detects将Mysql中detects表导入到Hbase中的detects表,提示找不到users Class错误

解决方法: 将/tmp/sqoop-hadoop/compile 文件夹下的 detects.jar包 放到sqoop安装目录lib下。重新执行即可。确实重新运行好了.

2.使用importtsv将文件数据导入到Hbase中,x运行${HADOOP_HOME}/bin/hadoop jar ${HBASE_HOME}/lib/hbase-server-1.2.6.jar,提示:

解决方法: 错误提示说明hadoop中找不到hbase的jar包,只要将hbase的路径添加到hadoop路径就可以了HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase classpath` ${HADOOP_HOME}/bin/hadoop jar ${HBASE_HOME}/lib/hbase-server-1.2.6.jar;

最后可以使用命令将文件数据导入到hbase中,例子:HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase classpath` ${HADOOP_HOME}/bin/hadoop jar ${HBASE_HOME}/lib/hbase-server-1.2.6.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY,info:name,info:age -Dimporttsv.separator=, user /hbase_user -Dimporttsv.bulk.output=/hbase_user 将use数据导入到hbase的user中,提示Bad lines =0 就说明全部导入成功啦

ps: 下图这个错误提示可以不用管他,不影响运行

在不久的将来,多智时代一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏多智时代,及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

未分类
0
为您推荐
欧盟GDPR的推进,对企业数据平台意味着什么?

欧盟GDPR的推进,对企业数据平台意味着什么

译者介绍 上海小胖,中国第十五位MONGODB PROFESSIONAL获得者,资深Python开发、DBA…...

Python数据分析之pandas

Python数据分析之pandas

前言 前面一篇文章我们介绍了numpy,但numpy的特长并不是在于数据处理,而是在它能非…...

大数据之HBase MapReduce的实例分析

大数据之HBase MapReduce的实例分析

跟Hadoop的无缝集成使得使用MapReduce对HBase的数据进行分布式计算非常方便,本文将以…...

Hadoop+HBase+ZooKeeper三者关系与安装配置之搭建

Hadoop+HBase+ZooKeeper三者关系与安装配置

搭建完全分布式集群 HBase集群建立在hadoop集群基础之上,所以在搭建HBase集群之前需…...

spark2.1.0之配置与源码分析

spark2.1.0之配置与源码分析

任何优秀的软件或服务都会提供一些配置参数,这些配置参数有些是内置的,有些则是可以…...

干货:如何将Hadoop存储容量提升4倍?

干货:如何将Hadoop存储容量提升4倍?

在Hadoop 1.0中,HDFS的单NameNode设计带来诸多问题,包括单点故障、内存受限制约集群…...