首页 首页 大数据 大数据入门 查看内容

Sqoop数据导入到HBase遇上的问题及解决方法

木马童年 2018-9-15 17:15 24 0

运行bin/sqoop import --connect jdbc:mysql://ip:port/database --username *** --password ****--hbase-bulkload --hbase-create-table --column-family info --hbase-row-key username --hbase-table detects --t ...

运行bin/sqoop import --connect jdbc:mysql://ip:port/database --username *** --password ****--hbase-bulkload --hbase-create-table --column-family info --hbase-row-key username --hbase-table detects --table detects将Mysql中detects表导入到Hbase中的detects表,提示找不到users Class错误

解决方法: 将/tmp/sqoop-hadoop/compile 文件夹下的 detects.jar包 放到sqoop安装目录lib下。重新执行即可。确实重新运行好了.

2.使用importtsv将文件数据导入到Hbase中,x运行${HADOOP_HOME}/bin/hadoop jar ${HBASE_HOME}/lib/hbase-server-1.2.6.jar,提示:

解决方法: 错误提示说明hadoop中找不到hbase的jar包,只要将hbase的路径添加到hadoop路径就可以了HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase classpath` ${HADOOP_HOME}/bin/hadoop jar ${HBASE_HOME}/lib/hbase-server-1.2.6.jar;

最后可以使用命令将文件数据导入到hbase中,例子:HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase classpath` ${HADOOP_HOME}/bin/hadoop jar ${HBASE_HOME}/lib/hbase-server-1.2.6.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY,info:name,info:age -Dimporttsv.separator=, user /hbase_user -Dimporttsv.bulk.output=/hbase_user 将use数据导入到hbase的user中,提示Bad lines =0 就说明全部导入成功啦

ps: 下图这个错误提示可以不用管他,不影响运行

在不久的将来,多智时代一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏多智时代,及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

未分类
0
为您推荐
未来大数据行业发展趋势有哪些

未来大数据行业发展趋势有哪些

  如今的大数据不再是一个社会时代的流行术语,在大数据行业火热的发展下,大数据几…...

【GPS大数据】大数据与GPS全球定位系统

【GPS大数据】大数据与GPS全球定位系统

了解大数据,吧! 每个想了解最新大数据资讯的人,都了我 文 / 数据君 1978年见证了一…...

如何用Python编写你最喜欢的R函数?

如何用Python编写你最喜欢的R函数?

本文介绍了采用创建一个Python脚本,用该脚本模仿R风格的函数的方法来方便地进行统计…...

硅谷资深工程师带你聊聊数据库那些事

硅谷资深工程师带你聊聊数据库那些事

前两天 Uber post 了一篇文章,说他们从 Postgres SQL 转到使用 MySQL 了。blog 写的…...

沃尔玛如何利用大数据颠覆零售业

沃尔玛如何利用大数据颠覆零售业

“对沃尔玛最重要的是它的规模。消费群的规模、产品的规模、以及技术的规模。”“我们…...

云计算成降低软件及应用程序使用门槛"神器"

云计算成降低软件及应用程序使用门槛"神

目前,成本问题仍然是推动云计算发展的主要动力,但随着市场成熟度越来越高,企业和软…...