数智资源网
首页 首页 大数据 大数据入门 查看内容

搭建hadoop集群中遇到的各种问题

木马童年 2020-10-17 21:16 9 0

在寒假前的一段时间,开始调研Hadoop2.2.0搭建过程,当时苦于没有机器,只是在3台笔记本上,简单跑通一些数据。一转眼一两个月过去了,有些东 西对已经忘了。现在实验室申请下来了,分了10台机器(4G+500G),这足够我 ...

在寒假前的一段时间,开始调研Hadoop2.2.0搭建过程,当时苦于没有机器,只是在3台笔记本上,简单跑通一些数据。一转眼一两个月过去了,有些东 西对已经忘了。现在实验室申请下来了,分了10台机器(4G+500G),这足够我们玩的了。开始搭建Hadoop2.2.0分布式集群,也趁着这个机会 把整个流程梳理一下。

盘点:搭建hadoop集群中遇到的各种问题

在很多关于Hadoop2.2.0版本的安装过程,有的很全,但是按照去做,还是会出现一些问题卡在那里。有的时候需要结合几篇文档去搭建平台。 本文会把我们遇到的问题,以及搭建过程中发生的一些事情总结一下。有关于hadoop具体的安装过程和配置相应的文件,我们后续也会给出来。

如果你决定花点时间去读这篇文章了,请大家仔细读一下,因为每一个点,我们都在上面耽误了一些时间,梳理一下,大家如果遇到相应的问题,也算给大家提供了一个解决方案。

1、系统环境-配置静态IP:

Ubuntu环境,这里我们采用的是32位12.04.2版本。我们原先在老版本10.04中搭建,在安装ssh的时候,出现了问题。后来为了集群统一管理,我们把ubuntu整个版本升级到12.04(重装ubuntu)。

简单说一下ubuntu安装过程,在windows系统中,利用wubi安装是最简单的,点击自己安装,然后按照步骤执行。结束后,遇到一个棘手的问题:新装的ubuntu不能上网。而这是搭建hadoop环境的前提,保证可以上网。

解决方法:配置静态IP。

在ubuntu12.04版本中,右上角,有个上下图标,点击编辑连接,手动设置静态IP、网关、子网掩码、DNS。这样做的目的:是能保证ubuntu上网,是第一步。

 

盘点:搭建hadoop集群中遇到的各种问题

 

盘点:搭建hadoop集群中遇到的各种问题

上述是图形化配置静态IP,我们也可以通过如下步骤手动配置。

执行:

sudo gedit /etc/network/interfaces

输入:

[plain] view plaincopy

1、auto eth0

2、iface eth0 inet static

3、address 172.16.128.136

4、netmask 255.255.255.0

5、gateway 172.16.128.1

保存:重启网关

sudo /etc/init.d/networking restart

2、安装jdk

这里会遇到一些问题。原因是,如果你是新装的ubuntu基本上不会遇到这种问题,你可以按照下面(1)的步骤就可以配置好环境变量,通过Java -version就可以查看jdk版本。如果你是在操作别人的电脑,由于原来jdk版本不一致。要重新安装jdk,但不能影响别人用户下的jdk版本。

解决的办法就是,把自己要安装的jdk解压到本地用户如:/home/zz/jvm/jdk1.7.0_45,然后配置.bashrc环境变量。结束保存,source .bashrc后,java -version查看jdk版本号。

如果,我们把解压好的jdk放到桌面上了。我们: cd 桌面。

执行:

sudo cp -r jvm /usr/lib

问题:一般我们移植jdk在不同机器之间互相拷贝,就会存在一个权限问题。这会导致即使我们按照正常的步骤配置好环境变量,在执行java -version后,如果遇到权限问题,执行下面语句。

执行:jvm文件夹中放着jdk

sudo chmod -R 777 jvm 把所有权限付给jvm

sudo chown -R zz:zz jvm 把jvm权限付给本用户,zz是当前用户。

2.1、JDK 安装:下载路径

http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

选择:jdk-7u45-linux-i586.tar.gz

解压:tar -zxvf jdk-7u45-linux-i586.tar.gz

解压文件为:jdk1.7.0_45,可以指定路径解压或解压后把文件复制到指定路径。

配置环境变量:

执行:cd 进入根目录。

sudo gedit .bashrc

添加:

[plain] view plaincopy

1、export JAVA_HOME=/home/zz/jvm/jdk1.7.0_45

2、export JRE_HOME=/home/zz/jvm/jdk1.7.0_45/jre

3、export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib

4、export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

保存,关闭,执行

source .bashrc

java -version 查看版本

2.2、如果上面没有正常显示

sudo gedit /etc/profile:

添加,上面在.bashrc 中的内容。保存,执行。

上述的过程,适用于所有的过程。当你在公司里的时候,给你分配虚拟机的账号,你的所有操作不能影响别人的性能。比如:你要按章jdk1.7,而服务器的版 本的jdk是1.6,这就要求,你只能把jdk解压到你用户的目录,在配置环境变量的时候,就指定你解压的目录中,这就使得,在不同的用户中,显示的 jdk的版本可以是不一样的。如果你是新装的ubuntu,上述问题可能你不会遇到,也错过了一个学习的机会。

2.3 覆盖原有jdk(直接了当,我是这么干的)

为了集群管理方面,选在同一的安装路径。选择不是在本用户中,解压到/usr/lib/jvm/jdk1.7..

配置环境变量,如果在/etc/profile 文件中,配置完,执行source profile后依然jdk版本没有出来。在此当前用户 .bashrc 文件中,添加刚才的的export 路径名称。关闭,执行source .bashrc。Java -version 就会出现jdk的版本。

为什么我们采用这个路径:因为,先前在笔记本中搭建的hadoop集群中jdk路径就是此路径,也是为了兼容,方面。

分别添加:

[plain] view plaincopy

1、export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_45

2、export JRE_HOME=/usr/lib/jvm/jdk1.7.0_45/jre

3、export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib

4、export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

3、更改ubuntu主机名

sudo gedit /etc/hostname

添加:cluster1

各个主机都要执行这一步,不同的就是cluster1-10。这里我们有10个节点。

重新启动,终端显示由原先的:zz@ubuntu~& 变成zz@cluster1-10~$

这是为了以后安装ssh,各主机之间可用通过ssh互联方面。

4、配置hosts文件

sudo gedit /etc/hosts

添加内容,如下:IP地址和名称是根据,你主机机器数来定的。

[plain] view plaincopy

1、127.0.0.1 localhost

2、# The following lines are desirable for IPv6 capable hosts

3、::1 ip6-localhost ip6-loopback

4、fe00::0 ip6-localnet

5、ff00::0 ip6-mcastprefix

6、ff02::1 ip6-allnodes

7、ff02::2 ip6-allrouters

8、172.16.128.135 cluster1

9、172.16.128.136 cluster2

10、172.16.128.123 cluster3

11、172.16.128.124 cluster4

12、172.16.128.134 cluster5

13、172.16.128.133 cluster6

5、安装ssh

新安装完ubuntu后。

先执行:sudo apt-get update 更新一下最新的文件。

然后安装ssh:sudo apt-get install openssh-server

下面要做的事情是,ssh生成秘钥,各主机之间可以互相ping通。

进入根目录执行:

ssh-keygen -t rsa

cp id_rsa.pub authorized_keys

所有的机器都执行上面的步骤:然后,gedit authorized_keys 把每一台机器上的 authorized_keys中的内容拷贝到一个文件中,然后通过scp复制到每一台机器中。例如你有6台机器,把6台中的authorized_keys 的内容复制在写入authorized_keys 中。

例如:下面cluster1、cluster2、cluster3等内容都复制到authorized_keys,目的就是为了各主机之间互相ping通。

[plain] view plaincopy

1、ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDnTV1H/ldg5njT3+jJlS6SGcidiS9tQ0cesLcN0LONZno/

2、NVaVNW79MKNj0LWUoDv/OZz7AQ0dDsbos9We8in9WQvVO2t2eoAuWExU5pqcv1tsRjXj43rKFCBJJedlXt+

3、4sirgQrlrwOCMloSOakncISLxSQ2a7MXUq+NJyVynyjfyykjC+p7Nl0rrnHllzfy28Etf3JzYGKoOhdiDqi

4、dA8O6xF8VsJOUTaqIc/g0RlHuHPzgaPEmRo+HWJHYda4uERmNSAlhuhBrq2PCNz0WDeHJtF2psDXVIhZeNms+

5、yJGh501mJCEnKwyediQHeFWc9J3JEGk0UaZdkzbYZ+VoR zz@cluster2

6、

7、ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQCqqbQXmsAIccKCY6VWKhujvyGB88UGfi/v7i407VT9Mnd

8、CeP2yRUyn+HlZuZPxmCvqXSYDQUswUID8FYXZi3A6uKu2b7k+7juwZFj8tO5l3R4nAWxn1zqBk8sg0ubfBwc

9、xphoa/KrZq3h4TdfvhDivTdpG5chtWNlu3/JchmLDNYPcOcNYfndI6d/iDArP/cI4RDGbV4xDDOr65eX47KG

10、7i4zXlYeAJqOQ9IbbsIGkXRve1cfBp79dCNCPElmdWkCnRI3xa0rh3o5a7MLiIDuLHQCN8KPKORy55farme3

11、5K1bLV7rDmLdZVIY5GKdR7GgR/56wGZXw3CZPVlfDBFDZ zz@cluster1

最后在一台主机中authorized_keys拥有所有主机authorized_keys中的内容。

进入当前路径,执行:

scp authorized_keys cluster1:/home/zz/.ssh

然后不断的变化cluster后面的数字,就可以把文件复制到不同的主机上。

执行:

ssh cluster1或2或3等等。 就可以免密码登录。

总结:

如果,通过配置ssh免密码登录,可以通过ssh cluster1等之间免密码互联。就说明整个工作进展顺利。到了这一步,也说明我们移植工作进展的顺 利。下面我们就可以把以前搭建的hadoop整个目录移植到当前用户下,然后通过配置,master和solve节点就可以启动hadoop了。这就是下 面的工作。

解决方案 Hadoop
0
为您推荐
小甲鱼数据结构与算法,资源教程下载

小甲鱼数据结构与算法,资源教程下载

课程名称小甲鱼数据结构与算法,资源教程下载课程目录:01 数据结构和算法绪论02 谈谈…...

云帆大数据Hadoop从入门到上手企业开发8天学习视频,资源教程下载

云帆大数据Hadoop从入门到上手企业开发8天学习视频,

课程名称云帆大数据Hadoop从入门到上手企业开发8天学习视频,资源教程下载课程介绍超…...

数据分析工具之spss/amos精品课程零基础到精通,资源教程下载

数据分析工具之spss/amos精品课程零基础到精通,资源

课程名称数据分析工具之spss/amos精品课程零基础到精通,资源教程下载课程介绍Matlab…...

郝斌数据结构系列培训学习视频,资源教程下载

郝斌数据结构系列培训学习视频,资源教程下载

课程名称郝斌数据结构系列培训学习视频,资源教程下载课程目录01:什么叫做数据结构02…...

2017算法与数据结构C++精解-慕课网,资源教程下载

2017算法与数据结构C++精解-慕课网,资源教程下载

课程名称2017算法与数据结构C++精解-慕课网,资源教程下载课程目录第1章 当我们谈论算…...

Spark Streaming实时流处理项目实战,Spark与Spark Streaming核心架构系统实践课程下 ...

Spark Streaming实时流处理项目实战,Spark与Spark St

课程名称Spark Streaming实时流处理项目实战,Spark与Spark Streaming核心架构系统实…...