数智资源网
首页 首页 大数据 查看内容

三台主机建立Hadoop小集群

木马童年 2018-7-24 11:50 1088 0

部署环境: OS:Redhat 5.5 Enterprise JDK:jdk1.6.0_32 Hadoop:Hadoop-0.20.2 VMWare:7.0 节点安排及网络拓扑: 节点类型节点IP节点hostname master节点 192.168.40.5master slave节点  192.168.40.5ma ...

部署环境:

OS:Redhat 5.5 Enterprise

JDK:jdk1.6.0_32

Hadoop:Hadoop-0.20.2

VMWare:7.0

节点安排及网络拓扑:

节点类型节点IP节点hostname

master节点 192.168.40.5master

slave节点  192.168.40.5master(此时,master既是master节点,也是slave节点)

192.168.40.6salve1

192.168.40.7slave2

secondaryName节点192.168.40.5master(此时,master既是master节点,也是slave节点,也是secondaryNameNode)

配置步骤:

一、网络配置

首先关闭三台虚拟机的防火墙,步骤可参考:关闭防火墙

先用VMWare安装三台虚拟机(可以先安装一台,然后clone两台),按照节点安排及网络拓扑配置网络,先配置master节点的网络:

① 静态网络IP配置见VMware Redhat网络配置,分别将三台虚拟机的IP进行设置

② 修改主机名:vi /etc/hosts(解析IP要用),添加

192.168.40.5 master

192.168.40.6 slave1

192.168.40.7 slave2

③ 按照此过程及相同数据(除了IP地址不同)对三台虚拟机进行配置

二、 安装jdk

Hadoop 是用java开发的,Hadoop的编译及mapreduce的运行都需要使用JDK,所以JDK是必须安装的

① 下载jdk,http://www.oracle.com/technetwork/java/javase/downloads/index.html

② 在用户根目录下,建立bin文件夹:mkdir ~/bin(也可放在其他处,个人习惯而已)

③ 改变执行权限:chmod u+x jdk-6u26-linux-i586.bin

④ 执行文件:sudo -s ./jdk-6u26-linux-i586.bin,一路确定

⑤ 配置环境变量:vi ~/.bash_profile,添加:

  1. exportJAVA_HOME=/root/bin/jdk1.6.0_32
  2. exportPATH=$PATH:$JAVA_HOME/bin

⑥ 使profile文件生效:source ~/.bash_profile

⑦ 验证是否配置成功:which java

[root@master ~]# which java

/root/bin/jdk1.6.0_32/bin/java 配置生效。也可输入java -version, java, javac进一步确定

⑧ 分别相同配置另外两台主机

三、建立ssh互信

hadoop 需要通过ssh互信来启动slave里表中各个主机的守护进程,所以SSH是必须安装的(redhat 5.5 Enterprise 以默认安装)。但是是否建立ssh互信(即无密码登陆)并不是必须的,但是如果不配置,每次启动hadoop,都需要输入密码以便登录到每台机器的 Datanode上,而一般的Hadoop集群动辄数百或数千台机器,因此一般来说都会配置ssh互信。

① 生成密钥并配置ssh无密码登陆主机(在master主机)

  1. ssh-keygen-tdsa-P''-f~/.ssh/id_dsa
  2. cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys

② 将authorized_keys文件拷贝到两台slave主机

  1. scpauthorized_keysslave1:~/.ssh/
  2. scpauthorized_keysslave2:~/.ssh/

③ 检查是否可以从master无密码登陆slave机

ssh slave1(在master主机输入) 登陆成功则配置成功,exit退出slave1返回master

四、配置Hadoop

① 下载:点击到下载页面,选择hadoop-0.20.2.tar.gz

② 放到~/bin下解压: tar -xzvf hadoop-0.20.2.tar.gz

③ 解压后进入:~/bin/hadoop-0.20.2/conf/,修改配置文件:

修改hadoop-env.sh:

export JAVA_HOME=/root/bin/jdk1.6.0_32

hadoop-env.sh里面有这一行,默认是被注释的,只需要把注释去掉,并且把JAVA_HOME 改成你的java安装目录即可

修改core-site.xml

    1. xmlversion="1.0"?>
    2. xml-stylesheettype="text/xsl"href="configuration.xsl"?>
    3. fs.default.namename>
    4. hdfs://master:9000value>
    5. property>
    6. Hadoop.tmp.dirname>
    7. /tmp/hadoop-rootvalue>
    8. property>
    9. configuration>

注释一:Hadoop分布式文件系统文件存放位置都是基于hadoop.tmp.dir目录的,namenode的名字空间存放地方就是 ${hadoop.tmp.dir}/dfs/name, datanode数据块的存放地方就是 ${hadoop.tmp.dir}/dfs/data,所以设置好hadoop.tmp.dir目录后,其他的重要目录都是在这个目录下面,这是一个根 目录。

注释二:fs.default.name,设置namenode所在主机,端口号是9000

注释三:core-site.xml 对应有一个core-default.xml, hdfs-site.xml对应有一个hdfs-default.xml,mapred-site.xml对应有一个mapred- default.xml。这三个defalult文件里面都有一些默认配置,现在我们修改这三个site文件,目的就覆盖default里面的一些配置

修改hdfs-site.xml

  1. xmlversion="1.0"?>
  2. xml-stylesheettype="text/xsl"href="configuration.xsl"?>
  3. dfs.replicationname>
  4. 3value>
  5. property>
  6. configuration>

dfs.replication,设置数据块的复制次数,默认是3,如果slave节点数少于3,则写成相应的1或者2

修改mapred-site.xml

  1. xmlversion="1.0"?>
  2. xml-stylesheettype="text/xsl"href="configuration.xsl"?>
  3. mapred.job.trackername>
  4. http://master:9001value>
  5. property>
  6. configuration>

mapred.job.tracker,设置jobtracker所在机器,端口号9001

修改masters

master

虽然masters内写的是master,但是个人感觉,这个并不是指定master节点,而是配置secondaryNameNode

修改slaves

master

slave1

slave2

配置了集群中所有slave节点

④ 添加hadoop环境变量,并 source ~/.bash_profile使之生效

  1. exportJAVA_HOME=/root/bin/jdk1.6.0_32
  2. exportHADOOP_HOME=/root/bin/hadoop-0.20.2
  3. exportPATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

⑤ 将已经配置好的hadoop-0.20.2,分别拷贝到另外两台主机,并做相同配置

⑥ 此时,hadoop的集群配置已经完成,输入hadoop,则可看到hadoop相关的操作

  1. [root@master~]#hadoop
  2. Usage:hadoop[--configconfdir]COMMAND
  3. whereCOMMANDisoneof:
  4. namenode-formatformattheDFSfilesystem
  5. secondarynamenoderuntheDFSsecondarynamenode
  6. namenoderuntheDFSnamenode
  7. datanoderunaDFSdatanode
  8. dfsadminrunaDFSadminclient
  9. mradminrunaMap-Reduceadminclient
  10. fsckrunaDFSfilesystemcheckingutility
  11. fsrunagenericfilesystemuserclient
  12. balancerrunaclusterbalancingutility
  13. jobtrackerruntheMapReducejobTrackernode
  14. pipesrunaPipesjob
  15. tasktrackerrunaMapReducetaskTrackernode
  16. jobmanipulateMapReducejobs
  17. queuegetinformationregardingJobQueues
  18. versionprinttheversion
  19. jarrunajarfile
  20. distcpcopyfileordirectoriesrecursively
  21. archive-archiveNameNAME*createahadooparchive
  22. daemonlogget/settheloglevelforeachdaemon
  23. or
  24. CLASSNAMEruntheclassnamedCLASSNAME
  25. Mostcommandsprinthelpwheninvokedw/oparameters.

⑦ 此时,首先格式化hadoop

在命令行里执行,hadoop namenode -format

⑧ 启动hadoop

在命令行里执行,start-all.sh,或者执行start-dfs.sh,再执行start-mapred.sh

⑨ 输入jps,查看启动的服务进程

master节点:[root@master ~]# jps

25429 SecondaryNameNode

25500 JobTracker

25201 NameNode

25328 DataNode

18474 Jps

25601 TaskTracker

slave节点:[root@slave1 ~]# jps

4469 TaskTracker

4388 DataNode

29622 Jps

如上显示,则说明相应的服务进程都启动成功了。

圈10(额,像①一样的圈出不来了(⊙o⊙)) 查看hdfs分布式文件系统的 文件目录结构

hadoop fs -ls /

此时发现为空,因为确实什么也没有,运行一下命令,则可创建一个文件夹:

hadoop fs -mkdir /newDir

再次执行hadoop fs -ls /,则会看到newDir文件夹,关于hadoop fs 命令,参见:HDFS 命令

圈11 运行hadoop 类似hello world的程序

本来,都是以word count来运行的,但是还得建文件夹之类的,有一个更简单的,就是example中的计算π值的程序,我们来计算一下,进入hadoop目录,运行如下:

  1. [root@slave1hadoop-0.20.2]#hadoopjarhadoop-0.20.2-examples.jarpi42
  2. NumberofMaps=4
  3. SamplesperMap=2
  4. WroteinputforMap#0
  5. WroteinputforMap#1
  6. WroteinputforMap#2
  7. WroteinputforMap#3
  8. StartingJob
  9. 12/05/2009:45:19INFOmapred.FileInputFormat:Totalinputpathstoprocess:4
  10. 12/05/2009:45:19INFOmapred.JobClient:Runningjob:job_201205190417_0005
  11. 12/05/2009:45:20INFOmapred.JobClient:map0%reduce0%
  12. 12/05/2009:45:30INFOmapred.JobClient:map50%reduce0%
  13. 12/05/2009:45:31INFOmapred.JobClient:map100%reduce0%
  14. 12/05/2009:45:45INFOmapred.JobClient:map100%reduce100%
  15. 12/05/2009:45:47INFOmapred.JobClient:Jobcomplete:job_201205190417_0005
  16. 12/05/2009:45:47INFOmapred.JobClient:Counters:18
  17. 12/05/2009:45:47INFOmapred.JobClient:JobCounters
  18. 12/05/2009:45:47INFOmapred.JobClient:Launchedreducetasks=1
  19. 12/05/2009:45:47INFOmapred.JobClient:Launchedmaptasks=4
  20. 12/05/2009:45:47INFOmapred.JobClient:Data-localmaptasks=4
  21. 12/05/2009:45:47INFOmapred.JobClient:FileSystemCounters
  22. 12/05/2009:45:47INFOmapred.JobClient:FILE_BYTES_READ=94
  23. 12/05/2009:45:47INFOmapred.JobClient:HDFS_BYTES_READ=472
  24. 12/05/2009:45:47INFOmapred.JobClient:FILE_BYTES_WRITTEN=334
  25. 12/05/2009:45:47INFOmapred.JobClient:HDFS_BYTES_WRITTEN=215
  26. 12/05/2009:45:47INFOmapred.JobClient:Map-ReduceFramework
  27. 12/05/2009:45:47INFOmapred.JobClient:Reduceinputgroups=8
  28. 12/05/2009:45:47INFOmapred.JobClient:Combineoutputrecords=0
  29. 12/05/2009:45:47INFOmapred.JobClient:Mapinputrecords=4
  30. 12/05/2009:45:47INFOmapred.JobClient:Reduceshufflebytes=112
  31. 12/05/2009:45:47INFOmapred.JobClient:Reduceoutputrecords=0
  32. 12/05/2009:45:47INFOmapred.JobClient:SpilledRecords=16
  33. 12/05/2009:45:47INFOmapred.JobClient:Mapoutputbytes=72
  34. 12/05/2009:45:47INFOmapred.JobClient:Mapinputbytes=96
  35. 12/05/2009:45:47INFOmapred.JobClient:Combineinputrecords=0
  36. 12/05/2009:45:47INFOmapred.JobClient:Mapoutputrecords=8
  37. 12/05/2009:45:47INFOmapred.JobClient:Reduceinputrecords=8
  38. JobFinishedin28.952seconds
  39. EstimatedvalueofPiis3.50000000000000000000

计算PI值为3.5,还算靠近,至于输出log日志,就不介绍了,以后学的稍微深入,可多做了解。

Hadoop 三节点集群的配置就介绍到这里,接下来,会介绍一下如何在windows中远程连接hadoop,并配置eclipse来进行MapReduce的开发和调试。

数据
0
为您推荐
HIVE数据仓库完美实战课程,资源教程下载

HIVE数据仓库完美实战课程,资源教程下载

课程名称【快速掌握HIVE视频教程】HIVE数据仓库完美实战课程课程目录├第一周:hive基…...

尚硅谷大数据Flink技术与实战,资源教程下载

尚硅谷大数据Flink技术与实战,资源教程下载

课程名称尚硅谷大数据Flink技术与实战课程目录理论_Flink基础 001__Flink理论_Flink…...

廖雪峰-2019大数据分析精品资料价值1980元,资源教程下载

廖雪峰-2019大数据分析精品资料价值1980元,资源教程

课程介绍:廖雪峰大神历时3个月打磨出来的《数据分析必备技能》的视频学习资料,由浅…...

尚硅谷-大数据项目之电商数仓教程下载

尚硅谷-大数据项目之电商数仓教程下载

课程介绍:本课程以国内电商巨头实际业务应用场景为依托,对电商数仓的常见实战指标以…...

小码哥李明杰Java版《恋上数据结构与算法》 ,资源教程下载

小码哥李明杰Java版《恋上数据结构与算法》 ,资源教

课程目录01-学前须知01-为什么要学习数据结构与算法02-编程语言的选择03-课程大纲04-…...

阿里云大数据分析师ACP认证视频教程下载

阿里云大数据分析师ACP认证视频教程下载

课程介绍阿里云大数据行业认证-大数据分析师认证(ACP-Alibaba Cloud Certified Prof…...

恋上数据结构与算法(第二季),视频教程下载

恋上数据结构与算法(第二季),视频教程下载

课程介绍:课程由MJ老师和名企算法大咖共同研发,在保证易懂的同时确保课程的系统全面…...

社交网络分析与挖掘,视频教程下载

社交网络分析与挖掘,视频教程下载

课程介绍:社交网络和数据挖掘是计算机学科相关研究中的热点,其具体研究涵盖理论、关…...