部署环境：

OS：Redhat 5.5 Enterprise

JDK：jdk1.6.0_32

Hadoop：Hadoop-0.20.2

VMWare：7.0

节点安排及网络拓扑：

节点类型节点IP节点hostname

master节点 192.168.40.5master

slave节点　 192.168.40.5master(此时，master既是master节点，也是slave节点)

192.168.40.6salve1

192.168.40.7slave2

secondaryName节点192.168.40.5master(此时，master既是master节点，也是slave节点，也是secondaryNameNode)

配置步骤：

一、网络配置

首先关闭三台虚拟机的防火墙，步骤可参考：关闭防火墙

先用VMWare安装三台虚拟机（可以先安装一台，然后clone两台），按照节点安排及网络拓扑配置网络，先配置master节点的网络：

① 静态网络IP配置见VMware Redhat网络配置，分别将三台虚拟机的IP进行设置

② 修改主机名：vi /etc/hosts(解析IP要用)，添加

192.168.40.5 master

192.168.40.6 slave1

192.168.40.7 slave2

③ 按照此过程及相同数据(除了IP地址不同)对三台虚拟机进行配置

二、 安装jdk

Hadoop 是用java开发的，Hadoop的编译及mapreduce的运行都需要使用JDK，所以JDK是必须安装的

① 下载jdk，http://www.oracle.com/technetwork/java/javase/downloads/index.html

② 在用户根目录下，建立bin文件夹：mkdir ~/bin（也可放在其他处，个人习惯而已）

③ 改变执行权限：chmod u+x jdk-6u26-linux-i586.bin

④ 执行文件：sudo -s ./jdk-6u26-linux-i586.bin，一路确定

⑤ 配置环境变量：vi ~/.bash_profile,添加：

1. exportJAVA_HOME=/root/bin/jdk1.6.0_32
2. exportPATH=$PATH:$JAVA_HOME/bin

⑥ 使profile文件生效：source ~/.bash_profile

⑦ 验证是否配置成功：which java

[root@master ~]# which java

/root/bin/jdk1.6.0_32/bin/java 配置生效。也可输入java -version, java, javac进一步确定

⑧ 分别相同配置另外两台主机

三、建立ssh互信

hadoop 需要通过ssh互信来启动slave里表中各个主机的守护进程，所以SSH是必须安装的（redhat 5.5 Enterprise 以默认安装）。但是是否建立ssh互信（即无密码登陆）并不是必须的，但是如果不配置，每次启动hadoop，都需要输入密码以便登录到每台机器的 Datanode上，而一般的Hadoop集群动辄数百或数千台机器，因此一般来说都会配置ssh互信。

① 生成密钥并配置ssh无密码登陆主机(在master主机)

1. ssh-keygen-tdsa-P''-f~/.ssh/id_dsa
2. cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys

② 将authorized_keys文件拷贝到两台slave主机

1. scpauthorized_keysslave1:~/.ssh/
2. scpauthorized_keysslave2:~/.ssh/

③ 检查是否可以从master无密码登陆slave机

ssh slave1(在master主机输入) 登陆成功则配置成功，exit退出slave1返回master

四、配置Hadoop

① 下载：点击到下载页面，选择hadoop-0.20.2.tar.gz

② 放到~/bin下解压： tar -xzvf hadoop-0.20.2.tar.gz

③ 解压后进入：~/bin/hadoop-0.20.2/conf/，修改配置文件：

修改hadoop-env.sh:

export JAVA_HOME=/root/bin/jdk1.6.0_32

hadoop-env.sh里面有这一行，默认是被注释的，只需要把注释去掉，并且把JAVA_HOME 改成你的java安装目录即可

修改core-site.xml

1. 1. xmlversion="1.0"?>
   2. xml-stylesheettype="text/xsl"href="configuration.xsl"?>
   8. fs.default.namename>
   9. hdfs://master:9000value>
   10. property>
   12. Hadoop.tmp.dirname>
   13. /tmp/hadoop-rootvalue>
   14. property>
   15. configuration>

注释一：Hadoop分布式文件系统文件存放位置都是基于hadoop.tmp.dir目录的，namenode的名字空间存放地方就是 ${hadoop.tmp.dir}/dfs/name, datanode数据块的存放地方就是 ${hadoop.tmp.dir}/dfs/data，所以设置好hadoop.tmp.dir目录后，其他的重要目录都是在这个目录下面，这是一个根 目录。

注释二：fs.default.name,设置namenode所在主机，端口号是9000

注释三：core-site.xml 对应有一个core-default.xml, hdfs-site.xml对应有一个hdfs-default.xml,mapred-site.xml对应有一个mapred- default.xml。这三个defalult文件里面都有一些默认配置，现在我们修改这三个site文件，目的就覆盖default里面的一些配置

修改hdfs-site.xml

1. xmlversion="1.0"?>
2. xml-stylesheettype="text/xsl"href="configuration.xsl"?>
8. dfs.replicationname>
9. 3value>
10. property>
11. configuration>

dfs.replication，设置数据块的复制次数，默认是3，如果slave节点数少于3，则写成相应的1或者2

修改mapred-site.xml

1. xmlversion="1.0"?>
2. xml-stylesheettype="text/xsl"href="configuration.xsl"?>
8. mapred.job.trackername>
9. http://master:9001value>
10. property>
11. configuration>

mapred.job.tracker，设置jobtracker所在机器，端口号9001

修改masters

master

虽然masters内写的是master，但是个人感觉，这个并不是指定master节点，而是配置secondaryNameNode

修改slaves

master

slave1

slave2

配置了集群中所有slave节点

④ 添加hadoop环境变量，并 source ~/.bash_profile使之生效

1. exportJAVA_HOME=/root/bin/jdk1.6.0_32
2. exportHADOOP_HOME=/root/bin/hadoop-0.20.2
3. exportPATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

⑤ 将已经配置好的hadoop-0.20.2，分别拷贝到另外两台主机，并做相同配置

⑥ 此时，hadoop的集群配置已经完成，输入hadoop，则可看到hadoop相关的操作

1. [root@master~]#hadoop
2. Usage:hadoop[--configconfdir]COMMAND
3. whereCOMMANDisoneof:
4. namenode-formatformattheDFSfilesystem
5. secondarynamenoderuntheDFSsecondarynamenode
6. namenoderuntheDFSnamenode
7. datanoderunaDFSdatanode
8. dfsadminrunaDFSadminclient
9. mradminrunaMap-Reduceadminclient
10. fsckrunaDFSfilesystemcheckingutility
11. fsrunagenericfilesystemuserclient
12. balancerrunaclusterbalancingutility
13. jobtrackerruntheMapReducejobTrackernode
14. pipesrunaPipesjob
15. tasktrackerrunaMapReducetaskTrackernode
16. jobmanipulateMapReducejobs
17. queuegetinformationregardingJobQueues
18. versionprinttheversion
19. jarrunajarfile
20. distcpcopyfileordirectoriesrecursively
21. archive-archiveNameNAME*createahadooparchive
22. daemonlogget/settheloglevelforeachdaemon
23. or
24. CLASSNAMEruntheclassnamedCLASSNAME
25. Mostcommandsprinthelpwheninvokedw/oparameters.

⑦ 此时，首先格式化hadoop

在命令行里执行，hadoop namenode -format

⑧ 启动hadoop

在命令行里执行，start-all.sh，或者执行start-dfs.sh,再执行start-mapred.sh

⑨ 输入jps，查看启动的服务进程

master节点：[root@master ~]# jps

25429 SecondaryNameNode

25500 JobTracker

25201 NameNode

25328 DataNode

18474 Jps

25601 TaskTracker

slave节点：[root@slave1 ~]# jps

4469 TaskTracker

4388 DataNode

29622 Jps

如上显示，则说明相应的服务进程都启动成功了。

圈10(额，像①一样的圈出不来了(⊙o⊙)) 查看hdfs分布式文件系统的 文件目录结构

hadoop fs -ls /

此时发现为空，因为确实什么也没有，运行一下命令，则可创建一个文件夹：

hadoop fs -mkdir /newDir

再次执行hadoop fs -ls /，则会看到newDir文件夹，关于hadoop fs 命令，参见：HDFS 命令

圈11 运行hadoop 类似hello world的程序

本来，都是以word count来运行的，但是还得建文件夹之类的，有一个更简单的，就是example中的计算π值的程序，我们来计算一下，进入hadoop目录，运行如下：

2. [root@slave1hadoop-0.20.2]#hadoopjarhadoop-0.20.2-examples.jarpi42
3. NumberofMaps=4
4. SamplesperMap=2
5. WroteinputforMap#0
6. WroteinputforMap#1
7. WroteinputforMap#2
8. WroteinputforMap#3
9. StartingJob
10. 12/05/2009:45:19INFOmapred.FileInputFormat:Totalinputpathstoprocess:4
11. 12/05/2009:45:19INFOmapred.JobClient:Runningjob:job_201205190417_0005
12. 12/05/2009:45:20INFOmapred.JobClient:map0%reduce0%
13. 12/05/2009:45:30INFOmapred.JobClient:map50%reduce0%
14. 12/05/2009:45:31INFOmapred.JobClient:map100%reduce0%
15. 12/05/2009:45:45INFOmapred.JobClient:map100%reduce100%
16. 12/05/2009:45:47INFOmapred.JobClient:Jobcomplete:job_201205190417_0005
17. 12/05/2009:45:47INFOmapred.JobClient:Counters:18
18. 12/05/2009:45:47INFOmapred.JobClient:JobCounters
19. 12/05/2009:45:47INFOmapred.JobClient:Launchedreducetasks=1
20. 12/05/2009:45:47INFOmapred.JobClient:Launchedmaptasks=4
21. 12/05/2009:45:47INFOmapred.JobClient:Data-localmaptasks=4
22. 12/05/2009:45:47INFOmapred.JobClient:FileSystemCounters
23. 12/05/2009:45:47INFOmapred.JobClient:FILE_BYTES_READ=94
24. 12/05/2009:45:47INFOmapred.JobClient:HDFS_BYTES_READ=472
25. 12/05/2009:45:47INFOmapred.JobClient:FILE_BYTES_WRITTEN=334
26. 12/05/2009:45:47INFOmapred.JobClient:HDFS_BYTES_WRITTEN=215
27. 12/05/2009:45:47INFOmapred.JobClient:Map-ReduceFramework
28. 12/05/2009:45:47INFOmapred.JobClient:Reduceinputgroups=8
29. 12/05/2009:45:47INFOmapred.JobClient:Combineoutputrecords=0
30. 12/05/2009:45:47INFOmapred.JobClient:Mapinputrecords=4
31. 12/05/2009:45:47INFOmapred.JobClient:Reduceshufflebytes=112
32. 12/05/2009:45:47INFOmapred.JobClient:Reduceoutputrecords=0
33. 12/05/2009:45:47INFOmapred.JobClient:SpilledRecords=16
34. 12/05/2009:45:47INFOmapred.JobClient:Mapoutputbytes=72
35. 12/05/2009:45:47INFOmapred.JobClient:Mapinputbytes=96
36. 12/05/2009:45:47INFOmapred.JobClient:Combineinputrecords=0
37. 12/05/2009:45:47INFOmapred.JobClient:Mapoutputrecords=8
38. 12/05/2009:45:47INFOmapred.JobClient:Reduceinputrecords=8
39. JobFinishedin28.952seconds
40. EstimatedvalueofPiis3.50000000000000000000

计算PI值为3.5，还算靠近，至于输出log日志，就不介绍了，以后学的稍微深入，可多做了解。

Hadoop 三节点集群的配置就介绍到这里，接下来，会介绍一下如何在windows中远程连接hadoop，并配置eclipse来进行MapReduce的开发和调试。