1. 主页 > 技术信息 > 数据库知识 >

三个节点的Hadoop平台安装搭建教程_如何恢复360云

日期：2016-08-24 / 人气： / 来源：网络

之前介绍过在Ubuntu 12.04单机版环境中搭建hadoop详细教程，今天的教程介绍的是3个节点的Hadoop平台建设。

1.   Hadoop节点规划

本次安装规划使用三个节点，每个节点都使用centos系统。

三个节点的hostname分别规划为：centoshadoop1、centoshadoop2、centoshadoop3（此处为本教程参数，可根据实际环境情况修改）

三个节点的ip地址分别规划为：192.168.65.57、192.168.65.58、192.168.65.59（此处为本教程参数，根据实际环境情况修改）

2.   平台搭建使用的软件

下载如下软件

操作系统安装包：Centos6.3_x64

Jdk安装包：jdk-6u37-linux-x64.bin

Hadoop安装包：hadoop-1.1.2.tar.gz

3.   安装centos操作系统（可见centos频道）

安装三个节点的操作系统，安装过程省略。

4.   配置centoshadoop1节点

4.1.  修改节点hostname

[root@localhost ~]# vi /etc/sysconfig/network 

HOSTNAME=centoshadoop1

[root@localhost ~]# vi /etc/hosts

……

192.168.65.57 centoshadoop1

192.168.65.58centoshadoop2

192.168.65.59centoshadoop3

[root@localhost ~]#reboot

4.2.  关闭iptables防火墙

[root@centoshadoop1~]#service iptables stop

注意每次操作系统重启后都要操作

4.3.  建立无ssh密码登陆

生成签名文件

[root@centoshadoop1~]#cd /root

[root@centoshadoop1~]#ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

[root@centoshadoop1~]#cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

[root@centoshadoop1~]#

测试本地SSH无密码登录

[root@centoshadoop1~]#sshcentoshadoop1

4.4.  安装jdk

上传jdk-6u37-linux-x64.bin到/root目录下

[root@centoshadoop1~]#chmod 777 jdk-6u37-linux-x64.bin

[root@centoshadoop1~]#./jdk-6u37-linux-x64.bin

[root@centoshadoop1~]#ll

查看生成jdk-6u37-linux-x64目录

4.5.  安装hadoop软件

上传hadoop-1.1.2.tar.gz到/root目录下

[root@centoshadoop1~]#tar -zvxf hadoop-1.1.2.tar.gz

[root@centoshadoop1~]#ll

查看生成hadoop-1.1.2目录

[root@centoshadoop1~]#vi /conf/core-site.xml

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://192.168.65.57:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/root/hadoop-1.1.2/tmp</value>

</property>

</configuration>

[root@centoshadoop1~]#vi hdfs-site.xml

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

[root@centoshadoop1~]#vi mapred-site.xml

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>192.168.65.57:9001</value>

</property>

</configuration>

4.6.  配置hadoop数据节点

[root@centoshadoop1~]#vi /root/hadoop-1.1.2/conf/masters

192.168.65.57 #secondaryNameNode

[root@centoshadoop1~]#vi /root/hadoop-1.1.2/conf/slaves

192.168.65.58  #datanode

192.168.65.59  #datanode

4.7.  添加环境变量

[root@centoshadoop1~]#cd /root

[root@centoshadoop1~]#vi /etc/profile

export JAVA_HOME=/root/jdk1.6.0_37

export JRE_HOME=/root/jdk1.6.0_37/jre

export HADOOP_HOME=/root/hadoop-1.1.2

export HADOOP_HOME_WARN_SUPPRESS=1

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$HADOOP_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH

[root@centoshadoop1~]#vi ~/.bashrc

export JAVA_HOME=/root/jdk1.6.0_37

export JRE_HOME=/root/jdk1.6.0_37/jre

export HADOOP_HOME=/root/hadoop-1.1.2

export HADOOP_DEV_HOME=/root/hadoop-1.1.2

export HADOOP_COMMON_HOME=/root/hadoop-1.1.2

export HADOOP_HDFS_HOME=/root/hadoop-1.1.2

export HADOOP_CONF_DIR=/root/hadoop-1.1.2/conf

[root@centoshadoop1~]#vi /root/hadoop-1.1.2/conf/hadoop-env.sh

export JAVA_HOME=/root/jdk1.6.0_37

export HADOOP_HOME_WARN_SUPPRESS=1

export HADOOP_CLASSPATH=/root/hadoop-1.1.2:/root/hadoop-1.1.2/lib

5.   配置centoshadoop2节点

5.1.  修改节点hostname

[root@localhost ~]# vi /etc/sysconfig/network 

HOSTNAME=centoshadoop2

[root@localhost ~]# vi /etc/hosts

……

192.168.65.57 centoshadoop1

192.168.65.58 centoshadoop2

192.168.65.59 centoshadoop3

[root@localhost ~]#reboot

5.2.  关闭iptables防火墙

[root@centoshadoop1~]#service iptables stop

注意每次操作系统重启后都要操作

5.3.  建立无ssh密码登陆

将centoshadoop1节点上/root/.ssh目录下的authorized_keys、known_hosts 、id_rsa.pub、id_rsa四个文件拷贝到本机的/root/.ssh目录下

5.4.  安装jdk

上传jdk-6u37-linux-x64.bin到/root目录下

[root@centoshadoop1~]#chmod 777 jdk-6u37-linux-x64.bin

[root@centoshadoop1~]#./jdk-6u37-linux-x64.bin

[root@centoshadoop1~]#ll

查看生成jdk-6u37-linux-x64目录

5.5.  安装hadoop软件

上传hadoop-1.1.2.tar.gz到/root目录下

[root@centoshadoop1~]#tar -zvxf hadoop-1.1.2.tar.gz

[root@centoshadoop1~]#ll

查看生成hadoop-1.1.2目录

[root@centoshadoop1~]#vi /conf/core-site.xml

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://192.168.65.57:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/root/hadoop-1.1.2/tmp</value>

</property>

</configuration>

[root@centoshadoop1~]#vi hdfs-site.xml

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

[root@centoshadoop1~]#vi mapred-site.xml

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>192.168.65.57:9001</value>

</property>

</configuration>

5.6.  添加环境变量

[root@centoshadoop1~]#cd /root

[root@centoshadoop1~]#vi /etc/profile

export JAVA_HOME=/root/jdk1.6.0_37

export JRE_HOME=/root/jdk1.6.0_37/jre

export HADOOP_HOME=/root/hadoop-1.1.2

export HADOOP_HOME_WARN_SUPPRESS=1

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$HADOOP_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH

[root@centoshadoop1~]#vi ~/.bashrc

export JAVA_HOME=/root/jdk1.6.0_37

export JRE_HOME=/root/jdk1.6.0_37/jre

export HADOOP_HOME=/root/hadoop-1.1.2

export HADOOP_DEV_HOME=/root/hadoop-1.1.2

export HADOOP_COMMON_HOME=/root/hadoop-1.1.2

export HADOOP_HDFS_HOME=/root/hadoop-1.1.2

export HADOOP_CONF_DIR=/root/hadoop-1.1.2/conf

[root@centoshadoop1~]#vi /root/hadoop-1.1.2/conf/hadoop-env.sh

export JAVA_HOME=/root/jdk1.6.0_37

export HADOOP_HOME_WARN_SUPPRESS=1

export HADOOP_CLASSPATH=/root/hadoop-1.1.2:/root/hadoop-1.1.2/lib

6.   配置centoshadoop3节点

6.1.  修改节点hostname

[root@localhost ~]# vi /etc/sysconfig/network 

HOSTNAME=centoshadoop3

[root@localhost ~]# vi /etc/hosts

……

192.168.65.57 centoshadoop1

192.168.65.58 centoshadoop2

192.168.65.59 centoshadoop3

[root@localhost ~]#reboot

关闭iptables防火墙、建立无ssh密码登陆、安装jdk、安装hadoop软件、添加环境变量等操作跟“配置centoshadoop2节点”完全相同

7.   启动运行hadoop平台

7.1.  首先执行格式化

[root@centoshadoop1~]#hadoop namenode –format

注意：core-site.xml、hdfs-site.xml、mapred-site.xml等配置文件变化后都需要执行格式化

7.2.  启动hadoop

[root@centoshadoop1~]#start-all.sh

7.3.  停止hadoop

[root@centoshadoop1~]#stop-all.sh

7.4.  查看hadoop运行状态

查看hadoop启动的进程

[root@centoshadoop1~]#jps

查看hadoop集群状态

[root@centoshadoop1~]#hadoop dfsadmin  -report

查看hadoop中的目录情况

[root@centoshadoop1~]#hadoop fs –ls /

Hadoop2.6.0运行mapreduce之推断（speculative）执行（上）

在mapreduce中设计了Speculator接口作为推断执行的统一规范，DefaultSpeculator作为一种服务在实现了Speculator的同时继承了AbstractService，DefaultSpeculator是mapreduce的默认实现。

Hadoop,mapreduce

作者：管理员

上一篇：红象云腾公布新一代PB级高速大数据平台产物_电 ← 下一篇：Hadoop2.6.0运行mapreduce之推断（speculative）执行（上 →

推荐内容 Recommended

相关内容 Related

我们的服务 Our Services

江苏飞浩信息科技有限公司一直致力于专业的数据恢复，信息安全方面等方面工作！随着电脑，网络的普及，数据存储本身的安全就已然成为人们首要关心的问题。存储介质本身会出现故障的绝对性却决定了无论多么优良的存储介质也无法绝对安全的现实。

立即前往 Now Go →

我们的成功案例 Our Successful Cases

江苏飞浩信息科技有限公司自成立以来，一直从事计算机数据恢复、信息安全保障等工作，为了适应信息安全的发展需要，中心引进国际先进的设备和数据恢复技术，并自主开发了适合中国计算机用户的“FehoDisk”数据实时备份产品。中心研发的虚拟RAID软件已经通过相关部门的验收。

立即前往 Now Go →



现在致电4006-2991-90 OR 查看更多联系方式 →

Go To Top 回顶部