Spark平台(精简版三)Hadoop多节点

完整目录、平台简介、安装环境及版本:参考《Spark平台(精简版)概览》

三、Hadoop多节点安装

3.1 克隆Single NodeCluster到data1

3.2 设置data1服务器

3.2.1 设置IP地址

3.2.2 设置主机名

修改主机名:sudo gedit /etc/hostname
重启:sudo reboot

3.2.3 编辑hosts文件

sudo gedit /etc/hosts
192.168.0.50 master
192.168.0.51 data1
192.168.0.52 data2
192.168.0.53 data3 

3.2.4 修改core-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml

3.2.5 修改yarn-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/yarn-site.xml
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8025</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8050</value>
</property>

3.2.6 修改mapred-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/mapred-site.xml
<property>
<name>mapred.job.tracker</name>
<value>master:54311</value>
</property>

3.2.7 修改hdfs-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml

3.2.8 重启

sudo reboot

3.3 克隆data1至data2、data3、master

3.3.1 克隆

3.3.2 修改配置

启动4台虚拟机:data1、data2、data3、master

3.4 设置data2、data3服务器

3.4.1 设置IP

data2:192.168.0.52
data3:192.168.0.53

3.4.2 设置主机名

data2: node2
data3: node3

3.4.3 重启

重启:sudo reboot

3.5 设置master服务器

3.5.1 设置IP

master:192.168.0.50

3.5.2 设置主机名

master

3.5.3 重启

重启:sudo reboot

3.5.4 修改hdfs-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml

3.5.5 编辑master文件

sudo gedit /usr/local/hadoop/etc/hadoop/master

3.5.6 编辑slaves文件

sudo gedit /usr/local/hadoop/etc/hadoop/slaves

3.5.7 重启

sudo reboot

3.6 Master连data1、data2、data3建HDFS目录

3.6.1 Master通过ssh连data1,并创建HDFS目录

ssh data1
清空目录:sudo rm -rf /usr/local/hadoop/hadoop_data/hdfs
新建目录:sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode
设置权限:sudo chown hduser:hduser -R /usr/local/hadoop
退出data1连接:exit

3.6.2 Master通过ssh连data2,并创建HDFS目录

ssh data2
清空目录:sudo rm -rf /usr/local/hadoop/hadoop_data/hdfs
新建目录:sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode
设置权限:sudo chown hduser:hduser -R /usr/local/hadoop
退出data1连接:exit

3.6.3 Master通过ssh连data3,并创建HDFS目录

ssh data3
清空目录:sudo rm -rf /usr/local/hadoop/hadoop_data/hdfs
新建目录:sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode
设置权限:sudo chown hduser:hduser -R /usr/local/hadoop
退出data1连接:exit

3.7 创建并格式化NameNode HDFS 目录

3.7.1 创建

清空目录:sudo rm -rf /usr/local/hadoop/hadoop_data/hdfs
新建目录:mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode
授权:sudo chown -R hduser:hduser /usr/local/hadoop

3.7.2 格式化

hadoop namenode -format

3.8 启动集群

启动:start-dfs.sh
启动:start-yarn.sh
启动全部:start-all.sh
关闭全部:stop-all.sh

3.8.1 查看master进程

jps
  • HDFS需要:NameNode、SecondaryNameNode
  • MapReduce2(YARM)需要:ResourceManager

3.8.2 查看进程node1

登录:ssh data1
查看:jps
  • HDFS需要:DataNode
  • MapReduce2(YARM)需要:NodeManager
退出:exit

3.8.3 查看进程node2

查看方式一样,参考<查看进程node1>

3.8.4 查看进程node3

查看方式一样,参考<查看进程node1>

3.8.5 打开Hadoop Resource­Manager Web页面

浏览器输入:http://192.168.0.50:8088

3.8.6 打开Namenode Web页面

浏览器输入:http://192.168.0.50:50070

3.8.7 故障1

查看发现/ETC/HOSTNAME中data*写成node*了。

发表回复