完整目录、平台简介、安装环境及版本:参考《Spark平台(精简版)概览》
三、Hadoop多节点安装
3.1 克隆Single NodeCluster到data1
3.2 设置data1服务器
3.2.1 设置IP地址
3.2.2 设置主机名
修改主机名:sudo gedit /etc/hostname
重启:sudo reboot
3.2.3 编辑hosts文件
sudo gedit /etc/hosts
192.168.0.50 master
192.168.0.51 data1
192.168.0.52 data2
192.168.0.53 data3
3.2.4 修改core-site.xml
sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml
3.2.5 修改yarn-site.xml
sudo gedit /usr/local/hadoop/etc/hadoop/yarn-site.xml
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8025</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8050</value>
</property>
3.2.6 修改mapred-site.xml
sudo gedit /usr/local/hadoop/etc/hadoop/mapred-site.xml
<property>
<name>mapred.job.tracker</name>
<value>master:54311</value>
</property>
3.2.7 修改hdfs-site.xml
sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml
3.2.8 重启
sudo reboot
3.3 克隆data1至data2、data3、master
3.3.1 克隆
3.3.2 修改配置
启动4台虚拟机:data1、data2、data3、master
3.4 设置data2、data3服务器
3.4.1 设置IP
data2:192.168.0.52
data3:192.168.0.53
3.4.2 设置主机名
data2: node2
data3: node3
3.4.3 重启
重启:sudo reboot
3.5 设置master服务器
3.5.1 设置IP
master:192.168.0.50
3.5.2 设置主机名
master
3.5.3 重启
重启:sudo reboot
3.5.4 修改hdfs-site.xml
sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml
3.5.5 编辑master文件
sudo gedit /usr/local/hadoop/etc/hadoop/master
3.5.6 编辑slaves文件
sudo gedit /usr/local/hadoop/etc/hadoop/slaves
3.5.7 重启
sudo reboot
3.6 Master连data1、data2、data3建HDFS目录
3.6.1 Master通过ssh连data1,并创建HDFS目录
ssh data1
清空目录:sudo rm -rf /usr/local/hadoop/hadoop_data/hdfs
新建目录:sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode
设置权限:sudo chown hduser:hduser -R /usr/local/hadoop
退出data1连接:exit
3.6.2 Master通过ssh连data2,并创建HDFS目录
ssh data2
清空目录:sudo rm -rf /usr/local/hadoop/hadoop_data/hdfs
新建目录:sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode
设置权限:sudo chown hduser:hduser -R /usr/local/hadoop
退出data1连接:exit
3.6.3 Master通过ssh连data3,并创建HDFS目录
ssh data3
清空目录:sudo rm -rf /usr/local/hadoop/hadoop_data/hdfs
新建目录:sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode
设置权限:sudo chown hduser:hduser -R /usr/local/hadoop
退出data1连接:exit
3.7 创建并格式化NameNode HDFS 目录
3.7.1 创建
清空目录:sudo rm -rf /usr/local/hadoop/hadoop_data/hdfs
新建目录:mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode
授权:sudo chown -R hduser:hduser /usr/local/hadoop
3.7.2 格式化
hadoop namenode -format
3.8 启动集群
启动:start-dfs.sh
启动:start-yarn.sh
启动全部:start-all.sh
关闭全部:stop-all.sh
3.8.1 查看master进程
jps
- HDFS需要:NameNode、SecondaryNameNode
- MapReduce2(YARM)需要:ResourceManager
3.8.2 查看进程node1
登录:ssh data1
查看:jps
- HDFS需要:DataNode
- MapReduce2(YARM)需要:NodeManager
退出:exit
3.8.3 查看进程node2
查看方式一样,参考<查看进程node1>
3.8.4 查看进程node3
查看方式一样,参考<查看进程node1>
3.8.5 打开Hadoop ResourceManager Web页面
浏览器输入:http://192.168.0.50:8088
3.8.6 打开Namenode Web页面
浏览器输入:http://192.168.0.50:50070
3.8.7 故障1
查看发现/ETC/HOSTNAME中data*写成node*了。