【首页推荐】详解 Hadoop HA 完全分布式部署配置及运行调试
『数人之道』原创文章,转载请关注本公众号联系我们
文章大纲:
图5-4-1:查看 rm1 的状态
或者在 hadoop101 或 hadoop102 上执行以下命令查看 rm1 的状态:
yarn rmadmin -getServiceState rm1
可以看到 rm1 能正常访问,状态是 active.
(2) 在浏览器中输入地址:http://hadoop102:8088/, 通过 Web 页面查看 hadoop102 节点的 RM 状态:
或者在 hadoop101 或 hadoop102 上执行以下命令查看 rm2 的状态:
yarn rmadmin -getServiceState rm2
可以看到,访问 rm2 的页面会自动跳转到 rm1 上,状态是 standy.
5.4.2. 运行作业
在 hadoop100 机器上使用上传至 HDFS 的输入数据文件运行 Hadoop 自带的 WordCount MR 程序作业:
yarn jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.1.jar wordcount /input/wc.input /output
5.4.3. 测试故障自动切换功能
(1) 在作业运行过程中,将 rm1 节点上的 ResourceManager 进程杀掉:
在 hadoop101 机器上执行以下命令查看 ResourceManager 的进程 pid:
ps -ef | grep ResourceManager
执行 kill 命令强制杀掉 RM 进程:
kill -9 29883
(2) 观察 rm2 上的 ResourceManager 是否可以自动接替:
可在 hadoop101 或 hadoop102 节点上执行以下命令查看 rm2 的状态:
yarn rmadmin -getServiceState rm2
也可以直接在 rm2 的 Web 页面中查看:
可以看到 rm2 已经自动切换为 Active 状态,接管作业的调度,表明故障自动切换成功。
5.4.4. 测试重启保留恢复状态功能
观察作业是否能顺利执行完成且没有中断:
查看作业的输出结果文件:
可以看到,作业成功运行完成,结果正常,表明重启后保留恢复状态的功能成功,没有因为 rm1 的意外故障而影响当前作业的运行。
经以上测试验证,我们搭建的 YARN HA 集群已经成功实现了重启能保留作业恢复状态信息和故障自动切换功能,达到 HA 的目标。