今天我学习创建federation环境，viewFS操作，在清理掉这些环境，还原到最初的系统。

创建Federation环境

1、在app-11上，切换到hadoop用户下。命令：su – hadoop

在这里插入图片描述

2、切到hadoop的安装目录下。命令：cd /hadoop/Hadoop/ 在这里插入图片描述

3、进入hadoop3.1的配置目录下。命令：cd hadoop-3.1.2/etc/hadoop/ 在这里插入图片描述

4、删除hdfs-site.xml文件。命令：rm -rf hdfs-site.xml 在这里插入图片描述

5、进入/tmp/Spark-stack目录下。命令：cd /tmp/Spark-stack/ 在这里插入图片描述

6、将hdfs-site.xml拷贝到/hadoop/Hadoop/hadoop-3.1.2/etc/hadoop/目录下。命令：cp hdfs-site.xml /hadoop/Hadoop/hadoop-3.1.2/etc/hadoop/

注：这里的hdfs-site.xml我们增加了dm2，因为在app-11和app-12上做了ha，dm2只能放在app-13上。在这里插入图片描述

7、将该文件继续拷贝到集群的另外两个机器上。命令：scp hdfs-site.xml hadoop@app-12:/hadoop/Hadoop/hadoop-3.1.2/etc/hadoop/、scp hdfs-site.xml hadoop@app-13:/hadoop/Hadoop/hadoop-3.1.2/etc/hadoop/ 在这里插入图片描述

8、登录到app-13上。命令：ssh hadoop@app-13 在这里插入图片描述

9、切换到配置文件所在的目录下。命令：cd /hadoop/Hadoop/hadoop-3.1.2/etc/hadoop/ 在这里插入图片描述

对namenode各式化。

10、先打开hdfs-site.xml文件。命令：vi hdfs-site.xml 在这里插入图片描述

11、添加注释。将dm2的cluster的namenode限制在app-13上，而不采用ha 在这里插入图片描述

12、初始化各式。命令：hdfs namenode -format -clusterId dm2注：会打印很多classpath 在这里插入图片描述

13、启动namenode. 命令：hdfs --daemon start namenode注：只是启动本地的namenode。在这里插入图片描述

14、查看是否开启。命令：jps 在这里插入图片描述

15、将app-13上的datanode和其他机器上的namenode建立联系。命令：hdfs dfsadmin -refreshNamenodes app-11:9867、hdfs dfsadmin -refreshNamenodes app-12:9867、hdfs dfsadmin -refreshNamenodes app-13:9867 在这里插入图片描述

16、退出app-13。命令：exit 在这里插入图片描述

17、查看dfs下有什么。命令：hdfs dfs -ls /注：这里的输出是dmcluster的。因为在core-site配置文件里defaultFS是dmcluster。在这里插入图片描述

18、如果想要获得dm2的输出需要加一个前缀。命令：hdfs dfs -ls hdfs://dm2/ 注：这里是空的。在这里插入图片描述

19、创建一个文件夹federation. 命令：hdfs dfs -mkdir hdfs://dm2/federation 在这里插入图片描述

20、再次查看目录。命令：hdfs dfs -ls hdfs://dm2/ 在这里插入图片描述

21、也可以使用dmcluster前缀查看文件目录。命令：hdfs dfs -ls hdfs://dmcluster/ 注：这里的文件名前会有目录。在这里插入图片描述

我们需要如何有效的管理这些文件，将这些文件系统挂载到虚拟的文件系统。映射到viewfs系统下。

ViewFS操作

1、进入到hadoop的配置文件下。命令：cd /hadoop/Hadoop/hadoop-3.1.2/etc/hadoop/ 在这里插入图片描述

2、删除core-site.xml文件。命令：rm -rf core-site.xml 在这里插入图片描述

3、切换到/tmp/Spark—stack目录下。命令：cd /tmp/Spark-stack/ 在这里插入图片描述

4、将core-site.xml拷贝到hadoop配置文件下。命令：cp core-site.xml /hadoop/Hadoop/hadoop-3.1.2/etc/hadoop/ 在这里插入图片描述

5、将文件拷贝到集群的另外两个机器上。命令：scp core-site.xml hadoop@app-12:/hadoop/Hadoop/hadoop-3.1.2/etc/hadoop/、

scp core-site.xml hadoop@app-12:/hadoop/Hadoop/hadoop-3.1.2/etc/hadoop/ 在这里插入图片描述

6、不需要重新启动集群，view就可以生效。命令：hdfs dfs -ls /

注：此时所访问的是view的根目录。hadoop和user是dmcluster里的目录，federation是dm2里的目录。这样我就有效的管理了我们集群。在这里插入图片描述

因为后续的操作不需要做federation和view，所以我们更改回去。

还原配置文件

1、先删除core-site.xml、hdfs-site.xml 命令：rm -rf core-site.xml hdfs-site.xml 在这里插入图片描述

2、切换到/tmp/Spark-stack/initialization目录下。命令：cd /tmp/Spark-stack/initialization/ 在这里插入图片描述

3、将core-site.xml hdfs-site.xml两个文件拷贝到hadoop的配置文件下。

命令：cp core-site.xml hdfs-site.xml /hadoop/Hadoop/hadoop-3.1.2/etc/hadoop/ 在这里插入图片描述

4、将配置文件拷贝到集群的另外两台机器上。

命令：scp core-site.xml hdfs-site.xml hadoop@app-12:/hadoop/Hadoop/hadoop-3.1.2/etc/hadoop/、

scp core-site.xml hdfs-site.xml hadoop@app-13:/hadoop/Hadoop/hadoop-3.1.2/etc/hadoop/

在这里插入图片描述

5、登录到app-13。

命令：ssh hadoop@app-13

在这里插入图片描述

6、停止namenode。

命令：hdfs --daemon stop namenode

在这里插入图片描述

7.查看是否关闭。

命令：jps

在这里插入图片描述

8、退出app-13。

命令：exit

在这里插入图片描述友情提示：详细学习内容可观看Spark快速大数据处理——余海峰https://edu.csdn.net/course/detail/24205