节点下线
下线datanode
添加配置文件
hdfs-site.xml
<property>
<name>dfs.hosts.exclude</name>
<value>/data/hadoop/hadoop-2.7.2/etc/hadoop/dfs_exclude</value>
</property>
添加下线节点
vi dfs_exclude
dn1
dn2
同步配置文件到两个nanenode节点
执行
hdfs dfsadmin -refreshNodes
命令查看下线情况
hdfs dfsadmin -report
会在namenode:50070的页面上看到Decomissioning页面会出现你配置的机器,开始拷贝block到其他机器,执行完成后状态会变成Decommissioned。
关闭datanode
./hadoop-daemon.sh stop datanode
修改slave文件,去掉下线节点
再次修改dfs_exclude,清空内容
重新执行 hadoop dfsadmin -refreshNodes 即可
Ps:如果是3副本的情况下,最多只能同时下线2台。为了以防万一block丢失,还是一台台下线比较稳妥
下线nodemanager
修改配置文件
yarn-site.xml
<property>
<name>yarn.resourcemanager.nodes.exclude-path</name>
<value>/data/hadoop/hadoop-2.7.2/etc/hadoop/nodemanager.excludes</value>
</property>
添加下线节点
vi dfs_exclude
dn1
dn2
同步配置文件到两个nanenode节点执行下线命令
yarn rmadmin -refreshNodes
查看下线情况命令
yarn node -list
下线完成,kill进程,修改salve文件
节点下线
https://www.hechunyu.com/archives/1698216862840