节点下线

下线datanode

  1. 添加配置文件

hdfs-site.xml

<property>    
    <name>dfs.hosts.exclude</name>
    <value>/data/hadoop/hadoop-2.7.2/etc/hadoop/dfs_exclude</value>
</property>
  1. 添加下线节点

vi dfs_exclude

dn1

dn2

同步配置文件到两个nanenode节点

  1. 执行

hdfs dfsadmin -refreshNodes

命令查看下线情况

hdfs dfsadmin -report

会在namenode:50070的页面上看到Decomissioning页面会出现你配置的机器,开始拷贝block到其他机器,执行完成后状态会变成Decommissioned。

  1. 关闭datanode

./hadoop-daemon.sh stop datanode

  1. 修改slave文件,去掉下线节点

  2. 再次修改dfs_exclude,清空内容

重新执行 hadoop dfsadmin -refreshNodes 即可

Ps:如果是3副本的情况下,最多只能同时下线2台。为了以防万一block丢失,还是一台台下线比较稳妥

下线nodemanager

  1. 修改配置文件

yarn-site.xml

<property>
   <name>yarn.resourcemanager.nodes.exclude-path</name>
  <value>/data/hadoop/hadoop-2.7.2/etc/hadoop/nodemanager.excludes</value>
</property>
  1. 添加下线节点
    vi dfs_exclude
    dn1
    dn2
    同步配置文件到两个nanenode节点

  2. 执行下线命令

yarn rmadmin -refreshNodes

  1. 查看下线情况命令

yarn node -list

  1. 下线完成,kill进程,修改salve文件


节点下线
https://www.hechunyu.com/archives/1698216862840
作者
chunyu
发布于
2021年03月25日
许可协议