hadoop版本升级

hadoop2升级3

版本3.3以下

1、将元数据目录备份以防升级失败

cp -r editlog/ editlog_bak
cp -r name/ name_bak

2、上传hadoop-3.3.4.tar.gz解压后修改配置

tar -zxvf hadoop-3.3.4.tar.gz
//将原hadoop的配置文件  etc/hadoop拷贝至3.3.4的etc目录下
mv ~/hadoop-3.3.4/etc/hadoop ~/hadoop-3.3.4/etc/hadoop_bak
cp -r ~/hadoop-3.1.1/etc/hadoop ~/hadoop-3.3.4/etc
//修改指向的hadoop_conf目录,
vi ~/hadoop-3.3.4/etc/hadoop/hadoop-env.sh
//hadoop-env.sh添加/修改下列内容
export HADOOP_PID_DIR=/home/cdpsitdepl/hadoop-3.3.4
export HADOOP_HOME=/home/cdpsitdepl/hadoop-3.3.4
//yarn-env.sh添加/修改下列内容
vi ~/hadoop-3.3.4/etc/hadoop/hadoop-env.sh
export HADOOP_PID_DIR=/home/cdpsitdepl/hadoop-3.3.4

3、建立升级快照

//建立回滚使用的快照
hdfs dfsadmin -rollingUpgrade prepare
//查看升级快照状态
hdfs dfsadmin -rollingUpgrade query

4、停止JournalNode，以新版本hadoop启动JournalNode(滚动升级)

在journalNode升级的过程中可能因为滚动升级导致namenode掉线，需要及时拉起

hadoop-daemon.sh stop journalnode
//切换环境变量后执行（自行修改环境变量中的hadoop_home）
hdfs --daemon start journalnode

5、升级namenode(滚动升级)

namenode在滚动升级时，遵循的步骤是，先升级standby节点，待standby节点同步edit log完成后，切换active节点至升级好的namenode后，再做升级

注意事项:namenode重启过程中同步edit log的时候 不要去操作journalNode否则会造成namenode启动失败

以下步骤，停止命令使用旧版本hadoop命令执行，启动命令使用新版本hadoop命令执行

//停止zkfc
hadoop-daemon.sh stop zkfc
//开启zkfc
hadoop-daemon.sh start zkfc
//停掉原namenode
hadoop-daemon.sh stop namenode
//升级启动namenode
hadoop-daemon.sh start namenode -rollingUpgrade started
//检查namenode状态(nn1 nn2为namenode命名)
 hdfs haadmin -getServiceState nn1
 hdfs haadmin -getServiceState nn2

6、升级datanode(滚动升级)

以下步骤，停止命令使用旧版本hadoop命令执行，启动命令使用新版本hadoop命令执行

//停掉原datanode
hadoop-daemon.sh stop datanode
//升级启动datanode
hadoop-daemon.sh start datanode
jps |grep DataNode  --验证DataNode是否启动成功

7、升级resourcemanager和nodemanager(滚动升级)

原则:先standby后active

//resourcemanager节点执行停止resourcemanage
yarn-daemon.sh stop resourcemanager
//启动resourcemanage
yarn-daemon.sh start resourcemanager
//查看节点状态
yarn rmadmin -getServiceState rm1
//nodemanager节点执行
yarn-daemon.sh stop nodemanager
yarn-daemon.sh start nodemanager

8、访问yarn、hdfs web页面查看升级后集群情况，确认集群无误后完成升级

//完成升级
hdfs dfsadmin -rollingUpgrade finalize