Hcy

由于数据库数据丢失导致CDH集群无法使用，这时hadoop等集群可能在正常运行 但无法通过cloudera-manager来进行管理，需要重新安装cloudera-manager来接管之前的集群并恢复数据。 解决办法： 关闭service 和 agent服务 保证数据库运营正常 在数据库中重新创建所

在不改变目录或文件权限的情况下，允许这个文件或目录被其他用户或组对这个用户的访问权限的更改 开启配置 hdfs-site.xml <property> <name>dfs.namenode.acls.enabled</name> <value>true</value> </p

hdfs dfs -rmr -skipTrash /user/hdfs/.Trash

前言：Hadoop集群用久了以后，我们会发现一个问题，HDFS节点间的数据不平衡，尤其在新增和下架节点、或者人为干预副本数量的时候，多的达到80-90%，少的不到50%。出现这种状况，我们一般采用HDFS自带的balancer工具来解决，保证每个节点的数据分布均衡。 start-balancer.s

下线datanode 添加配置文件 hdfs-site.xml <property> <name>dfs.hosts.exclude</name> <value>/data/hadoop/hadoop-2.7.2/etc/hadoop/dfs_exclude</value>

查找HDFS有哪些小文件以及统计数量 hdfs 导出fsimage文件 hdfs dfsadmin -fetchImage /data 转换为可视化数据 hdfs oiv -i /data/fsimage_0000000000930647029 -o /data/fsimage.csv -p Del

在我们目前使用的Hadoop 2.x版本当中，HDFS在写入时有两种选择卷（磁盘）的策略，一是基于轮询的策略（RoundRobinVolumeChoosingPolicy），二是基于可用空间的策略（AvailableSpaceVolumeChoosingPolicy）。 基于轮询的策略 “轮询”是一

检测命令 切换到hdfs用户执行 如果集群处于安全模式需要退出安全模式 hadoop dfsadmin -safemode leave 在HDFS中，提供了fsck命令，用于检查HDFS上文件和目录的健康状态、获取文件的block块信息和位置信息等。 具体命令介绍： -move: 移动损坏的文件到/

export HADOOP_ROOT_LOGGER=ERROR,console

hadoop2升级3 版本3.3以下 1、将元数据目录备份以防升级失败 cp -r editlog/ editlog_bak cp -r name/ name_bak 2、上传hadoop-3.3.4.tar.gz解压后修改配置 tar -zxvf hadoop-3.3.4.tar.gz //将原h