手动清除buffer/cached
cat /proc/sys/vm/drop_caches 可以设置的值分别为1、2、3。它们所表示的含义为： echo 1 > /proc/sys/vm/drop_caches #表示清除pagecache。
echo 2 > /proc/sys/vm/drop_caches #表示清除回收slab
YARN 队列
开启队列 <property>
<name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.Ca
网络流量监控
命令： sar -n DEV 1 1 安装： sudo yum install sysstat -y 说明： 命令后面1 2 意思是：每一秒钟取1次值，取2次。 DEV显示网络接口信息 另外，-n参数很有用，他有6个不同的开关：DEV | EDEV | NFS | NFSD | SOCK | ALL
hadoop 修改 logs路径 和tmp路径
修改过程 1，停掉hadoop集群。 2，拷贝原始logs路径下和tmp路径下的内容到新的路径下（目标路径）。其实删除tmp路径下内容也可以。 3，修改配置文件，hadoop-env.sh和core-site.xml。（如后文所示） 4，启动hadoop集群。 修改hadoop logs路径 在ha
HDFS数据压缩&解压缩
hadoop jar /data/hadoop/hadoop-yum/share/hadoop/tools/lib/hadoop-streaming-2.7.2.jar \
-Dmapred.reduce.tasks=6 \
-Dmapred.map.tasks=25 \
-
Linux日志切割工具Logrotate配置详解
Logrotate 程序是一个日志文件管理工具。用于分割日志文件，压缩转存、删除旧的日志文件，并创建新的日志文件，下面就对logrotate日志轮转的记录： 1. Logrotate配置文件介绍 Linux系统默认安装logrotate，默认的配置文件： /etc/logrotate.conf /e
hdfs空间配额
hadoop version:3.3.4 hdfs dfsadmin -setQuota <N> <目录>...<目录>
将每个目录的名称配额设置为 N。每个目录都尽力而为，如果 N 不是正长整数、目录不存在或它是文件，或者目录将立即超过新配额，则会报告错误。
hdfs dfsadmin -cl
查看namenode RPC响应时间
curl -s http://xxx.xxx.xxx.xxx:50070/jmx|egrep "RpcQueueTimeAvgTime|RpcProcessingTimeAvgTime"