系统文件数限制
配置ulimit -a 注：nofile最大值1048576，且不能设置为unlimited，否则无法ssh登陆，noproc可以 vim /etc/security/limits.conf
* soft nofile 655360
* hard nofile 655360
* soft npr
kafka动态修改日志保存时间
kafka动态修改日志保存时间 查看 bin/kafka-configs.sh --describe --zookeeper zk01.td.com:2181 --entity-type topics --entity-name flink_clickhouse_test 修改 bin/kafka-
手动清除buffer/cached
cat /proc/sys/vm/drop_caches 可以设置的值分别为1、2、3。它们所表示的含义为： echo 1 > /proc/sys/vm/drop_caches #表示清除pagecache。
echo 2 > /proc/sys/vm/drop_caches #表示清除回收slab
YARN 队列
开启队列 <property>
<name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.Ca
网络流量监控
命令： sar -n DEV 1 1 安装： sudo yum install sysstat -y 说明： 命令后面1 2 意思是：每一秒钟取1次值，取2次。 DEV显示网络接口信息 另外，-n参数很有用，他有6个不同的开关：DEV | EDEV | NFS | NFSD | SOCK | ALL
hadoop 修改 logs路径 和tmp路径
修改过程 1，停掉hadoop集群。 2，拷贝原始logs路径下和tmp路径下的内容到新的路径下（目标路径）。其实删除tmp路径下内容也可以。 3，修改配置文件，hadoop-env.sh和core-site.xml。（如后文所示） 4，启动hadoop集群。 修改hadoop logs路径 在ha
HDFS数据压缩&解压缩
hadoop jar /data/hadoop/hadoop-yum/share/hadoop/tools/lib/hadoop-streaming-2.7.2.jar \
-Dmapred.reduce.tasks=6 \
-Dmapred.map.tasks=25 \
-
Linux日志切割工具Logrotate配置详解
Logrotate 程序是一个日志文件管理工具。用于分割日志文件，压缩转存、删除旧的日志文件，并创建新的日志文件，下面就对logrotate日志轮转的记录： 1. Logrotate配置文件介绍 Linux系统默认安装logrotate，默认的配置文件： /etc/logrotate.conf /e