增加kafka节点后重新分配partition
扩容kafka之后，针对扩容之前的topic进行重新平衡leader，Replicas，Isr 生成分配计划 新建一个json文件，内容如下：（topic为要修改的topic）这里文件取名为 topics-to-move.json {
VMware虚拟机共享Windows目录
1、先在虚拟机设置本地共享路径 设置名称和windows主机路径对应关系 2、登录虚拟机执行vmware-hgfsclient 查看可共享的名称，就是第1步设置的名称 [hadoop@node01 ~]$ vmware-hgfsclient
testdata 3、执行vmhgfs-fuse .hos
ssh无法登陆
报错信息 The client has disconnected from the server. Reason: Unable to authenticate using any of the configured authentication methods. PasswordAuthentic
批量kill sql
SELECT GROUP_CONCAT(CONCAT('kill ',id,';') separator '')\
FROM `information_schema`.`PROCESSLIST` t\
WHERE t.`Time`>600\
AND t.`User` IN('meta')\
AND
hdfs挂载到本地目录
hadoop version 3.3.4 官方文档概述： NFS 网关支持 NFSv3 并允许将 HDFS 作为客户端本地文件系统的一部分进行挂载。目前 NFS 网关支持并启用以下使用模式：
用户可以通过 NFSv3 客户端兼容操作系统上的本地文件系统浏览 HDFS 文件系统。
用户可以将文件从 H
Flume 整合kafka SASL安全认证
服务端kafka开启SASL加密 # ------------------- define data source ----------------------
# source alias
agent.sources = source_from_kafka
# channels alias
a
kafka手动均衡leader
kafka-preferred-replica-election 用于对Leader进行重新负载均衡 用法1： 触发对所有的topic Leader进行负载均衡 bin/kafka-preferred-replica-election.sh --zookeeper localhost:2181/ch
yarn日志聚合
<!--开启日志聚合-->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!--聚合日志在hdfs上的保留时间，以秒为单位-->
<property