hadoop版本升级 hadoop2升级3 版本3.3以下 1、将元数据目录备份以防升级失败 cp -r editlog/ editlog_bak cp -r name/ name_bak 2、上传hadoop-3.3.4.tar.gz解压后修改配置 tar -zxvf hadoop-3.3.4.tar.gz //将原h 2020-07-25 hadoop
CDH虚拟网卡引起的警告信息处理 原因是CDH采集了virbr0这张网卡的信息导致的问题 通过ifconfig 可以看见有一个virbr的虚拟网卡 解决办法: 在该机器的配置中搜索 网络 2020-06-25 hadoop
ranger权限管理 文章内容来自尚硅谷文档 第1章 Ranger概述 1.1 什么是Ranger Apache Ranger是一个Hadoop平台上的全方位数据安全管理框架,它可以为整个Hadoop生态系统提供全面的安全管理。 随着企业业务的拓展,企业可能在多用户环境中运行多个工作任务,这就需要一个可以对安全策略进行集 2020-06-25 hadoop
MySQL授权远程登陆 1.查看host和user项 select host,user from mysql.user; host为% 代表可以任意机器远程登陆 2.修改host项 update mysql.user set host='%' where user='root' and host='localhost'; 2020-04-30 Mysql
SSH断开连接时长控制ServerAliveInterval 方法一:服务端设置 vim /etc/ssh/sshd_config # 设置参数,单位:分钟 ClientAliveInterval 120 ClientAliveCountMax 720 # 重启服务 service sshd restart 或 /etc/init.d/ssh resta 2020-04-13 运维笔记
ES跨域问题配置 修改配置文件 vi elasticsearch.yml 添加 http.cors.enabled: true http.cors.allow-origin: "*" 2020-02-25 ElasticSearch
zk四字命令 -stat 查看状态信息(来查看哪个节点被选择作为follower或者leader) -ruok 查看zookeeper是否启动(若回复imok表示已经启动) -dump 列出没有处理的会话,临时节点 -conf 查看服务器配置信息 -kill 关掉server -cons 显示连接到服务端的信息( 2019-09-24 运维笔记
系统文件数限制 配置ulimit -a 注:nofile最大值1048576,且不能设置为unlimited,否则无法ssh登陆,noproc可以 vim /etc/security/limits.conf * soft nofile 655360 * hard nofile 655360 * soft npr 2019-07-15 运维笔记
kafka动态修改日志保存时间 kafka动态修改日志保存时间 查看 bin/kafka-configs.sh --describe --zookeeper zk01.td.com:2181 --entity-type topics --entity-name flink_clickhouse_test 修改 bin/kafka- 2019-06-25 Kafka