TEZ引擎编译
官网文档
https://tez.apache.org/install.html
============================================================
hadoop2.7以上版本使用tez引擎直接使用二进制包有可能无法使用,需要手动编译
hive版本3.1.3
hadoop版本3.1.0
tez版本0.10.1
============================================================
环境准备
1.安装编译环境
yum -y install autoconf automake libtool cmake ncurses-devel openssl-devel lzo-devel zlib-devel gcc gcc-c++ bzip2 git
2.maven
https://maven.apache.org/download.cgi
解压后配置
export MAVEN_HOME=/home/hadoop/data/apache-maven-3.8.6
export PATH=$MAVEN_HOME/bin:$PATH
2.protobuf-2.5.0 (必须2.5.0)
https://github.com/protocolbuffers/protobuf/releases/download/v2.5.0/protobuf-2.5.0.tar.gz
解压后执行(不指定位置需要root权限)
./configure
make && make install
开始编译
1.修改pom.xml
更换hadoop.version 、 guava.version为实际版本号
guava.version版本为/hadoop-3.1.0/share/hadoop/common/lib/guava-11.0.2.jar 版本一致
2.取消编译tez-ui,耗时,很容易编译不成功
3.执行编译
mvn clean package -DskipTests=true -Dmaven.javadoc.skip=true
经过不懈努力终于编译成功
编译完的文件位置在apache-tez-0.10.1-src/tez-dist/target
tez-ui编译准备(未成功)
解决方法:
修改 apache-tez-0.10.1-src/tez-ui/pom.xml
修改false为true
<allow-root-build>--allow-root=true</allow-root-build>
==========================================================================
github访问不了,需要翻墙
方法很多(下面提供一种方式)
安装
clash for linux
clash for windows
https://github.com/Dreamacro/clash/releases/
获取解析后的配置文件(需要用到window版本的clash)
订阅地址粘贴后点击download获得配置文件,复制配置文件到linux上
再下载clash for linux
把刚刚的配置文件放在同一目录下
启动
sh clash-linux-amd64-v1.11.8 -d .
==========================================================================
安装node环境
https://blog.csdn.net/huangbaokang/article/details/81092247
解压建立软连接
sudo ln -s /home/hadoop/data/node-v16.16.0-linux-x64/bin/npm /usr/local/bin/
sudo ln -s /home/hadoop/data/node-v16.16.0-linux-x64/bin/npm /usr/local/bin/
#验证
node -v
npm -v
npm安装
npm install -g bower
#然后执行编译
mvn clean package -DskipTests=true -Dmaven.javadoc.skip=true