TEZ引擎编译

官网文档

https://tez.apache.org/install.html

============================================================

hadoop2.7以上版本使用tez引擎直接使用二进制包有可能无法使用,需要手动编译

hive版本3.1.3

hadoop版本3.1.0

tez版本0.10.1

============================================================

环境准备

1.安装编译环境

yum -y install autoconf automake libtool cmake ncurses-devel openssl-devel lzo-devel zlib-devel gcc gcc-c++ bzip2 git

2.maven

https://maven.apache.org/download.cgi

解压后配置

export MAVEN_HOME=/home/hadoop/data/apache-maven-3.8.6
export PATH=$MAVEN_HOME/bin:$PATH

2.protobuf-2.5.0 (必须2.5.0)

https://github.com/protocolbuffers/protobuf/releases/download/v2.5.0/protobuf-2.5.0.tar.gz

解压后执行(不指定位置需要root权限)

./configure
make && make install

开始编译

1.修改pom.xml

更换hadoop.version 、 guava.version为实际版本号

guava.version版本为/hadoop-3.1.0/share/hadoop/common/lib/guava-11.0.2.jar 版本一致

2.取消编译tez-ui,耗时,很容易编译不成功

3.执行编译

mvn clean package -DskipTests=true -Dmaven.javadoc.skip=true

经过不懈努力终于编译成功

编译完的文件位置在apache-tez-0.10.1-src/tez-dist/target

tez-ui编译准备(未成功)

解决方法:

修改 apache-tez-0.10.1-src/tez-ui/pom.xml

修改false为true

    <allow-root-build>--allow-root=true</allow-root-build>

==========================================================================

github访问不了,需要翻墙

方法很多(下面提供一种方式)

安装

clash for linux

clash for windows

https://github.com/Dreamacro/clash/releases/

获取解析后的配置文件(需要用到window版本的clash)

订阅地址粘贴后点击download获得配置文件,复制配置文件到linux上


再下载clash for linux

把刚刚的配置文件放在同一目录下

启动

sh clash-linux-amd64-v1.11.8 -d .

==========================================================================

安装node环境

https://blog.csdn.net/huangbaokang/article/details/81092247

解压建立软连接

sudo ln -s /home/hadoop/data/node-v16.16.0-linux-x64/bin/npm /usr/local/bin/
sudo ln -s /home/hadoop/data/node-v16.16.0-linux-x64/bin/npm /usr/local/bin/
#验证
node -v
npm -v

npm安装

npm install -g bower
#然后执行编译
mvn clean package -DskipTests=true -Dmaven.javadoc.skip=true


TEZ引擎编译
https://www.hechunyu.com/archives/1698222104444
作者
chunyu
发布于
2022年07月25日
许可协议