hdfs挂载到本地目录
hadoop version 3.3.4
官方文档概述:
NFS 网关支持 NFSv3 并允许将 HDFS 作为客户端本地文件系统的一部分进行挂载。目前 NFS 网关支持并启用以下使用模式:
用户可以通过 NFSv3 客户端兼容操作系统上的本地文件系统浏览 HDFS 文件系统。
用户可以将文件从 HDFS 文件系统下载到他们的本地文件系统。
用户可以将文件从本地文件系统直接上传到 HDFS 文件系统。
用户可以通过挂载点将数据直接流式传输到 HDFS。支持文件追加,但不支持随机写入。
NFS 网关机器需要同样的东西来运行 HDFS 客户端,例如 Hadoop JAR 文件、HADOOP_CONF 目录。NFS 网关可以与 DataNode、NameNode 或任何 HDFS 客户端位于同一主机上。
添加配置
hdfs-site.xml
<!--允许代理的用户-->
<property>
<name>hadoop.proxyuser.nfsserver.groups</name>
<value>hadoop.hdfs</value>
</property>
<!--允许挂载的ip-->
<property>
<name>hadoop.proxyuser.nfsserver.hosts</name>
<value>*</value>
</property>
<property>
<!--用户应更新文件转储目录-->
<name>nfs.dump.dir</name>
<value>/tmp/hdfs-nfs</value>
</property>
<!--开启jmx http://n4:50079/jmx-->
<property>
<name>nfs.metrics.percentiles.intervals</name>
<value>100</value>
</property>
<!--挂载hdfs路径-->
<property>
<name>nfs.export.point</name>
<value>/</value>
</property>
root用户执行
systemctl stop nfs
systemctl stop rpcbind
hdfs --daemon start portmap
普通用户执行
hdfs --daemon start nfs3
挂载
mount -t nfs -o vers=3,proto=tcp,nolock,noacl,sync n4:/ /hdfs
hdfs挂载到本地目录
https://www.hechunyu.com/archives/1698216437141