hdfs挂载到本地目录

hadoop version 3.3.4

官方文档概述:

NFS 网关支持 NFSv3 并允许将 HDFS 作为客户端本地文件系统的一部分进行挂载。目前 NFS 网关支持并启用以下使用模式:
用户可以通过 NFSv3 客户端兼容操作系统上的本地文件系统浏览 HDFS 文件系统。
用户可以将文件从 HDFS 文件系统下载到他们的本地文件系统。
用户可以将文件从本地文件系统直接上传到 HDFS 文件系统。
用户可以通过挂载点将数据直接流式传输到 HDFS。支持文件追加,但不支持随机写入。
NFS 网关机器需要同样的东西来运行 HDFS 客户端,例如 Hadoop JAR 文件、HADOOP_CONF 目录。NFS 网关可以与 DataNode、NameNode 或任何 HDFS 客户端位于同一主机上。

添加配置

hdfs-site.xml

<!--允许代理的用户-->
  <property>
    <name>hadoop.proxyuser.nfsserver.groups</name>
    <value>hadoop.hdfs</value>
  </property>
<!--允许挂载的ip-->
  <property>
    <name>hadoop.proxyuser.nfsserver.hosts</name>
    <value>*</value>
  </property>
  <property> 
<!--用户应更新文件转储目录-->
    <name>nfs.dump.dir</name> 
    <value>/tmp/hdfs-nfs</value> 
  </property>
<!--开启jmx http://n4:50079/jmx-->
  <property> 
    <name>nfs.metrics.percentiles.intervals</name> 
    <value>100</value>
  </property>
<!--挂载hdfs路径-->
  <property> 
    <name>nfs.export.point</name> 
    <value>/</value> 
  </property>

root用户执行

systemctl stop nfs
systemctl stop rpcbind
hdfs --daemon start portmap

普通用户执行

hdfs --daemon start nfs3

挂载

mount -t nfs -o vers=3,proto=tcp,nolock,noacl,sync n4:/  /hdfs


hdfs挂载到本地目录
https://www.hechunyu.com/archives/1698216437141
作者
chunyu
发布于
2021年12月02日
许可协议