hdfs空间配额
hadoop version:3.3.4
hdfs dfsadmin -setQuota <N> <目录>...<目录>
将每个目录的名称配额设置为 N。每个目录都尽力而为,如果 N 不是正长整数、目录不存在或它是文件,或者目录将立即超过新配额,则会报告错误。
hdfs dfsadmin -clrQuota <目录>...<目录>
删除每个目录的任何名称配额。每个目录的最大努力,如果目录不存在或它是一个文件,则会报告错误。如果目录没有配额,这不是错误。
hdfs dfsadmin -setSpaceQuota <N> <目录>...<目录>
将每个目录的空间配额设置为 N 字节。这是对目录树下所有文件的总大小的硬限制。空间配额也考虑了复制,即 1 GB 的数据与 3 的复制消耗 3GB 的配额。为方便起见,N 也可以用二进制前缀指定,例如 50g 表示 50 GB,2t 表示 2 TB 等。每个目录的最大努力,如果 N 既不是零也不是正整数,则报告错误,目录不存在或它是一个文件,否则目录将立即超过新配额。
hdfs dfsadmin -clrSpaceQuota <目录>...<目录>
删除每个目录的任何空间配额。每个目录的最大努力,如果目录不存在或它是一个文件,则会报告错误。如果目录没有配额,这不是错误。
hdfs dfsadmin -setSpaceQuota <N> -storageType <storagetype> <目录>...<目录>
将存储类型配额设置为为每个目录指定的 N 字节存储类型。这是目录树下所有文件的总存储类型使用量的硬限制。存储类型配额使用量反映了基于存储策略的预期使用量。例如,复制 3 和 ALL_SSD 存储策略的 1 GB 数据消耗 3GB 的 SSD 配额。为方便起见,N 也可以用二进制前缀指定,例如 50g 表示 50 GB,2t 表示 2 TB 等。每个目录的最大努力,如果 N 既不是零也不是正整数,则报告错误,目录不存在或它是一个文件,否则目录将立即超过新配额。指定 -storageType 选项时设置存储类型特定配额。可用的存储类型为 DISK、SSD、ARCHIVE、PROVIDED。
hdfs dfsadmin -clrSpaceQuota -storageType <storagetype> <目录>...<目录>
删除为每个目录指定的存储类型配额。每个目录的最大努力,如果目录不存在或它是一个文件,则会报告错误。如果目录没有指定存储类型的存储类型配额,这不是错误。指定 -storageType 选项时,将清除存储类型特定配额。可用的存储类型为 DISK、SSD、ARCHIVE、PROVIDED。
查看配额信息
hadoop fs -count -q [-h] [-v] [-t [逗号分隔的存储类型列表]] <目录>...<目录>
使用 -q 选项,还报告为每个目录设置的名称配额值、剩余的可用名称配额、设置的空间配额值和剩余的可用空间配额。如果目录没有设置配额,则报告的值为none和inf。-h 选项以人类可读的格式显示大小。-v 选项显示标题行。-t 选项显示每个存储类型的配额集和每个目录的剩余可用配额。如果在 -t 选项后给出了特定的存储类型,则只显示指定类型的配额和剩余配额。否则,将显示所有支持配额的存储类型的配额和剩余配额。
https://hadoop.apache.org/docs/r3.3.4/hadoop-project-dist/hadoop-hdfs/HdfsQuotaAdminGuide.html
hdfs空间配额
https://www.hechunyu.com/archives/1698215703458