天道酬勤,学无止境

Hadoop/Spark

HDFS文件系统命令详解

【fs最常用命令】bin/hadoop fs -ls hdfs_path //查看HDFS目录下的文件和子目录 bin/hadoop fs -mkdir hdfs_path //在HDFS上创建文件夹 bin/hadoop fs -rm hdfs_path //删除HDFS上的文件 bin/hadoop fs -rmr hdfs_path //删除HDFS上的文件夹 bin/hadoop fs -put local_file hdfs_path //将本地文件copy到HDFS上 bin/hadoop fs -get hdfs_file local_path //复制HDFS文件到本地 bin/hadoop fs -cat hdfs_file //查看HDFS上某文件的内容【查看目录下文件(夹)大小】//单位Byte: bin/hadoop fs -du / | sort -n //单位MB: bin/hadoop fs -du / | awk -F ' ' '{printf "%.2fMB\t\t%s\n", $1/1024/1024,$2}' | sort -n //单位GB,大于1G: bin/hadoop fs -du / | awk -F ' ' '{num=$1/1024/1024/1024; if(num>1){printf "%.2fGB\t\t%s\n", num

2021-06-01 21:33:54    分类:博客    fs   hadoop   du   Hadoop/Spark