HDFS 常用命令

HDFS 常用命令

HDFS (Hadoop Distributed File System) 是 Hadoop 分布式文件系统，以下是一些 HDFS 常用命令：

低版本 hadoop fs

高版本 hdfs dfs

1. hdfs dfs -ls ：列出 HDFS 中的文件和目录。

   hdfs dfs -ls / 

2. hdfs dfs -mkdir ：列出 HDFS 中的文件和目录。

   hdfs dfs -mkdir /lihaozhe

3. hdfs dfs -rmdir ：删除 HDFS 中的目录。

   hdfs dfs -rmdir /lihaozhe

4. hdfs dfs -touch : 在 HDFS 中创建文件

   hdfs dfs -touch /a.txt

5. hdfs dfs -cp : 在 HDFS 中拷贝文件

   hdfs dfs -cp /a.txt /b.txt

6. hdfs dfs -mv : 在 HDFS 中移动文件

   hdfs dfs -mv /a.txt /c.txt

7. hdfs dfs -put : 从本地文件系统拷贝文件到 HDFS

# 在本地文件系统创建一个空文件叫 local.txttouch local.txt# 将本地文件系统下的文件 local.txt 上传到 DHFShdfs dfs -put local.txt /

1. hdfs dfs -copyFromLocal : 从本地文件系统拷贝文件到 HDFS

# 在本地文件系统创建一个空文件叫 local.txttouch localFile.txt# 将本地文件系统下的文件 local.txt 上传到 DHFShdfs dfs -copyFromLocal localFile.txt /

1. hdfs dfs -get : 将 HDFS 文件拷贝到本地文件系统

   hdfs dfs -get /local.txt

2. hdfs dfs -copyToLocal : 将 HDFS 文件拷贝到本地文件系统

   hdfs dfs -copyToLocal /localFile.txt

3. hdfs dfs -rm ：删除 HDFS 中的文件。

   hdfs dfs -rm /c.txt

   # 在 HDFS 上创建目录hdfs dfs -mkdir /lihaozhe# 将 HDFS 文件系统上创建文件 test.txthdfs dfs -touch /lihaozhe/test.txt# 删除 HDFS 文件系统上的非空目录 /lihaozhe# 推荐使用 -rm -rhdfs dfs -rm -r /lihaozhe# 不推荐使用 -rmrhdfs dfs -rmr /lihaozhe

4. hdfs dfs -count ：统计文件和目录的数量。

   hdfs dfs -count /

5. hdfs dfs -cat : 显示文件内容。

   hdfs dfs -cat /a.txt

6. hdfs dfs -head : 显示文件前10行内容。

   hdfs dfs -head /a.txt

7. hdfs dfs -tail : 显示文件末尾10行内容。

   hdfs dfs -tail /a.txt

8. hadoop fs -du：显示文件或目录的大小。

9. hadoop fs -chown：修改文件或目录的所有者。

10. hadoop fs -chgrp：修改文件或目录的所属组。

11. hadoop fs -chmod：修改文件或目录的权限。

12. hadoop fs -getmerge：将多个文件合并为一个文件并下载到本地文件系统。

13. hadoop fs -checksum：计算文件的校验和。

14. hadoop fs -setrep：设置文件的副本数