Hadoop命令參考

在「$HADOOP_HOME/bin/hadoop fs」 裏有更多的命令。./bin/hadoop DFS 列出所有可以使用在FsShell系統上運行的命令。此外,$HADOOP_HOME/bin/hadoop fs -help 命令名稱會顯示一個簡短的用法。

所有表的操作如下所示。以下是使用參數一般方式:

"" means any file or directory name. "..." means one or more file or directory names. "" means any filename. "" and "" are path names in a directed operation. "" and "" are paths as above, but on the local file system.

所有其他文件和路徑名是指HDFS內部的對象。

1.

ls

列出路徑指定的目錄中的內容,示出了名稱,權限,擁有者,大小和修改日期的每個條目。

2.

lsr

行爲類似於-ls,但遞歸顯示路徑的所有子目錄項。

3.

du

顯示磁盤使用率,以字節爲單位,對所有的文件,這些文件匹配的路徑;文件名報告使用完整HDFS協議前綴。

4.

dus

類似-du,但打印路徑中的所有文件/目錄的磁盤使用情況的摘要。

5.

mv

通過移動表示src到dest,在HDFS的文件或目錄。

6.

cp

在HDFS複製確定src中的文件或目錄到dest。

7.

rm

刪除文件或路徑標識的空目錄。

8.

rmr

刪除路徑標識的文件或目錄。遞歸刪除所有子條目(例如,文件或路徑的子目錄)。

9.

put

從本地localSrc文件系統中的DFS標識文件或目錄內複製到dest。

10.

copyFromLocal

等同於-put

11.

moveFromLocal

從標識 localSrc本地文件系統中的文件或目錄中HDFS複製到dest,然後刪除本地副本上成功。

12.

get [-crc]

拷貝標識 src 來確定localDest本地文件系統路徑HDFS文件或目錄。

13.

getmerge

檢索匹配的路徑的src HDFS中的所有文件,並將它們複製合併文件到標識localDest本地文件系統中。

14.

cat

顯示在標準輸出文件名的內容。

15.

copyToLocal

等同於 -get

16.

moveToLocal

工作方式類似於-get,但刪除HDFS複製成功。

17.

mkdir

在創建一個HDFS命名的目錄路徑。

創建任何父目錄的路徑丟失(例如,命令mkdir-p在Linux中)。

18.

setrep [-R] [-w] rep

設置標識路徑代表文件的目標文件複製因子。 (實際的複製因子會向着隨着時間的推移目標移動)

19.

touchz

創建在路徑包含當前時間作爲時間戳的文件。失敗如果文件已經存在於路徑,除非文件已經大小爲0。

20.

test -[ezd]

返回1,如果路徑存在;長度爲零;或者是一個目錄,否則爲0。

21.

stat [format]

打印有關的路徑信息。格式是接受塊文件大小(%b),文件名(%n),塊大小(%o),複製(%r)和修改日期(%y,%Y)的字符串。

22.

tail [-f]

顯示在標準輸出文件的最後1KB。

23.

chmod [-R] mode,mode,... ...

變化符合路徑標識的一個或多個對象關聯的文件權限....遞歸執行變更與R.模式是3位八進制模式,或{augo}+/-{rwxX}。假設如果沒有指定範圍,則不適用umask。

24.

chown [-R] [owner][:[group]] ...

設置擁有用戶和/或組標識路徑的文件或目錄....設置所有者遞歸,如果指定-R。

25.

chgrp [-R] group ...

設置所屬組標識路徑的文件或目錄....設置組遞歸,如果指定-R。

26.

help

返回使用上面列出的命令之一信息。必須省略了'-' 字符在cmd。