這篇文章將為大家詳細(xì)講解有關(guān)hdfs命令有哪些，小編覺得挺實(shí)用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

在五龍口等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強(qiáng)發(fā)展的系統(tǒng)性、市場前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務(wù)理念，為客戶提供成都網(wǎng)站制作、成都網(wǎng)站建設(shè) 網(wǎng)站設(shè)計制作專業(yè)公司,公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),品牌網(wǎng)站設(shè)計,營銷型網(wǎng)站建設(shè),成都外貿(mào)網(wǎng)站建設(shè),五龍口網(wǎng)站建設(shè)費(fèi)用合理。

hdfs常用命令：

第一部分：hdfs文件系統(tǒng)命令

第一類：文件路徑增刪改查系列：

hdfs dfs -mkdir dir  創(chuàng)建文件夾

hdfs dfs -rmr dir  刪除文件夾dir

hdfs dfs -ls  查看目錄文件信息

hdfs dfs -lsr  遞歸查看文件目錄信息

hdfs dfs -stat path 返回指定路徑的信息

第二類：空間大小查看系列命令：

hdfs dfs -du -h dir 按照適合閱讀的形式人性化顯示文件大小

hdfs dfs -dus uri  遞歸顯示目標(biāo)文件的大小

hdfs dfs -du path/file顯示目標(biāo)文件file的大小

第三類:權(quán)限管理類：

hdfs dfs -chgrp  group path  改變文件所屬組

hdfs dfs -chgrp -R /dir  遞歸更改dir目錄的所屬組

hdfs dfs -chmod [-R] 權(quán)限 -path  改變文件的權(quán)限

hdfs dfs -chown owner[-group] /dir 改變文件的所有者

hdfs dfs -chown -R  owner[-group] /dir  遞歸更改dir目錄的所屬用戶

第四類：文件操作（上傳下載復(fù)制）系列：

hdfs dfs -touchz a.txt 創(chuàng)建長度為0的空文件a.txt

hdfs dfs -rm file   刪除文件file

hdfs dfs -put file dir  向dir文件上傳file文件

hdfs dfs -put filea dir/fileb 向dir上傳文件filea并且把filea改名為fileb

hdfs dfs -get file dir  下載file到本地文件夾

hdfs dfs -getmerge hdfs://Master:9000/data/SogouResult.txt CombinedResult  把hdfs里面的多個文件合并成一個文件，合并后文件位于本地系統(tǒng)

hdfs dfs -cat file   查看文件file

hdfs fs -text /dir/a.txt  如果文件是文本格式，相當(dāng)于cat，如果文件是壓縮格式，則會先解壓，再查看

hdfs fs -tail /dir/a.txt查看dir目錄下面a.txt文件的最后1000字節(jié)

hdfs dfs -copyFromLocal localsrc path 從本地復(fù)制文件

hdfs dfs -copyToLocal /hdfs/a.txt /local/a.txt  從hdfs拷貝到本地

hdfs dfs -copyFromLocal /dir/source /dir/target  把文件從原路徑拷貝到目標(biāo)路徑

hdfs dfs -mv /path/a.txt /path/b.txt 把文件從a目錄移動到b目錄，可用于回收站恢復(fù)文件

第五類：判斷系列：

hdfs fs -test -e /dir/a.txt 判斷文件是否存在，正0負(fù)1

hdfs fs -test -d /dir  判斷dir是否為目錄，正0負(fù)1

hdfs fs -test -z /dir/a.txt  判斷文件是否為空，正0負(fù)1

第六類：系統(tǒng)功能管理類：

hdfs dfs -expunge 清空回收站

hdfs dfsadmin -safemode enter 進(jìn)入安全模式

hdfs dfsadmin -sfaemode leave 離開安全模式

hdfs dfsadmin -decommission datanodename 關(guān)閉某個datanode節(jié)點(diǎn)

hdfs dfsadmin -finalizeUpgrade 終結(jié)升級操作

hdfs dfsadmin -upgradeProcess status 查看升級操作狀態(tài)

hdfs version 查看hdfs版本

hdfs daemonlog -getlevel <host:port> <name>  打印運(yùn)行在<host:port>的守護(hù)進(jìn)程的日志級別

hdfs daemonlog -setlevel <host:port> <name> <level>  設(shè)置運(yùn)行在<host:port>的守護(hù)進(jìn)程的日志級別

hdfs dfs -setrep -w 副本數(shù) -R path 設(shè)置文件的副本數(shù)

第二部分：運(yùn)維命令

start-dfs.sh   啟動namenode，datanode，啟動文件系統(tǒng)

stop-dfs.sh   關(guān)閉文件系統(tǒng)

start-yarn.sh  啟動resourcemanager,nodemanager

stop-yarn.sh  關(guān)閉resourcemanager,nodemanager

start-all.sh    啟動hdfs，yarn

stop-all.sh    關(guān)閉hdfs，yarn

hdfs-daemon.sh start datanode  單獨(dú)啟動datanode

start-balancer.sh -t 10% 啟動負(fù)載均衡，盡量不要在namenode節(jié)點(diǎn)使用

hdfs namenode -format  格式化文件系統(tǒng)

hdfs namenode -upgrade  分發(fā)新的hdfs版本之后，namenode應(yīng)以upgrade選項啟動

hdfs namenode -rollback  將namenode回滾到前一版本，這個選項要在停止集群，分發(fā)老的hdfs版本之后執(zhí)行

hdfs namenode -finalize  finalize會刪除文件系統(tǒng)的前一狀態(tài)。最近的升級會被持久化，rollback選項將再不可用，升級終結(jié)操作之后，它會停掉namenode，分發(fā)老的hdfs版本后使用

hdfs namenode importCheckpoint 從檢查點(diǎn)目錄裝載鏡像并保存到當(dāng)前檢查點(diǎn)目錄，檢查點(diǎn)目錄由fs.checkpoint.dir指定

第三部分：mapreduce命令

hdfs jar file.jar 執(zhí)行jar包程序

hdfs job -kill job_201005310937_0053  殺死正在執(zhí)行的jar包程序

hdfs job -submit <job-file>  提交作業(yè)

hdfs job -status <job-id>   打印map和reduce完成百分比和所有計數(shù)器。

hdfs job -counter <job-id> <group-name> <counter-name>  打印計數(shù)器的值。

hdfs job -kill <job-id>  殺死指定作業(yè)。

hdfs job -events <job-id> <from-event-#> <#-of-events> 打印給定范圍內(nèi)jobtracker接收到的事件細(xì)節(jié)。

hdfs job -history [all] <jobOutputDir>     

hdfs job -history <jobOutputDir> 打印作業(yè)的細(xì)節(jié)、失敗及被殺死原因的細(xì)節(jié)。更多的關(guān)于一個作業(yè)的細(xì)節(jié)比如成功的任務(wù)，做過的任務(wù)嘗試等信息可以通過指定[all]選項查看。

hdfs job -list [all]  顯示所有作業(yè)。-list只顯示將要完成的作業(yè)。

hdfs job -kill -task <task-id>   殺死任務(wù)。被殺死的任務(wù)不會不利于失敗嘗試。

hdfs job -fail -task <task-id>   使任務(wù)失敗。被失敗的任務(wù)會對失敗嘗試不利。

第四部分：hdfs系統(tǒng)檢查工具fsck

hdfs fsck <path> -move    移動受損文件到/lost+found

hdfs fsck <path> -delete   刪除受損文件。

hdfs fsck <path> -openforwrite   打印出寫打開的文件。

hdfs fsck <path> -files     打印出正被檢查的文件。

hdfs fsck <path> -blocks     打印出塊信息報告。

hdfs fsck <path> -locations     打印出每個塊的位置信息。

hdfs fsck <path> -racks    打印出data-node的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。

第五部分：運(yùn)行pipies作業(yè)

hdfs pipes -conf <path> 作業(yè)的配置

hdfs pipes -jobconf <key=value>, <key=value>, ...  增加/覆蓋作業(yè)的配置項

hdfs pipes -input <path>  輸入目錄

hdfs pipes -output <path> 輸出目錄

hdfs pipes -jar <jar file> Jar文件名

hdfs pipes -inputformat <class> InputFormat類

hdfs pipes -map <class> Java Map類

hdfs pipes -partitioner <class> Java Partitioner

hdfs pipes -reduce <class> Java Reduce類

hdfs pipes -writer <class> Java RecordWriter

hdfs pipes -program <executable> 可執(zhí)行程序的URI

hdfs pipes -reduces <num> reduce個數(shù)

關(guān)于“hdfs命令有哪些”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，使各位可以學(xué)到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。

分享名稱：hdfs命令有哪些
新聞來源：http://chinadenli.net/article28/giodcp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供App設(shè)計、企業(yè)網(wǎng)站制作、軟件開發(fā)、Google、虛擬主機(jī)、小程序開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)