還有最后兩天班，明天晚上回家過年了，可是CDH突然報了一個block missing的錯誤，用 hdfs fsck /檢查了一下，我們的塊一共有500W個，missing了將近100W個，天吶，不過由于Hdfs的replication的機(jī)制，只要不是3份全丟就可以修復(fù)，這樣，絕大部分的塊都修復(fù)了，但是還是有3000多個塊是3份都丟失了，3份全丟后，狀態(tài)就為corrupt，直接導(dǎo)致小時報和日報收到影響，很多用戶hive和impala查詢直接報錯了。
我趕緊去查找原因，先看了下CDH上關(guān)于HDFS的告警信息，發(fā)現(xiàn)有個failover controller的告警，you去看了下丟失了塊，發(fā)現(xiàn)塊文件仍然在盤上沒有丟，但是namenode已經(jīng)無法感知到塊的存在了，不知道什么原因。
我們先根據(jù)hdfs fsck / 的結(jié)果看了下corupt block所在的文件，發(fā)現(xiàn)大部分文件是小于128M的，由于我們的block大小設(shè)置為128M，所以小于128M的文件都只占用一個塊，block文件和源文件是一樣的，減小用戶受到的影響，我們先把那些丟失塊的文件在hdfs上面move到另一個目錄，然后記錄下文件的所有信息，包括：（權(quán)限列表，owner,group等）。然后用腳本把小于128M的文件的塊拷貝一份改成原來文件的名稱重新put上去，然后用split命令去多進(jìn)程的批量進(jìn)行chown和chmod，（對上面文本處理時的，sed,awk這些命令每部都很繁瑣，又加上循環(huán)，用的不熟很容易就出錯，高危操作啊。。。）之后用戶再去用到這部分?jǐn)?shù)據(jù)的時候已經(jīng)正常了。
因為我們僅僅是把這些文件MOVE走了，所以fsck還是會檢測corrupt block，不要緊的，此時檢測到文件的路徑已經(jīng)是我們move后的路徑了。后面還剩下大于128M的文件沒有去修復(fù)，這個有點(diǎn)麻煩了，這些文件在磁盤中已經(jīng)被分割為多個塊了，如果要修復(fù)的話，需要把這些塊文件手動拼接為一個文件重新上傳，我們隨便看了下其余的文件中的一個，將近100個G，七八百個塊，N個文件，還是很麻煩的。
于是我們又重新去找原因，先說下相關(guān)的原理：
重點(diǎn)來了：現(xiàn)在把這個步驟細(xì)化一下：
1.datanode首先去dfs.datanode.data.dir這個參數(shù)配置的目錄們下去尋找塊，正常情況下每個目錄里面會有N個塊文件，還會有每個塊對應(yīng)的meta文件， 如：blk_1141150594和blk_1141150594_67410808.meta
2.DATANODE會根據(jù)找到的這個meta文件去記錄對應(yīng)block的信息并向namenode去匯報
3.收到datanode的匯報以后，namenode把信息記錄在blocksmap里面

專注于為中小企業(yè)提供網(wǎng)站建設(shè)、做網(wǎng)站服務(wù),電腦端+手機(jī)端+微信端的三站合一,更高效的管理,為中小企業(yè)平順免費(fèi)做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動了1000多家企業(yè)的穩(wěn)健成長，幫助中小企業(yè)通過網(wǎng)站建設(shè)實現(xiàn)規(guī)模擴(kuò)充和轉(zhuǎn)變。

NameNode作為HDFS中文件目錄和文件分配的管理者，它保存的最重要信息，就是下面兩個映射：

文件名=>數(shù)據(jù)塊

數(shù)據(jù)塊=>DataNode列表

其中，文件名=>數(shù)據(jù)塊保存在磁盤上（持久化）；但NameNode上不保存數(shù)據(jù)塊=>DataNode列表，該列表是通過DataNode上報建立起來的。
參考blockmaps的介紹：http://www.cnblogs.com/ggjucheng/archive/2013/02/04/2889386.html （簡單易懂）
晚上看到一篇博文，也是同樣的錯誤，他是剛好觸發(fā)了NAMENODE的雙活切換，然后出現(xiàn)這個問題。
Datanode增量匯報該block-datanode給 namenode（切換后的active namenode）的時候，edit log還沒從JournalNode同步過來，這時在namenode中已經(jīng)有了block-datanode的映射（從剛才datanode的report中來），但是還沒有block-file（從edits文件里面來）的映射，導(dǎo)致namenode認(rèn)為這個塊不屬于任何文件，定義為該塊為invalidate block。這個在后臺日志可以查到（后臺standby沒有完全變成activenamenode之前，會出現(xiàn)包含 invalidate block 的后臺日志。）
這個是網(wǎng)上的哥們 遇到的問題，怎么驗證我們也是這個問題呢？
讓datanode重新去report一下唄，用這個命令：hdfs dfsadmin [-triggerBlockReport [-incremental] <datanode_host:ipc_port>]
如：hdf dfsadmin datanode1:50020 加-incremental這個參數(shù)就是增量report，不加就是全量report
我們執(zhí)行了這個命令，不過corrupt block的數(shù)量仍然沒有減少，所以不是這個原因。
最終發(fā)現(xiàn)，我們datanode上配的dfs.datanode.data.dir這個參數(shù)中,/data1這個目錄沒了，估計是被誤操作刪掉了，導(dǎo)致datanode根本不會去/data1下去感知塊文件，所以導(dǎo)致出現(xiàn)了這個問題。
這個事件后，我發(fā)現(xiàn)，有時候反向的過程中忽略了一些步驟，導(dǎo)致無法查出問題專治這類問題，正向查一遍可能就查出了。
我們昨天忽略了一步，就是找出每一個塊文件的路徑、統(tǒng)計一下，如果做了的話看到都在/data1這個目錄下，肯定能發(fā)現(xiàn)問題所在
現(xiàn)在想想
不過這次解決問題的過程中真的學(xué)習(xí)了很多hdfs的內(nèi)部機(jī)制。
格式有點(diǎn)亂，后面修改一下，晚上回家過年了。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

分享文章：記一次HDFS的blockcorrupt事件-創(chuàng)新互聯(lián)
鏈接地址：http://chinadenli.net/article42/dihhec.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供移動網(wǎng)站建設(shè)、外貿(mào)網(wǎng)站建設(shè)、云服務(wù)器、用戶體驗、小程序開發(fā)、企業(yè)網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)