本文結(jié)合HDFS的副本和分塊從宏觀(guān)上描述HDFS存入文件的整個(gè)流程。HDFS體系中包含Client、NameNode、DataNode、SeconderyNameode四個(gè)角色，其中Client是客戶(hù)端，NN負(fù)責(zé)管理，DN負(fù)責(zé)存儲(chǔ)、SN協(xié)助管理。

創(chuàng)新互聯(lián)是一家專(zhuān)注于網(wǎng)站建設(shè)、網(wǎng)站設(shè)計(jì)與策劃設(shè)計(jì),張家川回族自治網(wǎng)站建設(shè)哪家好?創(chuàng)新互聯(lián)做網(wǎng)站,專(zhuān)注于網(wǎng)站建設(shè)十余年,網(wǎng)設(shè)計(jì)領(lǐng)域的專(zhuān)業(yè)建站公司;建站業(yè)務(wù)涵蓋:張家川回族自治等地區(qū)。張家川回族自治做網(wǎng)站價(jià)格咨詢(xún):13518219792

先來(lái)看一個(gè)官網(wǎng)上的圖

# 圖 0 -HDFS的體系結(jié)構(gòu)

HDFS的副本存儲(chǔ)有如下規(guī)則：

1.client將第一副本放到最靠近的一臺(tái)DN

2.第二副本優(yōu)先放到另一個(gè)機(jī)架

3.以此類(lèi)推，盡量保證副本放在不同的機(jī)架

由于副本和分塊機(jī)制的存在，當(dāng)從本地文件系統(tǒng)向HDFS上傳文件時(shí)，其內(nèi)部的流程相對(duì)比較復(fù)雜，可以通過(guò)下圖及步驟說(shuō)明進(jìn)行理解。

# 圖 1-1 -hdfs副本存儲(chǔ)機(jī)制（3副本）

A.對(duì)于可存于單塊的小文件：

1.client向NN（NameNode）發(fā)起存儲(chǔ)請(qǐng)求，

2.NN查找自身是否已有相應(yīng)的文件，

3.若無(wú)則，NN向client返回DN1（DataNode）路徑，

4.client向DN1傳送副本，

5.DN1通過(guò)管道異步向DN2傳副本，

6.DN2通過(guò)管道異步向DN3傳副本，

7.DN3通知DN2接收完成，

8.DN2通知DN1接收完成，

9.DN1通知NN接收完成。

B.對(duì)于需要分塊的大文件：

大致流程同上，但在步驟3NN還會(huì)進(jìn)行塊的劃分，隨后步驟4client會(huì)將各塊分別發(fā)送到分配的DN執(zhí)行步驟4~9

從前述可見(jiàn)，在向HDFS傳輸文件的過(guò)程中，NameNode節(jié)點(diǎn)至關(guān)重要。NN負(fù)責(zé)掌管元數(shù)據(jù)。其作用相當(dāng)于物理硬盤(pán)中的文件分配表FAT，NN中的數(shù)據(jù)如果發(fā)生丟失，DN中存儲(chǔ)的數(shù)據(jù)也就沒(méi)有了意義。

# 圖 1-2 -NN元數(shù)據(jù)存儲(chǔ)機(jī)制

1.client向NN請(qǐng)求寫(xiě)，

2.NN將分配block寫(xiě)入editslog文件，

3.NN響應(yīng)client，

4.client向DN寫(xiě)文件，

5.client通知NN寫(xiě)完成，

6.NN將editslog更新到內(nèi)存。

ps：常用及最新元數(shù)據(jù)放在內(nèi)存，最新元數(shù)據(jù)放editslog，老元數(shù)據(jù)放fsimage，editslog寫(xiě)滿(mǎn)之前將edits log（新元數(shù)據(jù)）轉(zhuǎn)換并合并到fsimage。

# 圖 1-3 -edits log合并機(jī)制

當(dāng)editslog寫(xiě)滿(mǎn)：

1.NN通知SecondryNameNode執(zhí)行checkpoint操作，

2.NN停止向已滿(mǎn)editslog寫(xiě)入，

3.NN創(chuàng)建新edits log維持寫(xiě)入，

4.SN下載NN的fsimage和已滿(mǎn)editslog，

5.SN執(zhí)行合并生成fsimage。checkpoint，

6.SN向NN上傳fsi。cp，

7.NN將fsi。cp改名fsimage，

8.NN刪除已滿(mǎn)editslog。

# 圖3 -元數(shù)據(jù)格式：文件全路徑，副本數(shù)，塊編號(hào)，塊-所在DN的映射。

睿江云官網(wǎng)鏈接：https://www.eflycloud.com/home?from=RJ0035

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線(xiàn)，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性?xún)r(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專(zhuān)為企業(yè)上云打造定制，能夠滿(mǎn)足用戶(hù)豐富、多元化的應(yīng)用場(chǎng)景需求。

分享題目：HDFS存入文件的整個(gè)流程-創(chuàng)新互聯(lián)
文章位置：http://chinadenli.net/article40/jgseo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供建站公司、網(wǎng)站設(shè)計(jì)公司、軟件開(kāi)發(fā)、外貿(mào)網(wǎng)站建設(shè)、響應(yīng)式網(wǎng)站、域名注冊(cè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀(guān)點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)