這篇文章將為大家詳細(xì)講解有關(guān)Java大數(shù)據(jù)開發(fā)中Hadoop的HDFS內(nèi)部原理是什么，小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

成都創(chuàng)新互聯(lián)是一家集網(wǎng)站建設(shè),桐廬企業(yè)網(wǎng)站建設(shè),桐廬品牌網(wǎng)站建設(shè),網(wǎng)站定制,桐廬網(wǎng)站建設(shè)報(bào)價(jià),網(wǎng)絡(luò)營銷,網(wǎng)絡(luò)優(yōu)化,桐廬網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè)，幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強(qiáng)企業(yè)競爭力?？沙浞譂M足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時(shí)我們時(shí)刻保持專業(yè)、時(shí)尚、前沿，時(shí)刻以成就客戶成長自我，堅(jiān)持不斷學(xué)習(xí)、思考、沉淀、凈化自己，讓我們?yōu)楦嗟钠髽I(yè)打造出實(shí)用型網(wǎng)站。

1、客戶端向NameNode請求上傳文件，NameNode會檢查目標(biāo)文件是否已存在，父目錄是否存在。所以NameNode起到了統(tǒng)一管理的作用。

2、NameNode返回是否可以上傳，NameNode知道每一個(gè)數(shù)據(jù)節(jié)點(diǎn)的情況。

3、客戶端請求第一個(gè)塊( block)上傳到集群上哪幾個(gè)DataNode服務(wù)器上。

4、NameNode返回3個(gè)DataNode節(jié)點(diǎn)，分別為dn1、dn2、dn3三個(gè)節(jié)點(diǎn)。集群在啟動(dòng)的時(shí)候NameNode就已經(jīng)知道DataNode節(jié)點(diǎn)了、

5、客戶端請求dn1上傳數(shù)據(jù)，dn1收到請求會繼續(xù)調(diào)用dn2，然后dn2調(diào)用dn3，將這個(gè)通信管道建立完成。

6、dn1、dn2、dn3依次逐級應(yīng)答客戶端。

7、客戶端開始往dn1上傳第一個(gè)block（先從磁盤讀取數(shù)據(jù)放到一個(gè)本地內(nèi)存緩存），以packet為單位，dn1收到一個(gè)packet就會傳給dn2，dn2傳給dn3；dn1每傳一個(gè)packet會放入一個(gè)應(yīng)答隊(duì)列等待應(yīng)答。

8、當(dāng)一個(gè)block傳輸完成之后，客戶端再次請求NameNode上傳第二個(gè)block的服務(wù)器。（重復(fù)執(zhí)行3-7步）。

網(wǎng)絡(luò)拓?fù)涓拍?/strong>

在數(shù)據(jù)處理中，兩個(gè)節(jié)點(diǎn)間的帶寬作為距離的衡量標(biāo)準(zhǔn)。

節(jié)點(diǎn)距離：兩個(gè)節(jié)點(diǎn)到達(dá)最近的共同祖先的距離總和。

例如，假設(shè)有數(shù)據(jù)中心d1（d1為集群）機(jī)架r1中的節(jié)點(diǎn)n1。該節(jié)點(diǎn)可以表示為/d1/r1/n1。利用這種標(biāo)記，這里給出四種距離描述。

Range(/d1/r1/n1, /d1/r1/n1)=0（同一節(jié)點(diǎn)上的進(jìn)程）

Range(/d1/r1/n1, /d1/r1/n2)=2（同一機(jī)架上的不同節(jié)點(diǎn)）

Range(/d1/r1/n1, /d1/r3/n2)=4（同一數(shù)據(jù)中心不同機(jī)架上的節(jié)點(diǎn)）

Range(/d1/r1/n1, /d2/r4/n2)=6（不同數(shù)據(jù)中心的節(jié)點(diǎn)）

注意：

對于n0 n1 n2 ，機(jī)架r1是共同祖先
對于機(jī)架r1 機(jī)架r12 機(jī)架r13，集群d1是共同祖先

依次類推......

舉例：為什么Range(/d1/r1/n1, /d2/r4/n2)=6？

副本存儲節(jié)點(diǎn)選擇

第一個(gè)副本在集群節(jié)點(diǎn)上，隨機(jī)選一個(gè)。

第二個(gè)副本和第一個(gè)副本位于相同機(jī)架上，但節(jié)點(diǎn)是隨機(jī)的。

第三個(gè)副本位于不同機(jī)架的隨機(jī)節(jié)點(diǎn)上。

HDFS讀數(shù)據(jù)的流程

1、客戶端向NameNode請求下載文件，NameNode會通過查詢元數(shù)據(jù)，找到DataNode地址，即文件塊所在的地址。

2、挑選一臺DataNode服務(wù)器，至于選哪一臺機(jī)器是就近原則，然后隨機(jī) ，請求讀取數(shù)據(jù)。

3、DataNode開始傳輸數(shù)據(jù)給客戶端，從磁盤里面讀取數(shù)據(jù)輸入流，以packet為單位來做校驗(yàn)。

4、客戶端以packet為單位接收，先在本地緩存，然后寫入目標(biāo)文件。

關(guān)于“Java大數(shù)據(jù)開發(fā)中Hadoop的HDFS內(nèi)部原理是什么”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，使各位可以學(xué)到更多知識，如果覺得文章不錯(cuò)，請把它分享出去讓更多的人看到。