本篇文章為大家展示了hdfs工作原理是什么，內(nèi)容簡明扼要并且容易理解，絕對能使你眼前一亮，通過這篇文章的詳細(xì)介紹希望你能有所收獲。

讓客戶滿意是我們工作的目標(biāo)，不斷超越客戶的期望值來自于我們對這個(gè)行業(yè)的熱愛。我們立志把好的技術(shù)通過有效、簡單的方式提供給客戶，將通過不懈努力成為客戶在信息化領(lǐng)域值得信任、有價(jià)值的長期合作伙伴，公司提供的服務(wù)項(xiàng)目有：域名注冊、網(wǎng)站空間、營銷軟件、網(wǎng)站建設(shè)、余杭網(wǎng)站維護(hù)、網(wǎng)站推廣。

一,當(dāng)用client向hdfs中寫入數(shù)據(jù)的時(shí)候.

           當(dāng)我們向hdfs 寫數(shù)據(jù)的時(shí)候,客戶端要做兩件事.首先,將數(shù)據(jù)文件劃分不同的數(shù)據(jù)塊,劃分的標(biāo)準(zhǔn)默認(rèn)是64MB或128MB,這個(gè)是可以配置的.其次是向namenode請求一批(實(shí)際上就是默認(rèn)的3個(gè))datanode以存放數(shù)據(jù)塊.當(dāng)然namenode不是隨便的選出三個(gè)datanode給client,它會選擇三個(gè)最靠近c(diǎn)lient的三個(gè)datanode,那么這個(gè)距離是怎么計(jì)算的呢,是這樣的,它會去計(jì)算兩個(gè)節(jié)點(diǎn)與父節(jié)點(diǎn)帶寬之和來計(jì)算兩個(gè)節(jié)點(diǎn)的距離,在得到三個(gè)最近的datanode之后,namenode會先按與client的距離對datanode排下序,然后返回給客戶端.

           下面client要做的就是向namenode返回的3個(gè)datanode中傳輸數(shù)據(jù)了.當(dāng)它在寫第一個(gè)數(shù)據(jù)塊時(shí),它會先向離它最近的那個(gè)datanode寫數(shù)據(jù).那么client如何知道它向第一個(gè)datanode寫入數(shù)據(jù)是否成功了呢?是這樣的,client在向datanode傳數(shù)據(jù)的同時(shí),會計(jì)算下數(shù)據(jù)快的校驗(yàn)和,這個(gè)校驗(yàn)和也會傳給datanode,datanode 在存儲完數(shù)據(jù)后,會對數(shù)據(jù)塊取下校驗(yàn)和與client的校驗(yàn)和進(jìn)行比對,如果一致的話說明數(shù)據(jù)保存成功,然后它會向client進(jìn)行ack,告訴client數(shù)據(jù)已經(jīng)成功保存了,同時(shí)它也會告訴namenode數(shù)據(jù)塊保存成功了.剩下的數(shù)據(jù)塊保存到下兩個(gè)datanode的過程和第一個(gè)過程是相似的,只是數(shù)據(jù)的傳輸不是都是client去傳遞的,而是datanode之間進(jìn)行傳遞的,每個(gè)datanode成功保存完數(shù)據(jù)后都會向client進(jìn)行ack并通知namenode保存數(shù)據(jù)完畢.當(dāng)client接受到所有的datanode的ack后,client會告訴namenode數(shù)據(jù)塊全部寫入完畢.當(dāng)namenode接受到client的消息后,namenode要做的就是維護(hù)兩張表,一張表是每個(gè)數(shù)據(jù)塊對應(yīng)的datanode地址,另一張表是存儲數(shù)據(jù)副本的時(shí)候經(jīng)過了那些管線.

      二,當(dāng)從hdfs中讀數(shù)據(jù)的時(shí)候.

             當(dāng)client要從hdfs中讀取數(shù)據(jù)的時(shí)候,首先客戶端要知道數(shù)據(jù)存儲在哪吧,怎么才能知道啊,誰知道啊?當(dāng)然是namenode啊,namenode存儲了所有的數(shù)據(jù)塊元數(shù)據(jù)信息.client會給namenode請求數(shù)據(jù)的文件地址,namenode會返回給client關(guān)于數(shù)據(jù)塊的相關(guān)信息即數(shù)據(jù)塊存放在哪些datanode上了，每個(gè)datanode存放了哪些數(shù)據(jù)塊,當(dāng)然這些datanode也是按照與client距離排過序的.當(dāng)client拿到這些信息后,它會先到離它最近的那個(gè)datanode上下載數(shù)據(jù).

         三,故障的規(guī)避.

              因?yàn)槭欠植际轿募到y(tǒng),網(wǎng)路中什么事情都有可能發(fā)生,如datanode掛掉,datanode不能返回客戶端想要的數(shù)據(jù),datanode在保存數(shù)據(jù)的時(shí)候數(shù)據(jù)損毀,或者最嚴(yán)重的namenode掛掉.

              下面看看這個(gè)四個(gè)問題,hadoop是如何規(guī)避的呢。

              首先是datanode掛掉,當(dāng)hdfs啟動后每個(gè)datanode節(jié)點(diǎn)會定期上報(bào)自己的健康狀況,每個(gè)datanode會每三秒向namenode發(fā)送心跳,證明自己還或者,假如namenode是秒鐘沒有收到datanode發(fā)送的心跳,namenode會認(rèn)為這個(gè)datanode已經(jīng)掛掉了.

              下一個(gè)問題datanode不能返回客戶端想要的數(shù)據(jù),當(dāng)客戶端datanode請求數(shù)據(jù)或?qū)懭霐?shù)據(jù)的時(shí)候,datanode無相應(yīng)怎么辦呢,當(dāng)客戶端長時(shí)間沒有接收到datanode的ack后,client也為認(rèn)為這個(gè)datanode已經(jīng)掛掉了,于是會跳過這個(gè)datanode,請求下個(gè)datanode.    

              第三個(gè)問題,datanode保存的數(shù)據(jù)發(fā)生損壞,這個(gè)該怎么辦呢,datanode會定期上報(bào)自己所存的數(shù)據(jù)快健康狀況,健康狀況是通過校驗(yàn)和來判斷的,當(dāng)nomenode收到datanode發(fā)送的數(shù)據(jù)塊健康狀況的報(bào)告后它就知道那些數(shù)據(jù)塊損毀,然后它就會去更新它維護(hù)的兩張表,即數(shù)據(jù)塊在哪些datanode上存著,每個(gè)datanode上存放了哪些數(shù)據(jù)塊,如果namenode發(fā)現(xiàn)哪個(gè)數(shù)據(jù)塊的副本沒有達(dá)到標(biāo)準(zhǔn),它會通知其它的datanode從已有數(shù)據(jù)塊的datanode上copy相應(yīng)的數(shù)據(jù)塊.

              第四個(gè)問題,namenode掛掉,這個(gè)問題是最嚴(yán)重的,目前的最好的解決辦法就是加一個(gè)輔助namenode即secondNamenode,以備分?jǐn)?shù)據(jù)塊的元數(shù)據(jù)信息,盡可能的避免數(shù)據(jù)丟失.

上述內(nèi)容就是hdfs工作原理是什么，你們學(xué)到知識或技能了嗎？如果還想學(xué)到更多技能或者豐富自己的知識儲備，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

本文標(biāo)題：hdfs工作原理是什么
當(dāng)前URL：http://chinadenli.net/article12/ipdggc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供Google、微信小程序、網(wǎng)頁設(shè)計(jì)公司、用戶體驗(yàn)、營銷型網(wǎng)站建設(shè)、品牌網(wǎng)站設(shè)計(jì)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)