小編給大家分享一下HDFS的設(shè)計特點是什么，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

成都創(chuàng)新互聯(lián)-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價比白堿灘網(wǎng)站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫,直接使用。一站式白堿灘網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設(shè)找我們，業(yè)務(wù)覆蓋白堿灘地區(qū)。費用合理售后完善，十多年實體公司更值得信賴。

HDFS的設(shè)計特點是：

1、大數(shù)據(jù)文件，非常適合上T級別的大文件或者一堆大數(shù)據(jù)文件的存儲，如果文件只有幾個G甚至更小就沒啥意思了。

2、文件分塊存儲，HDFS會將一個完整的大文件平均分塊存儲到不同計算器上，它的意義在于讀取文件時可以同時從多個主機取不同區(qū)塊的文件，多主機讀取比單主機讀取效率要高得多得都。

3、流式數(shù)據(jù)訪問，一次寫入多次讀寫，這種模式跟傳統(tǒng)文件不同，它不支持動態(tài)改變文件內(nèi)容，而是要求讓文件一次寫入就不做變化，要變化也只能在文件末添加內(nèi)容。

4、廉價硬件，HDFS可以應(yīng)用在普通PC機上，這種機制能夠讓給一些公司用幾十臺廉價的計算機就可以撐起一個大數(shù)據(jù)集群。

5、硬件故障，HDFS認為所有計算機都可能會出問題，為了防止某個主機失效讀取不到該主機的塊文件，它將同一個文件塊副本分配到其它某幾個主機上，如果其中一臺主機失效，可以迅速找另一塊副本取文件。

HDFS的關(guān)鍵元素：

Block：將一個文件進行分塊，通常是64M。

NameNode：保存整個文件系統(tǒng)的目錄信息、文件信息及分塊信息，這是由唯一一臺主機專門保存，當(dāng)然這臺主機如果出錯，NameNode就失效了。在Hadoop2.*開始支持activity-standy模式----如果主NameNode失效，啟動備用主機運行NameNode。

DataNode：分布在廉價的計算機上，用于存儲Block塊文件。

• MapReduce

通俗說MapReduce是一套從海量·源數(shù)據(jù)提取分析元素最后返回結(jié)果集的編程模型，將文件分布式存儲到硬盤是第一步，而從海量數(shù)據(jù)中提取分析我們需要的內(nèi)容就是MapReduce做的事了。

下面以一個計算海量數(shù)據(jù)最大值為例：一個銀行有上億儲戶，銀行希望找到存儲金額最高的金額是多少，按照傳統(tǒng)的計算方式，我們會這樣：

Long moneys[] ...
Long max = 0L;
for(int i=0;i<moneys.length;i++){
  if(moneys[i]>max){
    max = moneys[i];
  }
}

 如果計算的數(shù)組長度少的話，這樣實現(xiàn)是不會有問題的，還是面對海量數(shù)據(jù)的時候就會有問題。

MapReduce會這樣做：首先數(shù)字是分布存儲在不同塊中的，以某幾個塊為一個Map，計算出Map中最大的值，然后將每個Map中的最大值做Reduce操作，Reduce再取最大值給用戶。

        MapReduce的基本原理就是：將大的數(shù)據(jù)分析分成小塊逐個分析，最后再將提取出來的數(shù)據(jù)匯總分析，最終獲得我們想要的內(nèi)容。當(dāng)然怎么分塊分析，怎么做Reduce操作非常復(fù)雜，Hadoop已經(jīng)提供了數(shù)據(jù)分析的實現(xiàn)，我們只需要編寫簡單的需求命令即可達成我們想要的數(shù)據(jù)。

以上是“HDFS的設(shè)計特點是什么”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學(xué)習(xí)更多知識，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！

當(dāng)前標(biāo)題：HDFS的設(shè)計特點是什么
轉(zhuǎn)載注明：http://chinadenli.net/article40/gdjsho.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供企業(yè)網(wǎng)站制作、外貿(mào)網(wǎng)站建設(shè)、網(wǎng)站內(nèi)鏈、網(wǎng)站設(shè)計公司、靜態(tài)網(wǎng)站、定制開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)