創(chuàng)新互聯(lián)建站主要從事網(wǎng)站制作、網(wǎng)站設(shè)計(jì)、網(wǎng)頁(yè)設(shè)計(jì)、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務(wù)。立足成都服務(wù)井岡山,10年網(wǎng)站建設(shè)經(jīng)驗(yàn),價(jià)格優(yōu)惠、服務(wù)專業(yè),歡迎來(lái)電咨詢建站服務(wù):028-86922220

1.1.什么是hadoop

1.hadoop是apache旗下的一套開源軟件平臺(tái)，可以通過(guò)http://apache.org/--->project-

->hadoop打開

2.Hadoop是開源軟件，可靠的、分布式、可伸縮的。

3.Hadoop提供的功能：利用服務(wù)器集群，根據(jù)用戶的自定義業(yè)務(wù)邏輯，對(duì)海量數(shù)據(jù)進(jìn)行分布式處理

4.廣義上來(lái)說(shuō)，Hadoop通常是指一個(gè)更廣泛的概念----hadoop生態(tài)圈

1.2數(shù)據(jù)分析故事

1.3數(shù)據(jù)有多大呢

數(shù)據(jù)量進(jìn)制：

1G =1024M

1T = 1024G

1P = 1024T

1E = 1024P

1Z = 1024E

1Y = 1024Z

1N = 1024Y

Hadoop 廉價(jià)機(jī)器

去IOE

IBM//ibm小型機(jī).

Oracle//oracle數(shù)據(jù)庫(kù)服務(wù)器 RAC

EMC//EMC共享存儲(chǔ)設(shè)備。

1.4分布式

由分布在不同主機(jī)上的進(jìn)程協(xié)同在一起，才能構(gòu)成整個(gè)應(yīng)用。

1.分布式軟件系統(tǒng)(Distributed Software Systems)

2 該軟件系統(tǒng)會(huì)劃分成多個(gè)子系統(tǒng)或模塊，各自運(yùn)行在不同的機(jī)器上，

子系統(tǒng)或模塊之間通過(guò)網(wǎng)絡(luò)通信進(jìn)行協(xié)作，實(shí)現(xiàn)最終的整體功能

2.分布式應(yīng)用系統(tǒng)模擬開發(fā)

需求：可以實(shí)現(xiàn)由主節(jié)點(diǎn)將運(yùn)算任務(wù)發(fā)往從節(jié)點(diǎn)，并將各從節(jié)點(diǎn)上的任務(wù)啟動(dòng)；

程序清單：

AppMaster

AppSlave/APPSlaveThread

Task

程序運(yùn)行邏輯流程：

1.5 HADOOP在大數(shù)據(jù)、云計(jì)算中的位置和關(guān)系

1. 云計(jì)算是分布式計(jì)算、并行計(jì)算、網(wǎng)格計(jì)算、多核計(jì)算、網(wǎng)絡(luò)存儲(chǔ)、虛擬化、負(fù)載均衡等傳統(tǒng)計(jì)算機(jī)技術(shù)和互聯(lián)網(wǎng)技術(shù)融合發(fā)展的產(chǎn)物。借助IaaS(基礎(chǔ)設(shè)施即服務(wù))、PaaS(平臺(tái)即服務(wù))、SaaS（軟件即服務(wù)）等業(yè)務(wù)模式，把強(qiáng)大的計(jì)算能力提供給終端用戶。

2. 現(xiàn)階段，云計(jì)算的兩大底層支撐技術(shù)為“虛擬化”和“大數(shù)據(jù)技術(shù)”

1.6 HADOOP產(chǎn)生背景

1. HADOOP最早起源于Nutch。Nutch的設(shè)計(jì)目標(biāo)是構(gòu)建一個(gè)大型的全網(wǎng)搜索引擎，包括網(wǎng)頁(yè)抓取、索引、查詢等功能，但隨著抓取網(wǎng)頁(yè)數(shù)量的增加，遇到了嚴(yán)重的可擴(kuò)展性問(wèn)題——如何解決數(shù)十億網(wǎng)頁(yè)的存儲(chǔ)和索引問(wèn)題。

2. 2003年、2004年谷歌發(fā)表的兩篇論文為該問(wèn)題提供了可行的解決方案。

——分布式文件系統(tǒng)（GFS），可用于處理海量網(wǎng)頁(yè)的存儲(chǔ)

——分布式計(jì)算框架MAPREDUCE，可用于處理海量網(wǎng)頁(yè)的索引計(jì)算問(wèn)題。

3. Nutch的開發(fā)人員完成了相應(yīng)的開源實(shí)現(xiàn)HDFS和MAPREDUCE，并從Nutch中剝離成為獨(dú)立項(xiàng)目HADOOP，到2008年1月，HADOOP成為Apache頂級(jí)項(xiàng)目，迎來(lái)了它的快速發(fā)展期。

1.7 HADOOP現(xiàn)狀

網(wǎng)站欄目：大數(shù)據(jù)入門基礎(chǔ)：Hadoop簡(jiǎn)介
網(wǎng)站URL：http://chinadenli.net/article14/pijdge.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站策劃、微信小程序、自適應(yīng)網(wǎng)站、Google、做網(wǎng)站、網(wǎng)站改版

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)