第一天

創(chuàng)新互聯(lián)專注于企業(yè)成都營銷網(wǎng)站建設(shè)、網(wǎng)站重做改版、休寧縣網(wǎng)站定制設(shè)計、自適應(yīng)品牌網(wǎng)站建設(shè)、H5網(wǎng)站設(shè)計、成都做商城網(wǎng)站、集團(tuán)公司官網(wǎng)建設(shè)、外貿(mào)網(wǎng)站建設(shè)、高端網(wǎng)站制作、響應(yīng)式網(wǎng)頁設(shè)計等建站業(yè)務(wù)，價格優(yōu)惠性價比高，為休寧縣等各大城市提供網(wǎng)站開發(fā)制作服務(wù)。

1.大數(shù)據(jù)典型特性與分布式開發(fā)難點

1.	大數(shù)據(jù)典型特性與分布式開發(fā)難點
2.	Hadoop框架介紹與搜索技術(shù)體系介紹
3.	Hadoop版本與特性介紹
4.	Hadoop核心模塊之HDFS分布式文件系統(tǒng)架構(gòu)介紹
5.	Hadoop核心模塊之Yarn操作系統(tǒng)架構(gòu)介紹
6.	Linux安全禁用設(shè)置與JDK安裝講解
7.	Hadoop偽分布式環(huán)境部署HDFS部分
8.	Hadoop偽分布式環(huán)境部署Yarn和MR部分
9.	Hadoop環(huán)境使用常見的錯誤集合
10.	Hadoop環(huán)境常規(guī)設(shè)置與輔助功能講解（-）

11.	Hadoop環(huán)境常規(guī)設(shè)置與輔助功能講解（二）
12.	Windows環(huán)境下部署Eclipse插件注意事項

1.大數(shù)據(jù)典型特性與分布式開發(fā)難點

1.大數(shù)據(jù)典型特性

    沒有大數(shù)據(jù)據(jù)技術(shù)之前，我就以抽樣統(tǒng)計為例（統(tǒng)計一個城市的男女人口比例），我們的做法是不是找個人多的地方，隨機(jī)抽取一部分人，統(tǒng)計出男女比例，作為城市的男女人口比例，這樣的誤差非常大，數(shù)據(jù)量越大，統(tǒng)計出來的結(jié)果越準(zhǔn)確。這樣我們就要先解決這么大數(shù)據(jù)量的存儲問題，（這個例子不能體現(xiàn)出數(shù)據(jù)類型繁多），接下來是不是要解決數(shù)據(jù)計算的問題，總不能人工一個一個數(shù)吧，大數(shù)據(jù)技術(shù)就能為我們解決這些問題。

    傳統(tǒng)RDBMS 的瓶頸，關(guān)系型數(shù)據(jù)的特點是各個數(shù)據(jù)項之間有一定的關(guān)系，這個在設(shè)計數(shù)據(jù)庫的設(shè)計階段必須設(shè)計好，但是當(dāng)今需求中，我們往往分析的數(shù)據(jù)之間沒有關(guān)系，例如我們在設(shè)計一個推薦系統(tǒng)的時候，要分析客戶的行為，客戶的行為數(shù)據(jù)之間就沒有相應(yīng)的關(guān)系，結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)共存使數(shù)據(jù)多樣化。

    海量的數(shù)據(jù)，這么大的數(shù)據(jù)量，我們還要處理的非?？臁＿@對技術(shù)是很大的挑戰(zhàn)。這就是大數(shù)據(jù)的特性

多：這里的多就是海量數(shù)據(jù),我們要解決海量數(shù)據(jù)的存儲問題

繁：結(jié)構(gòu)化，非結(jié)構(gòu)化，半結(jié)構(gòu)化數(shù)據(jù)的共存

快：這么大的數(shù)據(jù)量，這么繁多的不同類型的數(shù)據(jù)，還要處理的快，不然就會成為系統(tǒng)的瓶頸。

我們的最終目的是挖掘出有用的，有價值的數(shù)據(jù)。

2.大數(shù)據(jù)的能做什么？

3.一個數(shù)據(jù)平臺的工作（完整的平臺）

   3.1離線

     -》批量計算

   3.2 實時

     -》流式計算

     -》在線分析

   3.3數(shù)據(jù)共享

4.數(shù)據(jù)平臺指標(biāo)

  -》設(shè)備臺數(shù)：5000臺

  -》總存儲數(shù)量：100PB+

  -》日新增數(shù)量：200TB+，月數(shù)據(jù)增長比率10%

  -》有多個數(shù)據(jù)產(chǎn)品

  -》存儲表10w+

  -》日均運行JOB數(shù)

  -》日均計算量5PB+

5.分布式開發(fā)的難點

-》平臺搭建

  -》分布式

        -》同步，一致性（配置（會搭建很多框架），時間（微妙誤差））

        -》自動化部署管理平臺

        -》cloudera 發(fā)布的hadoop版本 CDH

             -》cloudera  manager,簡稱：CM

-》框架是開源的  不可靠 

     所以很多公司都是以開源框架為基礎(chǔ)，開發(fā)自己的框架，例如：淘寶的 TFS文件系統(tǒng)

     任務(wù)調(diào)度框架oozie，淘寶自己的框架 宙斯 。  

-》成本的問題

   由于集群用到的機(jī)器比較廉價，所以會出現(xiàn)節(jié)點故障，我們必須有相應(yīng)的容錯機(jī)制，保證集群的健壯性。

6.學(xué)習(xí)大數(shù)據(jù)的基礎(chǔ)：

     

                                                                                                               自己學(xué)習(xí)的隨筆，在組織存在問題，不喜勿說

        

    

網(wǎng)站名稱：hadoop學(xué)習(xí)系列(1.大數(shù)據(jù)典型特性與分布式開發(fā)難點)
網(wǎng)站鏈接：http://chinadenli.net/article8/joegip.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供虛擬主機(jī)、響應(yīng)式網(wǎng)站、微信公眾號、網(wǎng)站維護(hù)、定制網(wǎng)站、App設(shè)計

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)