PS:后續(xù)的文章會(huì)把我實(shí)踐的內(nèi)容分解成為一個(gè)個(gè)的小模塊，方便大家的學(xué)習(xí)，交流。文未我也會(huì)附上相關(guān)的代碼。一起加油！   學(xué)有三年的大數(shù)據(jù)原理，一直沒有實(shí)踐過。最近準(zhǔn)備離職，正好把自己所學(xué)的大數(shù)據(jù)內(nèi)容全部實(shí)踐一下，也不至于只會(huì)純理論。面對實(shí)踐，首先要有空杯心態(tài)，倒空自己之后，才能學(xué)到更多，加油！也希望大家多關(guān)注，以后會(huì)更多注重實(shí)踐跟原理的結(jié)合。

環(huán)境搭建

創(chuàng)新互聯(lián)從2013年開始，是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項(xiàng)目網(wǎng)站設(shè)計(jì)制作、成都做網(wǎng)站網(wǎng)站策劃，項(xiàng)目實(shí)施與項(xiàng)目整合能力。我們以讓每一個(gè)夢想脫穎而出為使命，1280元株洲做網(wǎng)站,已為上家服務(wù),為株洲各地企業(yè)和個(gè)人服務(wù),聯(lián)系電話:13518219792

  對于大數(shù)據(jù)，重點(diǎn)在于Hadoop的底層架構(gòu)。雖說現(xiàn)在spark架構(gòu)用的還是比較多。但hadoop還是基礎(chǔ)。還有就是為什么要以Linux為基礎(chǔ)，主要是因?yàn)楝F(xiàn)行網(wǎng)站大部分服務(wù)端都是在linux系統(tǒng)中。這一點(diǎn)，個(gè)人感覺還是在文件讀取及數(shù)據(jù)調(diào)用這方面有很多優(yōu)點(diǎn)。而linux的開源，又方便了大多數(shù)編程人員對于系統(tǒng)的理解。而裝有l(wèi)inux又對Python編程有很大幫助。至于坊間流傳的：人生苦短，你要用Python.個(gè)人的理解的，用Python編程起來會(huì)非常簡單。而且只要是裝有Linux系統(tǒng)就可以。

  對于環(huán)境搭建這一部分，操作過程中。大的困難就是在于NAT的設(shè)置，對于這一步，沒有按照視頻內(nèi)容一步步來操作。在為我是用無線來操作的，而大部分個(gè)人PC在無線鏈接后獲取到的IP都是192.168網(wǎng)段，當(dāng)虛擬機(jī)要跟主機(jī)以NAT方式來進(jìn)行通信時(shí)，就要設(shè)置在不同網(wǎng)段內(nèi)，而我個(gè)人是將虛擬機(jī)的改為172.20的這一網(wǎng)段。不至于影響到后續(xù)操作。

JAVA引導(dǎo)

  對于這一部分，由于前期在R原理課時(shí)，學(xué)過這一塊的相關(guān)設(shè)置環(huán)境變量。再在虛機(jī)的linux上進(jìn)行相關(guān)設(shè)置就能夠深入明白其原理。并將原來引導(dǎo)都指向相關(guān)路徑。

  這一部分主要的難點(diǎn)就是vim編輯器的理解，相關(guān)命令的解釋。當(dāng)時(shí)大的困惑就是在打開一個(gè)文件后，如何編輯，如何保存退出。后來通過查找百度，看一些技術(shù)貼子之后才逐步明白vim編輯器的用法。還有就是對于原理的理解，還有就是英語要好，遇到報(bào)錯(cuò)之后，要知道從×××解決的辦法，并實(shí)踐執(zhí)行。在一個(gè)地方卡住，一定要在一天內(nèi)解決，要不然對人的學(xué)習(xí)積極性打擊很大。

Hadoop搭建

  這一部分，vim命令是最多的。也即在hadoop-1.2.1下如何設(shè)置相關(guān)的參數(shù)，最后datanode,jobtrack,tasktrack,namenode這些關(guān)鍵進(jìn)程是否起來。而這一部分，是自己在格式化namenode后，多次進(jìn)行開啟服務(wù)才起來的。這一塊可能涉及到三臺(tái)虛機(jī)的互聯(lián)以及相互傳遞參數(shù)。所以這一塊是最慢的。 還有一個(gè)難點(diǎn)，就是你的虛機(jī)上若是沒有公鑰文件（我的就沒有）。這就需要用touch 來建立，而在檢測用戶權(quán)限的時(shí)候，又要用到chmod命令。總之，這一部分內(nèi)容是綜上有點(diǎn)難度的，需要你能綜合寫vim命令，同時(shí)對hadoop的相關(guān)進(jìn)程有所了解。

總結(jié)

 現(xiàn)在就差Python的命令了，就覺得，理論跟實(shí)踐真的很不一樣，不斷的學(xué)習(xí)過程中，不光要克服代碼上的天生缺陷，也要對內(nèi)核原理有更深入的理解。好在已經(jīng)養(yǎng)成的好習(xí)慣，會(huì)把工作中的操作都一一記錄下來。便于后續(xù)學(xué)習(xí)跟理解。也歡迎大家一起來討論。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

當(dāng)前文章：大數(shù)據(jù)學(xué)習(xí)實(shí)踐總結(jié)(2)--環(huán)境搭建，JAVA引導(dǎo)，HADOOP搭建-創(chuàng)新互聯(lián)
當(dāng)前網(wǎng)址：http://chinadenli.net/article38/heipp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供動(dòng)態(tài)網(wǎng)站、網(wǎng)站維護(hù)、網(wǎng)站內(nèi)鏈、品牌網(wǎng)站制作、網(wǎng)站導(dǎo)航、小程序開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)