這篇文章主要講解了“怎么搭建Hadoop運行環(huán)境”，文中的講解內容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“怎么搭建Hadoop運行環(huán)境”吧！

公司主營業(yè)務：成都網(wǎng)站建設、網(wǎng)站制作、移動網(wǎng)站開發(fā)等業(yè)務。幫助企業(yè)客戶真正實現(xiàn)互聯(lián)網(wǎng)宣傳，提高企業(yè)的競爭能力。創(chuàng)新互聯(lián)是一支青春激揚、勤奮敬業(yè)、活力青春激揚、勤奮敬業(yè)、活力澎湃、和諧高效的團隊。公司秉承以“開放、自由、嚴謹、自律”為核心的企業(yè)文化，感謝他們對我們的高要求，感謝他們從不同領域給我們帶來的挑戰(zhàn)，讓我們激情的團隊有機會用頭腦與智慧不斷的給客戶帶來驚喜。創(chuàng)新互聯(lián)推出甘德免費做網(wǎng)站回饋大家。

Hadoop 是一個分布式系統(tǒng)基礎架構，在大數(shù)據(jù)領域被廣泛的使用，它將大數(shù)據(jù)處理引擎盡可能的靠近存儲，Hadoop 最核心的設計就是 HDFS 和  MapReduce，HDFS 為海量的數(shù)據(jù)提供了存儲，MapReduce 為海量的數(shù)據(jù)提供了計算。

我們使用 Linux 操作系統(tǒng)來搭建環(huán)境，下面的信息是用來準備搭建 Hadoop 環(huán)境的電腦環(huán)境信息。

hadoop@ubuntu:~$ cat /etc/os-release NAME="Ubuntu" VERSION="14.04.5 LTS, Trusty Tahr" ID=ubuntu ID_LIKE=debian PRETTY_NAME="Ubuntu 14.04.5 LTS" VERSION_ID="14.04" HOME_URL="http://www.ubuntu.com/" SUPPORT_URL="http://help.ubuntu.com/" BUG_REPORT_URL="http://bugs.launchpad.net/ubuntu/"

緊接著來新建一個用戶，這一步其實也可以省略的，可以根據(jù)實際情況來決定，這里是新建了一個叫 hadoop 的新用戶。

#創(chuàng)建新用戶 sudo useradd -m hadoop -s /bin/bash #設置密碼 sudo passwd hadoop #為hadoop用戶增加管理員權限 sudo adduser hadoop sudo #切換到hadoop用戶 su hadoop

我們首先來設置一下 SSH 無密碼登錄，這一步建議都設置一下，因為分布式系統(tǒng)環(huán)境都是由多臺服務器構成的，設置免密碼登錄會方便使用。

#先檢查下是否可以在沒有密碼的情況下ssh到localhost ssh localhost #如果在沒有密碼的情況下無法ssh到localhost，請執(zhí)行以下命令 ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys

上面是一些準備工作，接下來就正式開始部署 Hadoop 環(huán)境了。我們先在 Apache  官網(wǎng)(http://hadoop.apache.org)這里下載最新的穩(wěn)定版本的 Hadoop 發(fā)行版，然后解壓到指定目錄并進入這個目錄，執(zhí)行  ./bin/hadoop 和 ./bin/hadoop version 可以分別顯示 hadoop 腳本的使用文檔和版本信息，然后修改一下  ./etc/hadoop/core-site.xml 和 ./etc/hadoop/hdfs-site.xml這兩個配置文件，配置修改分別如下所示。

修改 ./etc/hadoop/core-site.xml 配置文件，添加如下配置：

<configuration>     <property>         <name>fs.defaultFS</name>         <value>hdfs://localhost:9090</value>     </property>     <property>         <name>hadoop.tmp.dir</name>         <value>file:/opt/bigdata/hadoop/tmp</value>         <description>A base for other temporary directories.</description>     </property> </configuration>

修改 ./etc/hadoop/hdfs-site.xml 配置文件，添加如下配置：

<configuration>     <property>         <name>dfs.replication</name>         <value>1</value>     </property>     <property>         <name>dfs.namenode.name.dir</name>         <value>file:/opt/bigdata/hadoop/tmp/dfs/name</value>     </property>     <property>         <name>dfs.datanode.data.dir</name>         <value>file:/opt/bigdata/hadoop/tmp/dfs/data</value>     </property> </configuration>

配置修改好之后，執(zhí)行格式化文件系統(tǒng)，操作如下。

hadoop@ubuntu:/opt/bigdata/hadoop$ ./bin/hdfs namenode -format #執(zhí)行后輸出會比較多，看到下邊這條信息表示成功  INFO common.Storage: Storage directory /opt/bigdata/hadoop/tmp/dfs/name has been successfully formatted.

在格式化 NameNode 的時候可能會遇到下面這樣的兩個問題。

1. 提示 Error: JAVA_HOME is not set and could not be found. 的錯誤，這說明 JAVA_HOME  環(huán)境變量沒有配置好，重新配置一下，或者修改 ./etc/hadoop/hadoop-env.sh 文件把 export  JAVA_HOME=${JAVA_HOME} 直接修改成絕對目錄 export JAVA_HOME=/usr/lib/jvm/java-8 既可解決。

2. 提示 ERROR namenode.NameNode: java.io.IOException: Cannot create directory  /opt/bigdata/hadoop/tmp/dfs/name/current 的錯誤，這是因為配置的 /opt/bigdata/hadoop/tmp  目錄的寫入權限有問題，可以直接執(zhí)行 sudo chmod -R a+w /home/hadoop/tmp 即可解決。

接下來執(zhí)行 ./sbin/start-dfs.sh 來開啟 NameNode 和 DataNode 守護進程，然后檢查 NameNode、DataNode  和 SecondaryNameNode 是否都已經(jīng)啟動成功，操作如下：

hadoop@ubuntu:/opt/bigdata/hadoop$ jps 4950 Jps 3622 SecondaryNameNode 3295 DataNode 2910 NameNode

啟動成功之后可以用瀏覽器來打開 http://localhost:50070/ 瀏覽 NameNode 的Web界面。

到此為止，Hadoop 單節(jié)點集群(偽分布式)環(huán)境搭建就已經(jīng)成功了， 接下來運行一個 Hadoop 偽分布式實例。因為 Hadoop  單機模式是運行的本地文件系統(tǒng)，(偽)分布式模式則是運行的 HDFS 上的數(shù)據(jù)。我們現(xiàn)在 HDFS 中創(chuàng)建用戶目錄，執(zhí)行目命令 ./bin/hdfs dfs  -mkdir -p /user/hadoop 即可，執(zhí)行如下命令將輸入文件復制到分布式文件系統(tǒng)中。

#這個可以不執(zhí)行，因為會自動創(chuàng)建好目錄的  #./bin/hdfs dfs -mkdir input ./bin/hdfs dfs -put etc/hadoop input #查看復制到HDFS的文件列表 ./bin/hdfs dfs -ls input

接下來運行一個 Hadoop 自帶的 mapreduce 實例看看效果吧，直接執(zhí)行如下命令。

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples- 2.9.1.jar grep input output 'dfs[a-z.]+'

使用 ./bin/hdfs dfs -cat output/* 命令查看運行后在 HDFS 上的輸出文件列表，或者使用下面的命令拷貝到本地查看。

./bin/hdfs dfs -get output output ./cat output/*

關閉 Hadoop 直接使用 ./sbin/stop-dfs.sh 命令即可。

感謝各位的閱讀，以上就是“怎么搭建Hadoop運行環(huán)境”的內容了，經(jīng)過本文的學習后，相信大家對怎么搭建Hadoop運行環(huán)境這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關知識點的文章，歡迎關注！

新聞標題：怎么搭建Hadoop運行環(huán)境
分享URL：http://chinadenli.net/article32/pgjcsc.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站排名、自適應網(wǎng)站、做網(wǎng)站、微信公眾號、、App設計

廣告

聲明：本網(wǎng)站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經(jīng)允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)