mac上安裝hadoop

成都創(chuàng)新互聯(lián)主營謝家集網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營網(wǎng)站建設(shè)方案,手機(jī)APP定制開發(fā),謝家集h5小程序開發(fā)搭建,謝家集網(wǎng)站營銷推廣歡迎謝家集等地區(qū)企業(yè)咨詢

1,mac下的java

ll /usr/bin |grep'java'

默認(rèn):

/System/Library/Frameworks/JavaVM.framework/Versions/Current/Commands/java

具體的安裝路徑:

/Library/Java/JavaVirtualMachines/下面，

JAVA_HOME是/Library/Java/JavaVirtualMachines/jdk1.7.0_75/Contents/Home。

2,mac下的ssh

首先測(cè)試ssh localhost，

若不成功,看是否啟動(dòng)允許remotelogin,再嘗試如果失敗則繼續(xù)下面的

ssh-keygen -t dsa-P '' -f ~/.ssh/id_dsa

ssh-keygen表示生成秘鑰；

-t表示秘鑰類型；-P用于提供密語；-f指定生成的秘鑰文件。

這個(gè)命令在”~/.ssh/“文件夾下創(chuàng)建兩個(gè)文件id_dsa和id_dsa.pub，是ssh的一對(duì)兒私鑰和公鑰。

接下來，將公鑰追加到授權(quán)的key中去，輸入：

cat~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

再次嘗試

ssh localhost

若無法打開,解決方法如下：

進(jìn)入Mac的系統(tǒng)偏好設(shè)置 –> 共享–> 勾選remote login，并設(shè)置allow access for all users。

3,下載鏡像,mirror,選擇某一個(gè)tar.gz

http://mirror.bit.edu.cn/apache/hadoop/common/

4,設(shè)置環(huán)境變量

vi ~/.bash_profile 或者/etc/profile中

exportJAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_75/Contents/Home

exportJRE_HOME=$JAVA_HOME/jre

exportHADOOP_HOME=/Users/xiaolong.zhao/ittools/hadoop

#是防止出現(xiàn)：Warning:$HADOOP_HOME is deprecated的警告錯(cuò)誤。

exportHADOOP_HOME_WARN_SUPPRESS=1

exportPATH=$JAVA_HOME/bin:$JRE_HOME/bin: $ HADOOP_HOME /sbin:$HADOOP_HOME/bin:$PATH

注意:linux與mac的安裝，唯一區(qū)別就是mac下會(huì)有默認(rèn)的jdk路徑的,以及ssh配置的

5,配置hadoop-env.sh

在/Users/xiaolong.zhao/ittools/hadoop/etc/hadoop目錄下，找到hadoop-env.sh，打開編輯進(jìn)行如下設(shè)置：

export  JAVA_HOME=${JAVA_HOME}（去掉注釋）

export  HADOOP_HEAPSIZE=2000（去掉注釋）

export  HADOOP_OPTS=”-Djava.security.krb5.realm=OX.AC.UK-Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk”（去掉注釋）

6, 4個(gè)核心文件配置

6.1.配置core-site.xml——(defaultFS)指定了NameNode的主機(jī)名與端口

<?xmlversion="1.0" encoding="UTF-8"?>  
<configuration>
     <!-- fs.defaultFS - 這是一個(gè)描述集群中NameNode結(jié)點(diǎn)的URI(包括協(xié)議、主機(jī)名稱、端口號(hào))，集群里面的每一臺(tái)機(jī)器都需要知道NameNode的地址。
     DataNode結(jié)點(diǎn)會(huì)先在NameNode上注冊(cè)，這樣它們的數(shù)據(jù)才可以被使用。獨(dú)立的客戶端程序通過這個(gè)URI跟DataNode交互，以取得文件的塊列表。-->
    <property>  
       <name>fs.defaultFS</name> 
       <value>hdfs://localhost:8000</value>  
    </property>  
 
     <!-- hadoop.tmp.dir 是hadoop文件系統(tǒng)依賴的基礎(chǔ)配置，很多路徑都依賴它。
     如果hdfs-site.xml中不配置namenode和datanode的存放位置，默認(rèn)就放在這個(gè)路徑中-->
    <property>  
       <name>hadoop.tmp.dir</name> 
       <value>/Users/time/Documents/hadoop-2.7.3/tmp</value>  
        <description>A base for othertemporary directories.</description> 
    </property> 
</configuration>

6.2. 配置hdfs-site.xml——指定了HDFS的默認(rèn)參數(shù)副本數(shù)

 
<?xmlversion="1.0" encoding="UTF-8"?>  
<configuration>  
     <!-- dfs.replication -它決定著 系統(tǒng)里面的文件塊的數(shù)據(jù)備份個(gè)數(shù)。對(duì)于一個(gè)實(shí)際的應(yīng)用，它應(yīng)該被設(shè)為3。
     少于三個(gè)的備份，可能會(huì)影響到數(shù)據(jù)的可靠性-->
        <property>
          <name>dfs.replication</name>
           <value>1</value>
        </property>
 
        <!-- datanaode和namenode的物理存儲(chǔ),如果不設(shè)置，它的值hadoop.tmp.dir-->
        <property>
            <name>dfs.namenode.name.dir</name>
            <value>file:/home/hdfs/name</value>
        </property>
 
        <!-- 可以不設(shè)置,namenode的Web 監(jiān)控 端口,默認(rèn)是0.0.0.0:50070-->
        <property>
            <name>dfs.namenode.http-address</name>
             <value>localhost:57000</value>
        </property>
 
        <property>
          <name>dfs.datanode.data.dir</name>
          <value>file:/home/hdfs/data</value>
        </property>
 
</configuration>

注意這里的file

如果配置為: file:/path/a/c,則具體的路徑就是: /path/a/c

如果配置為:file://path/a/c,則具體的路徑就是: /a/c

6.3 mapred-site.xml配置

  <property>  
        <name>mapreduce.framework.name</name>  
        <value>yarn</value>  
    </property>

6.4 Yarn-site.xml 配置

<?xmlversion="1.0"?> 
 <configuration> 
 
  <!-- resourcemanager --> 
  <!-- client visit address -->
  <property> 
  <name>yarn.resourcemanager.address</name>
  <value>localhost:18040</value> 
  </property> 
 
  <!-- ApplicationMaster visit address-->
  <property> 
  <name>yarn.resourcemanager.scheduler.address</name>
  <value>localhost:18030</value> 
  </property> 
 
  <!-- NodeManager visit address -->
  <property> 
  <name>yarn.resourcemanager.resource-tracker.address</name>
  <value> localhost:18025</value> 
  </property> 
 
  <!-- web visit address -->
  <property> 
  <name>yarn.resourcemanager.webapp.address</name>
  <value>localhost:18088</value> 
  </property> 
 
  <!-- NodeManager support mapreduce service--> 
  <property> 
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value> 
  </property> 
 </configuration>

7, 格式化namenode

hdfs namenode-format

8, 啟動(dòng)hadoop

8.1sbin/start-all.sh

8.2 web測(cè)試

8.2.1 namenode-web

http://localhost:50070

8.2.2resourcemanager-web

http://localhost:18088

8.2.3 nodemanager-web

http://localhost:8042

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

本文題目：mac或linux下安裝hadoop-2.8流程-創(chuàng)新互聯(lián)
文章出自：http://chinadenli.net/article28/cdocjp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站營銷、網(wǎng)站導(dǎo)航、品牌網(wǎng)站制作、建站公司、標(biāo)簽優(yōu)化、小程序開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)