本篇內(nèi)容主要講解“怎么使用eclipse在遠程hadoop集群上在線運行和調(diào)試mapreduce程序”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學(xué)習(xí)“怎么使用eclipse在遠程hadoop集群上在線運行和調(diào)試mapreduce程序”吧!

主要從事網(wǎng)頁設(shè)計、PC網(wǎng)站建設(shè)（電腦版網(wǎng)站建設(shè)）、wap網(wǎng)站建設(shè)（手機版網(wǎng)站建設(shè)）、自適應(yīng)網(wǎng)站建設(shè)、程序開發(fā)、微網(wǎng)站、重慶小程序開發(fā)等，憑借多年來在互聯(lián)網(wǎng)的打拼，我們在互聯(lián)網(wǎng)網(wǎng)站建設(shè)行業(yè)積累了豐富的網(wǎng)站設(shè)計制作、成都網(wǎng)站建設(shè)、網(wǎng)絡(luò)營銷經(jīng)驗，集策劃、開發(fā)、設(shè)計、營銷、管理等多方位專業(yè)化運作于一體，具備承接不同規(guī)模與類型的建設(shè)項目的能力。

前提：

1.我使用的hadoop是hadoop-2.3.0-cdh6.1.0.tar

2.以下是我的hadoop核心配置文件的配置：

core-site.xml

<configuration>

                <property>

                                <name>fs.defaultFS</name>

                                <value>hdfs://master:9000</value>

                </property>

       <property>

                                <name>io.file.buffer.size</name>

                                <value>131072</value>

       </property>

       <property>

                                <name>hadoop.tmp.dir</name>

                                <value>file:/home/yinkaipeng/tmp</value>

                                <description>Abase for other temporary directories.</description>

                </property>

        <property>

               <name>hadoop.proxyuser.hduser.hosts</name>

               <value>*</value>

       </property>

                 <property>

               <name>hadoop.proxyuser.hduser.groups</name>

               <value>*</value>

       </property>

</configuration>

hdfs-site.xml

<configuration>

       <property>

                <name>dfs.namenode.secondary.http-address</name>

               <value>master:9001</value>

        </property>

         <property>

                  <name>dfs.namenode.name.dir</name>

                 <value>file:/usr/local/data/dfs/name</value>

            </property>

           <property>

                    <name>dfs.datanode.data.dir</name>

                    <value>file:/usr/local/data/dfs/data</value>

            </property>

            <property>

                     <name>dfs.replication</name>

                     <value>3</value>

             </property>

             <property>

                     <name>dfs.webhdfs.enabled</name>

                     <value>true</value>

         </property>

</configuration>

mapred-site.xml

<configuration>

                <property>

                                <name>mapreduce.framework.name</name>

                                <value>yarn</value>

                </property>

                <property>

                                <name>mapreduce.jobhistory.address</name>

                                <value>master:10020</value>

                </property>

                <property>

               <name>mapreduce.jobhistory.webapp.address</name>

               <value>master:19888</value>

       </property>

</configuration>

yarn-site.xml

<configuration>

                 <property>

               <name>yarn.nodemanager.aux-services</name>

               <value>mapreduce_shuffle</value>

        </property>

                 <property>

               <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

               <value>org.apache.hadoop.mapred.ShuffleHandler</value>

        </property>

        <property>

               <name>yarn.resourcemanager.address</name>

               <value>master:8032</value>

       </property>

                <property>

               <name>yarn.resourcemanager.scheduler.address</name>

               <value>master:8030</value>

               </property>

               <property>

                       <name>yarn.resourcemanager.resource-tracker.address</name>

                        <value>master:8031</value>

               </property>

               <property>

                       <name>yarn.resourcemanager.admin.address</name>

                        <value>master:8033</value>

               </property>

                <property>

               <name>yarn.resourcemanager.webapp.address</name>

               <value>master:8088</value>

       </property>

</configuration>

在hadoop2.0 中如果不配置zookeeper，只需將你將你的datanode加入slaves文件中即可。

hadoop集群配置好后，然后就是使用eclipse進行連接啦！

好的，我使用的是：hadoop-eclipse-plugin-2.2.0，從網(wǎng)上下載的。

下面開始我們開始工作。

1. 啟動hadoop集群

2. 將hadoop-eclipse-plugin-2.2.0拷貝到eclipse的plugins 目錄下，啟動eclipse。

3. 

4. 

5. 

如現(xiàn)在就進行連接的話不會成功的。因為我們用的是Windows所以還需要進行以下步驟：

1. 將電腦當(dāng)前用戶名改為hadoop的啟動用戶名

2. eclipse連接hadoop源碼目錄，將hadoop-common-2.2.0-bin-master的bin目錄考到eclipse的workspace

3. 

4. 

5. 

6. 

   注：上面hadoop目錄為我從Linux系統(tǒng)上下載的解壓后的hadoop。

   到這里操作hdfs就沒問題了，如果要運行mapreduce還會報錯，進行以下兩步：

   1.將hadoop源碼中的org.apache.hadoop.io.nativeio加到項目中，并進行以下修改：

   

2.在我們的mapreduce的main函數(shù)中注入hadoop本地目錄地址環(huán)境變量。

ok！這下就可以在Windows上進行hadoop集群的mapreduce在線調(diào)試了！

到此，相信大家對“怎么使用eclipse在遠程hadoop集群上在線運行和調(diào)試mapreduce程序”有了更深的了解，不妨來實際操作一番吧！這里是創(chuàng)新互聯(lián)網(wǎng)站，更多相關(guān)內(nèi)容可以進入相關(guān)頻道進行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！

當(dāng)前名稱：怎么使用eclipse在遠程hadoop集群上在線運行和調(diào)試mapreduce程序
分享URL：http://chinadenli.net/article48/gedehp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供軟件開發(fā)、網(wǎng)站導(dǎo)航、外貿(mào)網(wǎng)站建設(shè)、網(wǎng)站設(shè)計、面包屑導(dǎo)航、關(guān)鍵詞優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)