本篇內(nèi)容介紹了“Hadoop windows本地環(huán)境安裝教程”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！

10余年的萊蕪網(wǎng)站建設經(jīng)驗，針對設計、前端、開發(fā)、售后、文案、推廣等六對一服務，響應快，48小時及時工作處理。營銷型網(wǎng)站建設的優(yōu)勢是能夠根據(jù)用戶設備顯示端的尺寸不同，自動調(diào)整萊蕪建站的顯示方式，使網(wǎng)站能夠適用不同顯示終端，在瀏覽器中調(diào)整網(wǎng)站的寬度，無論在任何一種瀏覽器上瀏覽網(wǎng)站，都能展現(xiàn)優(yōu)雅布局與設計，從而大程度地提升瀏覽體驗。創(chuàng)新互聯(lián)從事“萊蕪網(wǎng)站設計”,“萊蕪網(wǎng)站推廣”以來，每個客戶項目都認真落實執(zhí)行。

有時候需要調(diào)試hadoop的程序，如果都要傳到linux上，非常不方便。我們可以搭建一個windows的單機版本hadoop環(huán)境，測試我們的代碼。

一、下載所需文件

1. JDK下載地址，jdk1.8下載

2. Hadoop下載，hadoop下載，進去后找到一個版本然后點擊 Binary download 下載到本地。

3. Hadoop windows環(huán)境編譯工具，winutils下載 ，下載后解壓出來

二、安裝文件

1.  jdk安裝，省略

2. hadoop安裝，由于下載的hadoop文件是不用安裝的，我們只需要解壓出來就可以了 解壓目錄 D:\dev-tools\hadoop\hadoop-2.8.3

三、環(huán)境變量配置

1.  jdk，省略

四、配置hadoop文件

1. 配置 core-site.xml文件

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/D:/data/hadoop</value>
    </property>

    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

2. 配置mapred-site.xml 

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>

</configuration>

配置  hdfs-site.xml

<configuration>
    <!-- 這個參數(shù)設置為1，因為是單機版hadoop -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

配置 yarn-site.xml 

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

找到 hadoop-env.cmd 文件并打開，添加下面配置。

set JAVA_HOME=%JAVA_HOME%
set HADOOP_HOME=D:\dev-tools\hadoop\hadoop-2.8.3
rem %HADOOP_HOME%\bin 加入到運行時path中
set PATH=%PATH%;%HADOOP_HOME%\bin

五、替換文件

解壓我們之前下載的 winutils-master 文件，找到符合自己的版本的bin目錄，把 winutils.exe和hadoop.dll 復制到 bin 目錄

六、運行

1.運行cmd窗口，執(zhí)行hdfs namenode -format ，格式化hdfs文件系統(tǒng)。

 2.運行cmd窗口，切換到hadoop的sbin目錄，執(zhí)行start-all.cmd啟動hadoop，包括yarn/hdfs

七、測試

打開下面的網(wǎng)頁可以查看hdfs狀態(tài)

在hadoop 2.x中,管理界面為 http://localhost:50070

在hadoop 3.0中，已經(jīng)改為 http://localhost:9870

打開下面的網(wǎng)頁可以查看yarn狀態(tài)

http://localhost:8088/cluster

配置好的hadoop 2.8.3，已經(jīng)上傳到網(wǎng)盤，可以自行下載后配置環(huán)境變量即可使用

“Hadoop windows本地環(huán)境安裝教程”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關的知識可以關注創(chuàng)新互聯(lián)網(wǎng)站，小編將為大家輸出更多高質量的實用文章！

網(wǎng)站標題：Hadoopwindows本地環(huán)境安裝教程
當前地址：http://chinadenli.net/article24/gsgdce.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站收錄、網(wǎng)站設計、移動網(wǎng)站建設、微信公眾號、全網(wǎng)營銷推廣、ChatGPT

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉載內(nèi)容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)