這篇文章主要講解了“map reduce遇到的問(wèn)題怎么解決”,文中的講解內(nèi)容簡(jiǎn)單清晰,易于學(xué)習(xí)與理解,下面請(qǐng)大家跟著小編的思路慢慢深入,一起來(lái)研究和學(xué)習(xí)“map reduce遇到的問(wèn)題怎么解決”吧!

永平網(wǎng)站制作公司哪家好,找成都創(chuàng)新互聯(lián)公司!從網(wǎng)頁(yè)設(shè)計(jì)、網(wǎng)站建設(shè)、微信開(kāi)發(fā)、APP開(kāi)發(fā)、成都響應(yīng)式網(wǎng)站建設(shè)公司等網(wǎng)站項(xiàng)目制作,到程序開(kāi)發(fā),運(yùn)營(yíng)維護(hù)。成都創(chuàng)新互聯(lián)公司于2013年開(kāi)始到現(xiàn)在10年的時(shí)間,我們擁有了豐富的建站經(jīng)驗(yàn)和運(yùn)維經(jīng)驗(yàn),來(lái)保證我們的工作的順利進(jìn)行。專注于網(wǎng)站建設(shè)就選成都創(chuàng)新互聯(lián)公司。
問(wèn)題:mkdir: Permission denied: user=root, access=WRITE
我們?cè)谧鰉ap reduce的時(shí)候遇到這種問(wèn)題,用他指定的用戶去執(zhí)行mapreduce就行。比如他要求hdfs,我們就用hdfs用戶執(zhí)行,代碼如下:
System.setProperty("HADOOP_USER_NAME", "hdfs");
第一步:
解決方法:
到服務(wù)器上修改hadoop的配置文件:conf/hdfs-core.xml, 找到 dfs.permissions 的配置項(xiàng) , 將value值改為 false
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
注意,實(shí)驗(yàn)平臺(tái)可以這么設(shè)置,但是工作中,不能這樣,這樣不安全。
如果還是不行,就是dfs沒(méi)有權(quán)限
第二步:
產(chǎn)生問(wèn)題原因:
環(huán)境hadoop2,cdh6創(chuàng)建
使用hadoop fs -mkdir /usr/xxx創(chuàng)建文件路徑時(shí),出現(xiàn)權(quán)限問(wèn)題
===========================================================
1.hadoop fs -ls /user
檢查這個(gè)路徑下面的用戶權(quán)限學(xué)習(xí)
drwxrwxrwt - yarn hadoop 0 2014-09-03 11:58 /user/history
drwxr-xr-x - hdfs hadoop 0 2014-09-03 12:00 /user/spark
其中:yarn--創(chuàng)建人,hadoop ---組,而root用戶屬于訪客類型的
2.使用hdfs這個(gè)用戶登錄
sudo -uhdfs hadoop fs -mkdir /usr/
3.通過(guò)hdfs用戶更改所在用戶的權(quán)限
sudo -uhdfs hadoop fs -chown 用戶:用戶組 /usr
比如過(guò)我們是root用戶,可以用命令 groups root ,查看root用戶的組,得到組也是root現(xiàn)在更改用戶的權(quán)限
sudo -uhdfs hadoop fs -chown root:root /usr
再用命令 hadoop fs -ls / 可以看到 目錄 /usr,用戶名是root,用戶組是root
就搞定了。
感謝各位的閱讀,以上就是“map reduce遇到的問(wèn)題怎么解決”的內(nèi)容了,經(jīng)過(guò)本文的學(xué)習(xí)后,相信大家對(duì)map reduce遇到的問(wèn)題怎么解決這一問(wèn)題有了更深刻的體會(huì),具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是創(chuàng)新互聯(lián),小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章,歡迎關(guān)注!
分享文章:mapreduce遇到的問(wèn)題怎么解決
文章鏈接:http://chinadenli.net/article30/ggjjso.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供品牌網(wǎng)站設(shè)計(jì)、外貿(mào)建站、標(biāo)簽優(yōu)化、定制開(kāi)發(fā)、靜態(tài)網(wǎng)站、網(wǎng)站內(nèi)鏈
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)