因?yàn)殚_(kāi)發(fā)環(huán)境需要遷移，將原來(lái)HBase中的表使用 org.apache.hadoop.hbase.mapreduce.Export 工具序列化到hdfs后下載出來(lái)，在新的開(kāi)發(fā)環(huán)境中導(dǎo)入。導(dǎo)入時(shí)遇到了兩個(gè)問(wèn)題。

專(zhuān)注于為中小企業(yè)提供成都網(wǎng)站設(shè)計(jì)、成都網(wǎng)站制作服務(wù),電腦端+手機(jī)端+微信端的三站合一,更高效的管理,為中小企業(yè)郎溪免費(fèi)做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動(dòng)了上千企業(yè)的穩(wěn)健成長(zhǎng)，幫助中小企業(yè)通過(guò)網(wǎng)站建設(shè)實(shí)現(xiàn)規(guī)模擴(kuò)充和轉(zhuǎn)變。

問(wèn)題一：導(dǎo)入失敗提示User hbase cannot submit applications to queue root.hbase

解決方法：

登錄到y(tǒng)arn集群管理節(jié)點(diǎn)Resource Manager機(jī)器上/etc/hadoop 路徑 ，修改fair-scheduler.xml

vi /etc/hadoop/fair-scheduler.xml，新增以下內(nèi)容（所有的Resource Manager節(jié)點(diǎn)都需要修改）,保存退出。不需要重啟集群和組件

<queue name='hbase'>
  <weight>1</weight>
  <schedulingPolicy>drf</schedulingPolicy>
  <aclSubmitApps>hdfs,hbase,hive</aclSubmitApps>
  <aclAdministerApps>hbase</aclAdministerApps>
  <minResources>100 mb,10 vcores</minResources>
  <maxResources>10240 mb,50 vcores</maxResources>
  <maxRunningApps>50</maxRunningApps> 
</queue>

問(wèn)題二：導(dǎo)入失敗，終端沒(méi)有按正常進(jìn)度走，也沒(méi)有相關(guān)錯(cuò)誤提示。

查看yarn 中的job日志發(fā)現(xiàn)如下信息

解決方法：

去系統(tǒng)下查看hbase的id為uid=482(hbase)而yarn的配置中有一項(xiàng)為“min.user.id”最小用戶(hù)id這里配置了1000。修改為300后問(wèn)題排除。

這個(gè)配置的作用是“允許的最小 Linux 用戶(hù) ID。用于阻止其他超級(jí)用戶(hù)。”

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線(xiàn)，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性?xún)r(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專(zhuān)為企業(yè)上云打造定制，能夠滿(mǎn)足用戶(hù)豐富、多元化的應(yīng)用場(chǎng)景需求。

本文標(biāo)題：使用HBase自帶的import工具導(dǎo)入數(shù)據(jù)遇到的兩個(gè)問(wèn)題-創(chuàng)新互聯(lián)
地址分享：http://chinadenli.net/article38/dihdpp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站策劃、域名注冊(cè)、小程序開(kāi)發(fā)、自適應(yīng)網(wǎng)站、Google、網(wǎng)站內(nèi)鏈

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)