問題描述:

集群
192.168.22.178 master1
192.168.22.179 master2
192.168.22.40 data1&zk&kafka&es
192.168.22.69 data2&zk&kafka&es
192.168.22.177 data3&kafka&es
192.168.22.180 data4
主機192.168.22.40和192.168.22.177是hadoop集群的datanode同時也是hbase的regionserver,數(shù)據(jù)存放在/data和/data2兩個目錄,兩個目錄所掛載的磁盤因為異常情況丟失了,集群出現(xiàn)異常,不能正常提供服務(wù)。
恢復步驟:
1、等待云主機恢復狀態(tài),磁盤重新申請格式化掛載。
3、重建zk、kafka、es集群
2、把主機192.168.22.69上的/data、/data1下的目錄拷貝到兩臺機器,之后刪除其中的log文件及數(shù)據(jù)。
3、同步j(luò)ournal數(shù)據(jù)
把主機192.168.22.69上/data/hadoop_data/journal/masters 目錄拷貝到其他兩臺機器的/data/hadoop_data/journal目錄下。
4、啟動兩臺hadoop服務(wù),切換hbase數(shù)據(jù)存放目錄
$ vim /data/hbase/conf/hbase-site.xml
<property>
<name>hbase.rootdir</name>
<value>hdfs://masters/hbase</value>
</property>
>>
<property>
<name>hbase.rootdir</name>
<value>hdfs://masters/hbase1</value>
</property>
同步配置文件到所有的集群節(jié)點
上邊的方式是徹底放棄了hbase的數(shù)據(jù),這是因為是測試環(huán)境,如果不是測試環(huán)境,數(shù)據(jù)比較重要的話,則需要另外的方式,比如下面網(wǎng)站所示的方式:
https://blog.csdn.net/anyking0520/article/details/79064967
登錄zk服務(wù)器192.168.22.40,刪除zk集群中保存的hbase表的數(shù)據(jù)信息
# cd /home/box/zookeeper-3.4.6/bin
# ./zkCli.sh
進入shell后使用下面命令刪除
rmr /hbase/table
5、關(guān)閉hadoop集群保護模式
在主節(jié)點上
$ cd /data/hadoop/bin
$ ./hadoop dfsadmin -safemode leave
6、注意啟動集群的順序
6.1、恢復啟動zookeeper集群
在主節(jié)點上
6.2、啟動hadoop集群服務(wù)
配置好hadoop集群后,啟動整個hadoop集群服務(wù)
$ cd /data/hadoop/sbin
$ ./start-all.sh
離開hadoop集群安全模式
查看hdfs集群狀態(tài)是否正常
$ cd /data/hadoop/bin
$ ./hdfs dfsadmin -report
6.3、關(guān)閉hadoop集群保護模式
6.4、配置好hbase后,啟動hbase集群
$ cd /data/hbase/bin
$ start-hbase.sh
查看hbase集群狀態(tài)是否正常
$ cd /data/hbase/bin
$ ./hbase shell
進入shell后使用status命令查看狀態(tài)
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務(wù)器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應用場景需求。
網(wǎng)站標題:開發(fā)環(huán)境hadoop&hbase集群環(huán)境磁盤丟失處理總結(jié)-創(chuàng)新互聯(lián)
分享地址:http://chinadenli.net/article48/cohdep.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站制作、網(wǎng)站收錄、ChatGPT、網(wǎng)頁設(shè)計公司、用戶體驗、網(wǎng)站改版
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容