小編給大家分享一下如何解決Hadoop文件系統(tǒng)多次關(guān)閉的問題，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

為綏棱等地區(qū)用戶提供了全套網(wǎng)頁設(shè)計制作服務(wù)，及綏棱網(wǎng)站建設(shè)行業(yè)解決方案。主營業(yè)務(wù)為成都網(wǎng)站設(shè)計、網(wǎng)站制作、綏棱網(wǎng)站設(shè)計，以傳統(tǒng)方式定制建設(shè)網(wǎng)站，并提供域名空間備案等一條龍服務(wù)，秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務(wù)。我們深信只要達(dá)到每一位用戶的要求，就會得到認(rèn)可，從而選擇與我們長期合作。這樣，我們也可以走得更遠(yuǎn)！

今天我犯了一個BUG。在我讀寫文件的時候，Hadoop拋異常說文件系統(tǒng)已經(jīng)關(guān)閉。

2013-05-20 17:39:00,153 ERROR com.sunchangming.searchlog.CopyAppLogs: err on 2013051918_api_access_65.gz 
java.io.IOException: Filesystem closed 
at org.apache.hadoop.hdfs.DFSClient.checkOpen(DFSClient.java:319) 
at org.apache.hadoop.hdfs.DFSClient.getFileInfo(DFSClient.java:1026) 
at org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:524) 
at org.apache.hadoop.fs.FileSystem.exists(FileSystem.java:768) 
at com.sunchangming.searchlog.CopyAppLogs.copyFile(CopyAppLogs.java:51) 
at com.sunchangming.searchlog.CopyAppLogs.access$000(CopyAppLogs.java:18) 
at com.sunchangming.searchlog.CopyAppLogs$1.run(CopyAppLogs.java:194) 
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471) 
at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:334) 
at java.util.concurrent.FutureTask.run(FutureTask.java:166) 
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) 
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 
at java.lang.Thread.run(Thread.java:722)

然后我就查，為什么呢。我剛剛用final FileSystem dfs = FileSystem.get(getConf()); 得到它啊。

后來發(fā)現(xiàn)，我是一個多線程的程序。FileSystem.get(getConf())返回的可能是一個cache中的結(jié)果，它并不是每次都創(chuàng)建一個新的實例。這就意味著，如果每個線程都自己去get一個文件系統(tǒng)，然后使用，然后關(guān)閉，就會有問題。因為你們關(guān)閉的可能是同一個對象。而別人還在用它！

所以***是在main函數(shù)中就創(chuàng)建好filesystem對象然后在不同函數(shù)之間來回傳遞吧。在main函數(shù)用用try…finally關(guān)閉它。

多線程程序中，如果你確保在你的get和close之間不會有別人調(diào)用get，也沒問題。

以上是“如何解決Hadoop文件系統(tǒng)多次關(guān)閉的問題”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學(xué)習(xí)更多知識，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！

本文名稱：如何解決Hadoop文件系統(tǒng)多次關(guān)閉的問題
URL鏈接：http://chinadenli.net/article10/pgpigo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供動態(tài)網(wǎng)站、網(wǎng)站策劃、面包屑導(dǎo)航、ChatGPT、建站公司、網(wǎng)站改版

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)