本篇內(nèi)容介紹了“如何解決HBase-Spark無(wú)法在Spark2編譯通過(guò)的問(wèn)題”的有關(guān)知識(shí)，在實(shí)際案例的操作過(guò)程中，不少人都會(huì)遇到這樣的困境，接下來(lái)就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

雁山ssl適用于網(wǎng)站、小程序/APP、API接口等需要進(jìn)行數(shù)據(jù)傳輸應(yīng)用場(chǎng)景，ssl證書未來(lái)市場(chǎng)廣闊！成為創(chuàng)新互聯(lián)建站的ssl證書銷售渠道，可以享受市場(chǎng)價(jià)格4-6折優(yōu)惠！如果有意向歡迎電話聯(lián)系或者加微信：18982081108（備注：SSL證書合作）期待與您的合作！

在Spark2代碼中使用hbase-spark依賴包訪問(wèn)HBase時(shí)，編寫的代碼無(wú)法完成編譯，在編譯的過(guò)程中提示如下錯(cuò)誤：

Error:scalac: missing or invalid dependency detected while loading class file 'HBaseContext.class'.?
Could not access type Logging in package org.apache.spark,?
because it (or its dependencies) are missing. Check your build definition for?
missing or conflicting dependencies. (Re-run with `-Ylog-classpath` to see the problematic classpath.)?
A full rebuild may help if 'HBaseContext.class' was compiled against an incompatible version of org.apache.spark.

運(yùn)行工程編譯命令時(shí)提示“Could not access type Logging in package org.apache.spark”

經(jīng)過(guò)查看資料找到HBase官網(wǎng)的一個(gè)JIRA，地址：

https://issues.apache.org/jira/browse/HBASE-16428

JIRA中找到在代碼中引用了HBaseContext時(shí)，使用Spark2編譯Spark應(yīng)用程序?qū)?huì)失敗，因?yàn)镠BaseContext模塊引用了org.apache.spark.Logging。在Spark2中，由于Logging被移動(dòng)到一個(gè)私有的包下導(dǎo)致。同樣也有Spark2的一個(gè)JIRA說(shuō)明該問(wèn)題：

https://issues.apache.org/jira/browse/SPARK-13928

為了完成編譯，這里Fayson使用如下做法解決該問(wèn)題：

1.在自己的工程下創(chuàng)建一個(gè)org.apache.spark的包

2.在org.apache.spark包下創(chuàng)建一個(gè)Trait類型的Logging.scala類型，該類的內(nèi)容通過(guò)Spark2源碼找到

將spark-core工程下org.apache.spark.internal.Logging類內(nèi)容拷貝至我們工程下創(chuàng)建的org.apache.spark.Logging類中。

4.完成上述操作后，再次執(zhí)行編譯，可以正常的完成編譯

1.通過(guò)異常分析，由于Logging類在Spark2中私有化了，那在自己的工程中創(chuàng)建重寫一個(gè)Logging類方式解決該問(wèn)題。

2.Logging類的內(nèi)容要確保與對(duì)應(yīng)Spark2版本代碼一致，避免造成一些莫名其妙的問(wèn)題。

“如何解決HBase-Spark無(wú)法在Spark2編譯通過(guò)的問(wèn)題”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！

文章名稱：如何解決HBase-Spark無(wú)法在Spark2編譯通過(guò)的問(wèn)題
當(dāng)前路徑：http://chinadenli.net/article4/pddioe.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供營(yíng)銷型網(wǎng)站建設(shè)、響應(yīng)式網(wǎng)站、定制開(kāi)發(fā)、網(wǎng)站設(shè)計(jì)公司、用戶體驗(yàn)、標(biāo)簽優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)