本篇文章給大家分享的是有關zeppelin中怎么配置 spark，小編覺得挺實用的，因此分享給大家學習，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

成都網站建設哪家好，找創(chuàng)新互聯公司！專注于網頁設計、成都網站建設公司、微信開發(fā)、小程序開發(fā)、集團企業(yè)網站設計等服務項目。核心團隊均擁有互聯網行業(yè)多年經驗，服務眾多知名企業(yè)客戶；涵蓋的客戶類型包括：紗窗等眾多領域，積累了大量豐富的經驗，同時也獲得了客戶的一致贊揚！

修改zeppelin 配置文件

在zeppelin-env.sh中添加spark路徑和hadoop配置文件路徑

export SPARK_HOME=/usr/lib/spark
export HADOOP_CONF_DIR=/usr/lib/hadoop

修改spark interpreter參數

master 可以為：

local[*] in local mode
spark://master:7077 in standalone cluster
yarn-client in Yarn client mode
yarn-cluster in Yarn cluster mode
mesos://host:5050 in Mesos cluster

我這里是 spark on yarn 所以我配置的 master 為yarn，提交模式為 cluster，我設置為 client 的時候運行任務一直卡著不動

排錯

我這里是在docker里搭建的，中間還報了其它的錯

java.lang.RuntimeException: org.apache.zeppelin.interpreter.InterpreterException: org.apache.thrift.transport.TTransportException: java.net.ConnectException: Connection refused

后來發(fā)現是AM無法實例化的原因

host -i

發(fā)現docker 里是一個虛擬ip

解決方法：

啟動docker時指定網絡連接方式

host模式 ：

docker run 使用 --net=host指定

docker使用的網絡實際上和宿主機一樣

以上就是zeppelin中怎么配置 spark，小編相信有部分知識點可能是我們日常工作會見到或用到的。希望你能通過這篇文章學到更多知識。更多詳情敬請關注創(chuàng)新互聯行業(yè)資訊頻道。

文章名稱：zeppelin中怎么配置spark
轉載源于：http://chinadenli.net/article22/jggjcc.html

成都網站建設公司_創(chuàng)新互聯，為您提供動態(tài)網站、企業(yè)網站制作、手機網站建設、網站設計、外貿網站建設、網站改版

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯