本篇內(nèi)容介紹了“Spark Sql的安裝過程”的有關(guān)知識，在實(shí)際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

創(chuàng)新互聯(lián)公司主營港南網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營網(wǎng)站建設(shè)方案,重慶App定制開發(fā),港南h5微信小程序開發(fā)搭建,港南網(wǎng)站營銷推廣歡迎港南等地區(qū)企業(yè)咨詢

一、啟動zk、啟動hdfs集群、啟動hive服務(wù)（hive  --service  metastore）

二、修改spark中conf下的hive-site.xml配置文件（就和hive的client的配置文件相同）

    注：這里配置文件只需要修改一臺主機(jī)就可以了，這里相當(dāng)于client

三、啟動spark集群

四、啟動spark sql(./bin/spark-sql --master spark://node11:7077 --executor-memory 512m)

    注：配置文件spark-env.sh中如果配置的是ip 那么命令就需要用ip，如果配置文件中配置的是主機(jī)名，那么命令就要用主機(jī)名；

SparkSQL thrift server環(huán)境搭建

1、hive-site.xml 中添加配置

<property>

<name>hive.server2.thrift.min.worker.threads</name>

<value>5</value>

<description>Minimum number of Thrift worker threads</description>

</property>

<property>

<name>hive.server2.thrift.max.worker.threads</name>

<value>500</value>

<description>Maximum number of Thrift worker threads</description>

</property>

<property>

<name>hive.server2.thrift.port</name>

<value>10000</value>

<description>Port number of HiveServer2 Thrift interface. Can be overridden by setting $HIVE_SERVER2_THRIFT_PORT</description>

</property>

<property>

<name>hive.server2.thrift.bind.host</name>

<value>node12</value><!--  這里就是當(dāng)前主機(jī)名 -->

<description>Bind host on which to run the HiveServer2 Thrift interface.Can be overridden by setting$HIVE_SERVER2_THRIFT_BIND_HOST</description>

</property>

二、啟動spark thrift server

./sbin/start-thriftserver.sh --master spark://192.168.57.4:7077 --executor-memory 512M

三、啟動以后可以通過bin目錄下beeline訪問

./bin/beeline

!connect  jdbc:hive2://node12:10000

注：這樣可以進(jìn)入sparksql控制臺，但是不能查詢，報錯，需要將hdfs集群中core-site.xml 和 hdfs-site.xml拷貝到spark中conf下（每個spark集群節(jié)點(diǎn)都要拷貝）

“Spark Sql的安裝過程”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！

網(wǎng)頁名稱：SparkSql的安裝過程
標(biāo)題路徑：http://chinadenli.net/article36/ihsspg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供App開發(fā)、商城網(wǎng)站、靜態(tài)網(wǎng)站、外貿(mào)網(wǎng)站建設(shè)、移動網(wǎng)站建設(shè)、企業(yè)建站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)