社區(qū)提供的讀寫分離架構(gòu)圖如下：
通過架構(gòu)圖可以看到Kylin會訪問兩個集群的HDFS，建議兩個集群的NameService務(wù)必不能相同，尤其是集群啟用NameNode HA時，相同的NameService會導(dǎo)致組件在跨集群訪問HDFS時因無法區(qū)分NameService而出現(xiàn)問題。

成都創(chuàng)新互聯(lián)公司專注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù)，包含不限于成都網(wǎng)站制作、網(wǎng)站建設(shè)、外貿(mào)網(wǎng)站建設(shè)、衡水網(wǎng)絡(luò)推廣、小程序制作、衡水網(wǎng)絡(luò)營銷、衡水企業(yè)策劃、衡水品牌公關(guān)、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運(yùn)營等，從售前售中售后，我們都將竭誠為您服務(wù)，您的肯定，是我們最大的嘉獎；成都創(chuàng)新互聯(lián)公司為所有大學(xué)生創(chuàng)業(yè)者提供衡水建站搭建服務(wù)，24小時服務(wù)熱線：18982081108，官方網(wǎng)址：chinadenli.net

兩個集群：
cluster1(hive集群):hdfs.hive,yarn,zookeeper,mr
cluster2(hbase集群):hdfs,hbase,zookeeper,yarn,kylin
首先配一個KYLIN_HOME，配到KYLIN的主目錄
我們的kylin安裝在cluster2上，只要在cluster2上面配置環(huán)境變量就可以了。
在cluster2上要配置很多cluster1的hadoo參數(shù)
我單獨(dú)創(chuàng)建一個目錄放在$KYLIN_HOME下，叫hadoop_conf，里面需要有這些文件

下面解釋一下哪些用cluster1的參數(shù)，哪些文件用cluster2的參數(shù).。如果用cluster1的參數(shù)，直接從cluster1拷貝過來就行了。
這些文件都在$KYLIN/HOME/hadoop_conf這個目錄下
core-site.xml----cluster1 這個里面配置了hdfs的地址
hbase-site.xml---cluster2
hdfs-site.xml----cluster2 這個里面配置了nameservice的參數(shù)，沒有它無法解析nameservice
hive--site.xml---cluster1
mapred-site.xml--cluster1

我們用kylin用戶去啟動及服務(wù)，所以配置一下kylin用戶環(huán)境變量，修改 ~/.bashrc 這個文件
添加上這些
export HBASE_CONF_DIR=$KYLIN/HOME_hadoop_conf
export HIVE_CONF=$KYLIN/HOME_hadoop_conf
export HADOOP_CONF_DIR=$KYLIN_HOME/hadoop_conf
!!!!!!!!!!!!!!
export HBASE_CONF_DIR=$KYLIN_HOMEhadoop_conf
這個HBASE_CONF_DIR很重要，因?yàn)閗ylin是用過HBASE去讀取hdfs--site和core-site.xml這兩個文件從而讀取HDFS的環(huán)境變量的，不加的話默認(rèn)會讀CDH目錄下HBASE的配置，我因?yàn)檫@個東西卡了好幾天，加了好幾天班才發(fā)現(xiàn)。好想哭。。。。而KYLIN官方根本沒有寫，坑爹啊。。
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

配置conf/kylin.properties和tomcat/conf/server.xml
conf/kylin.properties根據(jù)自己需要去配置，主要配置下hive和hbase的相關(guān)參數(shù)，
tomcat/conf/server.xml主要有2個地方需要注意：
1.keystore
<Connector port="7443" protocol="org.apache.coyote.http11.Http11Protocol"
maxThreads="150" SSLEnabled="true" scheme="https" secure="true"
keystoreFile="conf/.keystore" keystorePass="changeit"
clientAuth="false" sslProtocol="TLS" />
需要去生成相應(yīng)的keystore文件，或者直接把這段注釋掉

2.我在測試環(huán)境上沒有修改這個可以正常運(yùn)行，在生產(chǎn)機(jī)部署的時候，打開前端的ui,出現(xiàn)無法加載models，配置，和環(huán)境變量的問題，同時會在前臺彈出“failed to take actions”的提示
經(jīng)過好幾天的查找，發(fā)現(xiàn)是前端獲取資源在解壓縮的時候出現(xiàn)問題，把壓縮關(guān)掉
在
<Connector port="7070" protocol="HTTP/1.1"
connectionTimeout="20000"
redirectPort="7443"
compression="on"
compressionMinSize="2048"
noCompressionUserAgents="gozilla,traviata"
compressableMimeType="text/html,text/xml,text/javascript,application/javascript,application/json,text/css,text/plain"
/>中
把compression="on"改為 compression="off"

修改KYLIN_HOME/conf/kylin.perproties，

kylin.source.hive.client=beeline

##jdbc的url改為cluster1的hive地址
kylin.source.hive.beeline-params=-n root --hiveconf hive.security.authorization.sqlstd.confwhitelist.append='mapreduce.job.|dfs.' -u jdbc:hive2://stream3:25002

##改為cluster2的hdfs地址
kylin.storage.hbase.cluster-fs=hdfs://stream-master1:8020

另外我在build任務(wù)過程中第16步失敗，原因是分配資源不夠，在KYLIN_HOIME/conf/kylin_job_conf.xml中添加一下mapreduce.map.memory.mb和mapreduce.reduce.memory.mb的這兩個參數(shù)，把值配大一點(diǎn)就好了。

然后啟動就可以了。

文章標(biāo)題：kylin跨集群配置實(shí)現(xiàn)讀寫分離
URL地址：http://chinadenli.net/article16/jpchdg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供移動網(wǎng)站建設(shè)、搜索引擎優(yōu)化、網(wǎng)站設(shè)計(jì)、Google、自適應(yīng)網(wǎng)站、外貿(mào)建站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)