在上一篇我們講到了業(yè)務(wù)人員可以用永洪產(chǎn)品的自服務(wù)數(shù)據(jù)集進(jìn)行自助式分析,那么IT管理員如何管理業(yè)務(wù)人員進(jìn)行分析呢?

某財(cái)險(xiǎn)類客戶案例
永洪的某財(cái)險(xiǎn)客戶需要業(yè)務(wù)用戶進(jìn)行自助式分析,高峰期在350并發(fā)以上,企業(yè)IT管理部希望對(duì)所有IT人員和業(yè)務(wù)人員查詢數(shù)據(jù)的數(shù)據(jù)量大小優(yōu)先級(jí)進(jìn)行管控,然后讓業(yè)務(wù)用戶進(jìn)行自助式分析。
如何設(shè)置?
因?yàn)樵撠?cái)險(xiǎn)公司已經(jīng)將數(shù)據(jù)存儲(chǔ)在了Cloudera Impala集群中。該財(cái)險(xiǎn)的IT管理部門會(huì)根據(jù)每一個(gè)用戶的數(shù)據(jù)量大小、業(yè)務(wù)類型分配隊(duì)列,并且詳細(xì)設(shè)置該隊(duì)列中的默認(rèn)查詢參數(shù),尤其是mem_limit參數(shù)和大并發(fā)數(shù),這樣可以較好的限制用戶之間的影響,為了避免惡意用戶的使用,可以限制用戶自己設(shè)置mem_limit參數(shù),盡可能得保證Impala集群的穩(wěn)定性。
1、在Impala數(shù)據(jù)庫(kù)層面,IT管理員或者DBA可以在session建立之后進(jìn)行設(shè)置。
設(shè)置隊(duì)列限制
set request_pool = queue_it;
用戶在創(chuàng)建一個(gè)數(shù)據(jù)源連接(connection)之后,可以通過(guò)set request_pool=pool_name的方式設(shè)置改session的請(qǐng)求提交的對(duì)應(yīng)的隊(duì)列。
設(shè)置大內(nèi)存使用限制
set mem_limit=10G;
設(shè)置內(nèi)存10G(單節(jié)點(diǎn)上的內(nèi)存量),impala經(jīng)常會(huì)over estimate SQL語(yǔ)句需要的資源,所以強(qiáng)烈建議在執(zhí)行SQL之前,使用 set mem_limit 限制SQL查詢的內(nèi)存消耗。
2、永洪產(chǎn)品設(shè)置
提供了在數(shù)據(jù)源連接后對(duì)session進(jìn)行設(shè)置的屬性。
針對(duì)于不同2種類的用戶,IT管理員期望根據(jù)數(shù)據(jù)量大小、業(yè)務(wù)類型設(shè)置分配的隊(duì)列。

實(shí)現(xiàn)步驟:
選擇永洪產(chǎn)品數(shù)據(jù)源,impala:

在設(shè)置好Impala數(shù)據(jù)源的基礎(chǔ)連接信息后,選擇數(shù)據(jù)源的高級(jí)屬性進(jìn)行如圖設(shè)置。
直接在隊(duì)列名設(shè)置queue_it , 并且點(diǎn)擊添加高級(jí)屬性限制mem_limit=2G。
如下所示,IT部門的數(shù)據(jù)源為Impala_it,設(shè)置如下:
企業(yè)想要實(shí)現(xiàn)數(shù)據(jù)管控,永洪Impala數(shù)據(jù)源的高級(jí)屬性了解下
財(cái)務(wù)部門的數(shù)據(jù)源Impala_finance,設(shè)置如下:
企業(yè)想要實(shí)現(xiàn)數(shù)據(jù)管控,永洪Impala數(shù)據(jù)源的高級(jí)屬性了解下
兩者存儲(chǔ)在數(shù)據(jù)源上的資源樹(shù)上,如下圖所示:
企業(yè)想要實(shí)現(xiàn)數(shù)據(jù)管控,永洪Impala數(shù)據(jù)源的高級(jí)屬性了解下
財(cái)險(xiǎn)部門的用戶(user_finance)在制作數(shù)據(jù)集時(shí)直接選擇對(duì)應(yīng)的數(shù)據(jù)源即可查詢數(shù)據(jù)。

以上就是關(guān)于永洪產(chǎn)品Impala數(shù)據(jù)源的高級(jí)屬性的使用介紹,永洪科技強(qiáng)大的產(chǎn)品功能,不僅可以幫助企業(yè)人員實(shí)現(xiàn)數(shù)據(jù)化管理,也讓更多業(yè)務(wù)人員能夠進(jìn)行自助式分析查詢。關(guān)于永洪產(chǎn)品的功能介紹,我們將持續(xù)更新。想體驗(yàn)永洪科技數(shù)據(jù)分析強(qiáng)大的功能,可以下載Yonghong Desktop進(jìn)行一鍵安裝體驗(yàn)。
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn,海內(nèi)外云服務(wù)器15元起步,三天無(wú)理由+7*72小時(shí)售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì),專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。
分享題目:數(shù)字化轉(zhuǎn)型大勢(shì)下,企業(yè)如何實(shí)現(xiàn)數(shù)據(jù)管控?-創(chuàng)新互聯(lián)
分享鏈接:http://chinadenli.net/article12/diicgc.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供軟件開(kāi)發(fā)、App開(kāi)發(fā)、營(yíng)銷型網(wǎng)站建設(shè)、網(wǎng)站設(shè)計(jì)、網(wǎng)站改版、關(guān)鍵詞優(yōu)化
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容