這篇文章主要介紹了數(shù)據(jù)庫中為什么要對(duì)數(shù)據(jù)倉庫分層,具有一定借鑒價(jià)值,感興趣的朋友可以參考下,希望大家閱讀完這篇文章之后大有收獲,下面讓小編帶著大家一起了解一下。
江華ssl適用于網(wǎng)站、小程序/APP、API接口等需要進(jìn)行數(shù)據(jù)傳輸應(yīng)用場(chǎng)景,ssl證書未來市場(chǎng)廣闊!成為創(chuàng)新互聯(lián)的ssl證書銷售渠道,可以享受市場(chǎng)價(jià)格4-6折優(yōu)惠!如果有意向歡迎電話聯(lián)系或者加微信:13518219792(備注:SSL證書合作)期待與您的合作!
為什么要對(duì)數(shù)據(jù)倉庫分層:
a)用空間換時(shí)間,通過大量的預(yù)處理來提升應(yīng)用系統(tǒng)的用戶體驗(yàn)(效率),因此數(shù)據(jù)倉庫會(huì)存在大量冗余的數(shù)據(jù);
b)如果不分層的話,如果源業(yè)務(wù)系統(tǒng)的業(yè)務(wù)規(guī)則發(fā)生變化將會(huì)影響整個(gè)數(shù)據(jù)清洗過程,工作量巨大
c)通過數(shù)據(jù)分層管理可以簡(jiǎn)化數(shù)據(jù)清洗的過程,因?yàn)榘言瓉硪徊降墓ぷ鞣值搅硕鄠€(gè)步驟去完成,相當(dāng)于把一個(gè)復(fù)雜的工作拆成了多個(gè)簡(jiǎn)單的工作,把一個(gè)大的黑盒變成了一個(gè)白盒,每一層的處理邏輯都相對(duì)簡(jiǎn)單和容易理解,這樣我們比較容易保證每一個(gè)步驟的正確性,當(dāng)數(shù)據(jù)發(fā)生錯(cuò)誤的時(shí)候,往往我們只需要局部調(diào)整某個(gè)步驟即可。
數(shù)據(jù)倉庫標(biāo)準(zhǔn)上可以分為四層:ODS(臨時(shí)存儲(chǔ)層)、PDW(數(shù)據(jù)倉庫層)、MID(數(shù)據(jù)集市層)、APP(應(yīng)用層)
ODS層:
為臨時(shí)存儲(chǔ)層,是接口數(shù)據(jù)的臨時(shí)存儲(chǔ)區(qū)域,為后一步的數(shù)據(jù)處理做準(zhǔn)備。一般來說ODS層的數(shù)據(jù)和源系統(tǒng)的數(shù)據(jù)是同構(gòu)的,主要目的是簡(jiǎn)化后續(xù)數(shù)據(jù)加工處理的工作。從數(shù)據(jù)粒度上來說ODS層的數(shù)據(jù)粒度是最細(xì)的。ODS層的表通常包括兩類,一個(gè)用于存儲(chǔ)當(dāng)前需要加載的數(shù)據(jù),一個(gè)用于存儲(chǔ)處理完后的歷史數(shù)據(jù)。歷史數(shù)據(jù)一般保存3-6個(gè)月后需要清除,以節(jié)省空間。但不同的項(xiàng)目要區(qū)別對(duì)待,如果源系統(tǒng)的數(shù)據(jù)量不大,可以保留更長(zhǎng)的時(shí)間,甚至全量保存;
PDW層:
為數(shù)據(jù)倉庫層,PDW層的數(shù)據(jù)應(yīng)該是一致的、準(zhǔn)確的、干凈的數(shù)據(jù),即對(duì)源系統(tǒng)數(shù)據(jù)進(jìn)行了清洗(去除了雜質(zhì))后的數(shù)據(jù)。這一層的數(shù)據(jù)一般是遵循數(shù)據(jù)庫第三范式的,其數(shù)據(jù)粒度通常和ODS的粒度相同。在PDW層會(huì)保存BI系統(tǒng)中所有的歷史數(shù)據(jù),例如保存10年的數(shù)據(jù)。
MID層:
為數(shù)據(jù)集市層,這層數(shù)據(jù)是面向主題來組織數(shù)據(jù)的,通常是星形或雪花結(jié)構(gòu)的數(shù)據(jù)。從數(shù)據(jù)粒度來說,這層的數(shù)據(jù)是輕度匯總級(jí)的數(shù)據(jù),已經(jīng)不存在明細(xì)數(shù)據(jù)了。從數(shù)據(jù)的時(shí)間跨度來說,通常是PDW層的一部分,主要的目的是為了滿足用戶分析的需求,而從分析的角度來說,用戶通常只需要分析近幾年(如近三年的數(shù)據(jù))的即可。從數(shù)據(jù)的廣度來說,仍然覆蓋了所有業(yè)務(wù)數(shù)據(jù)。
APP層:
為應(yīng)用層,這層數(shù)據(jù)是完全為了滿足具體的分析需求而構(gòu)建的數(shù)據(jù),也是星形或雪花結(jié)構(gòu)的數(shù)據(jù)。從數(shù)據(jù)粒度來說是高度匯總的數(shù)據(jù)。從數(shù)據(jù)的廣度來說,則并不一定會(huì)覆蓋所有業(yè)務(wù)數(shù)據(jù),而是MID層數(shù)據(jù)的一個(gè)真子集,從某種意義上來說是MID層數(shù)據(jù)的一個(gè)重復(fù)。從極端情況來說,可以為每一張報(bào)表在APP層構(gòu)建一個(gè)模型來支持,達(dá)到以空間換時(shí)間的目的數(shù)據(jù)倉庫的標(biāo)準(zhǔn)分層只是一個(gè)建議性質(zhì)的標(biāo)準(zhǔn),實(shí)際實(shí)施時(shí)需要根據(jù)實(shí)際情況確定數(shù)據(jù)倉庫的分層,不同類型的數(shù)據(jù)也可能采取不同的分層方法。
---【補(bǔ)充】
數(shù)據(jù)緩存層:
用于存放接口方提供的原始數(shù)據(jù)的數(shù)據(jù)庫層,此層的表結(jié)構(gòu)與源數(shù)據(jù)保持基本一致,數(shù)據(jù)存放時(shí)間根據(jù)數(shù)據(jù)量大小和項(xiàng)目情況而定,如果數(shù)據(jù)量較大,可以只存近期數(shù)據(jù),將歷史數(shù)據(jù)進(jìn)行備份。此層的目的在于數(shù)據(jù)的中轉(zhuǎn)和備份。
核心數(shù)據(jù)層:
此層的數(shù)據(jù)在數(shù)據(jù)緩存層的基礎(chǔ)上做了一定程度的整合,稱之為數(shù)據(jù)集市,存儲(chǔ)上仍是關(guān)系模型。此層的目的在于進(jìn)行必要的數(shù)據(jù)整合為下一步多維模型做準(zhǔn)備。
分析應(yīng)用層:
此層的數(shù)據(jù)為根據(jù)業(yè)務(wù)分析需要構(gòu)造的多維模型數(shù)據(jù)。數(shù)據(jù)可以直接用于分析展現(xiàn)。
說明:數(shù)據(jù)層次的劃分可以根據(jù)實(shí)際項(xiàng)目需要進(jìn)行裁剪,如果業(yè)務(wù)相對(duì)簡(jiǎn)單和獨(dú)立,可以將核心數(shù)據(jù)層與分析應(yīng)用層進(jìn)行合并。另外,分析應(yīng)用的數(shù)據(jù)可以來自多維模型的數(shù)據(jù),也可以來自關(guān)系模型數(shù)據(jù)甚至原始數(shù)據(jù)。
感謝你能夠認(rèn)真閱讀完這篇文章,希望小編分享的“數(shù)據(jù)庫中為什么要對(duì)數(shù)據(jù)倉庫分層”這篇文章對(duì)大家有幫助,同時(shí)也希望大家多多支持創(chuàng)新互聯(lián),關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道,更多相關(guān)知識(shí)等著你來學(xué)習(xí)!
網(wǎng)頁名稱:數(shù)據(jù)庫中為什么要對(duì)數(shù)據(jù)倉庫分層
文章位置:http://chinadenli.net/article14/gpgpde.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供云服務(wù)器、用戶體驗(yàn)、自適應(yīng)網(wǎng)站、、ChatGPT、做網(wǎng)站
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)