如何分析Apache Spark數(shù)據(jù)建模中的時(shí)間維度，很多新手對(duì)此不是很清楚，為了幫助大家解決這個(gè)難題，下面小編將為大家詳細(xì)講解，有這方面需求的人可以來(lái)學(xué)習(xí)下，希望你能有所收獲。

10年積累的網(wǎng)站建設(shè)、做網(wǎng)站經(jīng)驗(yàn)，可以快速應(yīng)對(duì)客戶對(duì)網(wǎng)站的新想法和需求。提供各種問(wèn)題對(duì)應(yīng)的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡(luò)服務(wù)。我雖然不認(rèn)識(shí)你，你也不認(rèn)識(shí)我。但先制作網(wǎng)站后付款的網(wǎng)站建設(shè)流程，更有岳陽(yáng)樓免費(fèi)網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。

數(shù)據(jù)建模是數(shù)據(jù)分析重要的組成之一，正確的建立模型有助于用戶更好地解答業(yè)務(wù)相關(guān)的問(wèn)題。在過(guò)去幾十年中，數(shù)據(jù)建模技術(shù)也一直是SQL數(shù)據(jù)倉(cāng)庫(kù)的基礎(chǔ)。

Apache Spark作為新一代的數(shù)倉(cāng)技術(shù)的代表，我們能夠在 Spark 中使用早期的數(shù)據(jù)建模技術(shù)。這使得Spark data pineline 更加有效。下面我將討論spark中不同的數(shù)據(jù)建模。

多個(gè)日期列

單一日期列在許多數(shù)據(jù)集中很常見(jiàn)。有些數(shù)據(jù)集可能需要針對(duì)多個(gè)日期列分析數(shù)據(jù)。那么在之前的文章中所討論的策略是不夠的。因此，我們需要擴(kuò)展日期維度邏輯來(lái)容納多個(gè)日期列。

將發(fā)行日期添加到股票數(shù)據(jù)

下面的代碼向股票數(shù)據(jù)添加了一個(gè)名為issue_date的日期列，以模擬多個(gè)日期的場(chǎng)景。

val appleStockDfWithIssueDate = appleStockDf.      withColumn("issue_date",add_months(appleStockDf("Date"),-12))

現(xiàn)在，如果用戶希望根據(jù)表示交易日期的日期列和表示給定股票何時(shí)發(fā)行的發(fā)布日期列進(jìn)行分析，那么我們需要使用多個(gè)日期維。

帶有新前綴的日期維度

為了分析多個(gè)日期，我們需要多次連接日期維度。我們需要使用不同前綴的數(shù)據(jù)維來(lái)創(chuàng)建視圖，這樣我們就可以完成相同的工作。

val issueDateSchema = StructType(dateDf.schema.fields.map(value =>value.copy(name = "issue_"+value.name)))
val issueDf = sparkSession.createDataFrame(dateDf.rdd, issueDateSchema)

在上面的代碼中，我們創(chuàng)建了一個(gè)名為issueDf的新df，它為所有列添加了一個(gè)名為issue的前綴，表示將這個(gè)日期維度組合為issue_date。

三路join

一旦我們準(zhǔn)備好了新的日期維度，現(xiàn)在我們就可以連接股票數(shù)據(jù)中的兩個(gè)日期了。

val twoJoinDf = appleStockDfWithIssueDate.join(dateDf, appleStockDfWithIssueDate.col("Date") ===       dateDf.col("full_date_formatted"))             .join(issueDf, appleStockDfWithIssueDate.col("issue_date") === issueDf.col("issue_full_date_formatted"))

發(fā)行日期分析

一旦我們做了連接，我們可以分析發(fā)行日期如下

twoJoinDf.groupBy("issue_year","issue_quarter").      avg("Close").            sort("issue_year","issue_quarter")              .show()

看完上述內(nèi)容是否對(duì)您有幫助呢？如果還想對(duì)相關(guān)知識(shí)有進(jìn)一步的了解或閱讀更多相關(guān)文章，請(qǐng)關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝您對(duì)創(chuàng)新互聯(lián)的支持。

新聞名稱：如何分析ApacheSpark數(shù)據(jù)建模中的時(shí)間維度
文章鏈接：http://chinadenli.net/article2/gieeoc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站改版、、軟件開(kāi)發(fā)、微信公眾號(hào)、電子商務(wù)、網(wǎng)站導(dǎo)航

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)