欧美一区二区三区老妇人-欧美做爰猛烈大尺度电-99久久夜色精品国产亚洲a-亚洲福利视频一区二区

Hive的join底層mapreduce是如何實現(xiàn)的

這篇文章主要講解了“Hive的join底層mapreduce是如何實現(xiàn)的”，文中的講解內(nèi)容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“Hive的join底層mapreduce是如何實現(xiàn)的”吧！

網(wǎng)站建設哪家好，找成都創(chuàng)新互聯(lián)公司！專注于網(wǎng)頁設計、網(wǎng)站建設、微信開發(fā)、重慶小程序開發(fā)、集團企業(yè)網(wǎng)站建設等服務項目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了河南免費建站歡迎大家使用！

   

Common Join

       如果沒開啟hive.auto.convert.join=true或者不符合MapJoin的條件，那么Hive解析器會將Join操作轉換成Common Join,在Reduce階段完成join。并且整個過程包含Map、Shuffle、Reduce階段。  

1
Map階段      

         讀取表的數(shù)據(jù)，Map輸出時候以 Join on 條件中的列為key，如果Join有多個關聯(lián)鍵，則以這些關聯(lián)鍵的組合作為key;
         Map輸出的 value 為 join 之后需要輸出或者作為條件的列；同時在value中還會包含表的 Tag 信息，用于標明此value對應的表；按照key進行排序

2
Shuffle階段      

     根據(jù)key取哈希值,并將key/value按照哈希值分發(fā)到不同的reduce中

3
Reduce階段      

      根據(jù)key的值完成join操作，并且通過Tag來識別不同表中的數(shù)據(jù)。在合并過程中，把表編號扔掉

4
舉例      

 drop table if exists wedw_dwd.user_info_df; CREATE TABLE wedw_dwd.user_info_df(  user_id    string  COMMENT '用戶id',  user_name  string  COMMENT '用戶姓名' )row format delimited fields terminated by '\t' STORED AS textfile ;  +----------+------------+--+| user_id  | user_name  |+----------+------------+--+| 1        | 小紅         || 2        | 小明         || 3        | 小花         |+----------+------------+--+
 

 drop table if exists wedw_dwd.order_info_df; CREATE TABLE wedw_dwd.order_info_df(  user_id      string  COMMENT '用戶id',  course_name  string  COMMENT '課程名稱' )row format delimited fields terminated by '\t' STORED AS textfile ;  +----------+--------------+--+| user_id  | course_name  |+----------+--------------+--+| 1        | spark        || 2        | flink        || 3        | java         |+----------+--------------+--+
 

select t1.user_id,t1.user_name,t2.course_namefromwedw_dwd.user_info_df t1join wedw_dwd.order_info_df t2on t1.user_id = t2.user_id;+----------+------------+--------------+--+| user_id  | user_name  | course_name  |+----------+------------+--------------+--+| 1        | 小紅         | spark        || 2        | 小明         | flink        || 3        | 小花         | java         |+----------+------------+--------------+--+
 

圖解：(在合并過程中，把表編號扔掉)

Hive的join底層mapreduce是如何實現(xiàn)的


感謝各位的閱讀，以上就是“Hive的join底層mapreduce是如何實現(xiàn)的”的內(nèi)容了，經(jīng)過本文的學習后，相信大家對Hive的join底層mapreduce是如何實現(xiàn)的這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關知識點的文章，歡迎關注！

分享名稱：Hive的join底層mapreduce是如何實現(xiàn)的
轉載注明：http://chinadenli.net/article28/ipdpcp.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供域名注冊、ChatGPT、面包屑導航、響應式網(wǎng)站、搜索引擎優(yōu)化、

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉載內(nèi)容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)

手機網(wǎng)站建設