創(chuàng)建表

馬鞍山網(wǎng)站制作公司哪家好，找成都創(chuàng)新互聯(lián)公司！從網(wǎng)頁設(shè)計、網(wǎng)站建設(shè)、微信開發(fā)、APP開發(fā)、響應(yīng)式網(wǎng)站建設(shè)等網(wǎng)站項目制作，到程序開發(fā)，運營維護。成都創(chuàng)新互聯(lián)公司公司2013年成立到現(xiàn)在10年的時間，我們擁有了豐富的建站經(jīng)驗和運維經(jīng)驗，來保證我們的工作的順利進行。專注于網(wǎng)站建設(shè)就選成都創(chuàng)新互聯(lián)公司。

create [external<外聯(lián)>] table log_app_web (log map<string,string>) partitioned by (year int,month int,day int) 

ROW FORMAT DELIMITED COLLECTION ITEMS TERMINATED BY '\t' 

MAP KEYS TERMINATED BY '=' STORED AS ORC;

表名：log_app_web

字段：Map類型字段 log

分區(qū)：根據(jù)年，月，日 進行分區(qū) year ,month ,day

分割使用 '\t'

MAP中的KV使用 '=’

數(shù)據(jù)文件存儲為ORCFILE格式

根據(jù)日期范圍查詢時使用將分期時間轉(zhuǎn)換成日期的string進行范圍查詢

 concat_ws('-',cast(year as string),lpad(cast(month as string),2,'0'), lpad(cast(day as string),2,'0')) >= '"+format.format(StartDay)+"' 

類似于 yyyy-MM-dd >= '2016-04-28'

以上是個比較另類的方式 

下面來說下 分區(qū) 轉(zhuǎn)載他人的

一、背景

1、在Hive Select查詢中一般會掃描整個表內(nèi)容，會消耗很多時間做沒必要的工作。有時候只需要掃描表中關(guān)心的一部分數(shù)據(jù)，因此建表時引入了partition概念。

2、分區(qū)表指的是在創(chuàng)建表時指定的partition的分區(qū)空間。

3、如果需要創(chuàng)建有分區(qū)的表，需要在create表的時候調(diào)用可選參數(shù)partitioned by，詳見表創(chuàng)建的語法結(jié)構(gòu)。

二、技術(shù)細節(jié)

1、一個表可以擁有一個或者多個分區(qū)，每個分區(qū)以文件夾的形式單獨存在表文件夾的目錄下。

2、表和列名不區(qū)分大小寫。

3、分區(qū)是以字段的形式在表結(jié)構(gòu)中存在，通過describe table命令可以查看到字段存在，但是該字段不存放實際的數(shù)據(jù)內(nèi)容，僅僅是分區(qū)的表示。

4、建表的語法（建分區(qū)可參見PARTITIONED BY參數(shù)）：

CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] [CLUSTERED BY (col_name, col_name, ...) [SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS] [ROW FORMAT row_format] [STORED AS file_format] [LOCATION hdfs_path]

5、分區(qū)建表分為2種，一種是單分區(qū)，也就是說在表文件夾目錄下只有一級文件夾目錄。另外一種是多分區(qū)，表文件夾下出現(xiàn)多文件夾嵌套模式。

a、單分區(qū)建表語句：create table day_table (id int, content string) partitioned by (dt string);單分區(qū)表，按天分區(qū)，在表結(jié)構(gòu)中存在id，content，dt三列。

b、雙分區(qū)建表語句：create table day_hour_table (id int, content string) partitioned by (dt string, hour string);雙分區(qū)表，按天和小時分區(qū)，在表結(jié)構(gòu)中新增加了dt和hour兩列。

 

表文件夾目錄示意圖（多分區(qū)表）：

6、添加分區(qū)表語法（表已創(chuàng)建，在此基礎(chǔ)上添加分區(qū)）：

ALTER TABLE table_name ADD partition_spec [ LOCATION 'location1' ] partition_spec [ LOCATION 'location2' ] ... partition_spec: : PARTITION (partition_col = partition_col_value, partition_col = partiton_col_value, ...)

用戶可以用 ALTER TABLE ADD PARTITION 來向一個表中增加分區(qū)。當分區(qū)名是字符串時加引號。例：

ALTER TABLE day_table ADD PARTITION (dt='2008-08-08', hour='08') location '/path/pv1.txt' PARTITION (dt='2008-08-08', hour='09') location '/path/pv2.txt';

7、刪除分區(qū)語法：

ALTER TABLE table_name DROP partition_spec, partition_spec,...

用戶可以用 ALTER TABLE DROP PARTITION 來刪除分區(qū)。分區(qū)的元數(shù)據(jù)和數(shù)據(jù)將被一并刪除。例：

ALTER TABLE day_hour_table DROP PARTITION (dt='2008-08-08', hour='09');

8、數(shù)據(jù)加載進分區(qū)表中語法：

LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]

例：

LOAD DATA INPATH '/user/pv.txt' INTO TABLE day_hour_table PARTITION(dt='2008-08- 08', hour='08'); LOAD DATA local INPATH '/user/hua/*' INTO TABLE day_hour partition(dt='2010-07- 07');

當數(shù)據(jù)被加載至表中時，不會對數(shù)據(jù)進行任何轉(zhuǎn)換。Load操作只是將數(shù)據(jù)復制至Hive表對應(yīng)的位置。數(shù)據(jù)加載時在表下自動創(chuàng)建一個目錄，文件存放在該分區(qū)下。

9、基于分區(qū)的查詢的語句：

SELECT day_table.* FROM day_table WHERE day_table.dt>= '2008-08-08';

10、查看分區(qū)語句：

hive> show partitions day_hour_table; OK dt=2008-08-08/hour=08 dt=2008-08-08/hour=09 dt=2008-08-09/hour=09

三、總結(jié)

1、在 Hive 中，表中的一個 Partition 對應(yīng)于表下的一個目錄，所有的 Partition 的數(shù)據(jù)都存儲在最字集的目錄中。

2、總的說來partition就是輔助查詢，縮小查詢范圍，加快數(shù)據(jù)的檢索速度和對數(shù)據(jù)按照一定的規(guī)格和條件進行管理。

這種比較常見

網(wǎng)頁題目：hive分區(qū)時分別使用年,月,日來進行分區(qū)
標題來源：http://chinadenli.net/article14/jhgjge.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信公眾號、電子商務(wù)、外貿(mào)建站、App開發(fā)、域名注冊、自適應(yīng)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)