HDFS啟用SSD存儲

1.配置HDFS的數(shù)據(jù)節(jié)點

[DISK]/hadoop/hdfs/data,[SSD]/hadoop/hdfs/ssd

十余年的舒蘭網(wǎng)站建設經(jīng)驗，針對設計、前端、開發(fā)、售后、文案、推廣等六對一服務，響應快，48小時及時工作處理。全網(wǎng)整合營銷推廣的優(yōu)勢是能夠根據(jù)用戶設備顯示端的尺寸不同，自動調(diào)整舒蘭建站的顯示方式，使網(wǎng)站能夠適用不同顯示終端，在瀏覽器中調(diào)整網(wǎng)站的寬度，無論在任何一種瀏覽器上瀏覽網(wǎng)站，都能展現(xiàn)優(yōu)雅布局與設計，從而大程度地提升瀏覽體驗。創(chuàng)新互聯(lián)建站從事“舒蘭網(wǎng)站設計”,“舒蘭網(wǎng)站推廣”以來，每個客戶項目都認真落實執(zhí)行。

在所有的數(shù)據(jù)節(jié)點上掛載ssd盤到路徑/hadoop/hdfs/ssd下
并保證/hadoop/hdfs/ssd路徑的owner為hdfs:hadoop

drwxr-x---  3 hdfs    hadoop   4096 Oct 17 19:10 /hadoop/hdfs/ssd

重啟數(shù)據(jù)節(jié)點

2. 創(chuàng)建使用ssd的hdfs路徑

hdfs dfs -mkdir /ssd

3.設置/ssd的存儲策略：ALL_SSD

hdfs storagepolicies -setStoragePolicy -path /ssd-policy ALL_SSD

HAWQ創(chuàng)建表空間

1. 創(chuàng)建文件空間配置文件，在master節(jié)點上執(zhí)行

$hawq filespace -o tpc_h_config

filespace:fs_tpc_h
fsreplica:3
dfs_url::mycluster/ssd/fs_tpc_h

2. 創(chuàng)建HDFS目錄

$hdfs dfs -mkdir /ssd
$hdfs dfs -chown gpadmin:gpadmin /ssd
$hdfs dfs -ls /

3.創(chuàng)建文件空間

$hawq filespace -c tpc_h_config

4.創(chuàng)建表空間

psql

create tablespace ts_tpc_h filespace fs_tpc_h;

5. 查看當前所有表空間

SELECT spcname AS tblspc, fsname AS filespc,
          fsedbid AS seg_dbid, fselocation AS datadir
   FROM   pg_tablespace pgts, pg_filespace pgfs,
          pg_filespace_entry pgfse
   WHERE  pgts.spcfsoid=pgfse.fsefsoid
          AND pgfse.fsefsoid=pgfs.oid
   ORDER BY tblspc, seg_dbid;

HAWQ創(chuàng)建表

1. 建表

create table region(
r_regionkey integer,
r_name char(25),
r_comment varchar(152),
r_extra char(1)
)with(appendonly=true,orientation=parquet,compresstype=snappy)
 tablespace ts_tpc_h
distributed by(r_regionkey) ;

2.查看表使用的表空間

select c.relname, d.dat2tablespace tablespace_id, d.oid database_id, c.relfilenode table_id
  from pg_database d, pg_class c, pg_namespace n
 where c.relnamespace = n.oid
   and d.datname = current_database()
   and n.nspname = 'qbyps'
   and c.relname = 'p';

SELECT pgfs.oid fs_id,pgts.oid ts_id, spcname AS tblspc, fsname AS filespc,
          fsedbid AS seg_dbid, fselocation AS datadir
   FROM   pg_tablespace pgts, pg_filespace pgfs,
          pg_filespace_entry pgfse
   WHERE  pgts.spcfsoid=pgfse.fsefsoid
          AND pgfse.fsefsoid=pgfs.oid
   ORDER BY tblspc, seg_dbid;

維護

HAWQ使用libhdfs3.so的API訪問HDFS，目前不支持存儲策略。因此，需要對寫入后的數(shù)據(jù)進行維護。

hdfs mover -p /ssd/fs_tpc_h

附錄：

存儲策略命令
列出所有存儲策略

hdfs storagepolicies -listPolicies

設置存儲策略

hdfs storagepolicies -setStoragePolicy -path <path> -policy <policy>

例如

hdfs storagepolicies -setStoragePolicy -path /tmp -policy ALL_SSD

取消存儲策略

hdfs storagepolicies -unsetStoragePolicy -path <path>

之后該目錄或者文件，以其上級的目錄為準，如果是根目錄，那么就是HOT
獲取存取策略

hdfs storagepolicies -getStoragePolicy -path <path>

網(wǎng)站欄目：ApacheHAWQ創(chuàng)建使用SSD磁盤的表
標題來源：http://chinadenli.net/article44/gohohe.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站制作、、微信公眾號、企業(yè)建站、App開發(fā)、微信小程序

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)