Presto是一個運(yùn)行在多臺服務(wù)器上的分布式系統(tǒng)。 完整安裝包括一個coordinator（調(diào)度節(jié)點）和多個worker。 由客戶端提交查詢，從Presto命令行CLI提交到coordinator。coordinator進(jìn)行解析，分析并執(zhí)行查詢計劃，然后分發(fā)處理隊列到worker中。

我們擁有十載網(wǎng)頁設(shè)計和網(wǎng)站建設(shè)經(jīng)驗，從網(wǎng)站策劃到網(wǎng)站制作，我們的網(wǎng)頁設(shè)計師為您提供的解決方案。為企業(yè)提供網(wǎng)站設(shè)計、成都網(wǎng)站設(shè)計、微信開發(fā)、微信小程序開發(fā)、成都手機(jī)網(wǎng)站制作、H5響應(yīng)式網(wǎng)站、等業(yè)務(wù)。無論您有什么樣的網(wǎng)站設(shè)計或者設(shè)計方案要求，我們都將富于創(chuàng)造性的提供專業(yè)設(shè)計服務(wù)并滿足您的需求。

目錄：

• 搭建前環(huán)境準(zhǔn)備

• 集群計劃

• 連接器

• 安裝步驟

• 配置文件

• 運(yùn)行presto

• 整合hive測試

• 整合MySQL測試

• 整合jdbc測試

1.搭建前環(huán)境準(zhǔn)備

• CentOS 6.7

• java8

• Python3.4.4

• hadoop2.6.4

2.集群計劃

• hd1(192.168.174.131) :調(diào)度節(jié)點（coordinator）

• hd2(192.168.174.132):worker節(jié)點

• hd3(192.168.174.133):worker節(jié)點

3.連接器

Presto支持從以下版本的Hadoop中讀取Hive數(shù)據(jù)：支持以下文件類型：Text, SequenceFile, RCFile, ORC

Apache Hadoop 1.x  （hive-hadoop1）

Apache Hadoop 2.x  （hive-hadoop2）

Cloudera CDH 4       （hive-cdh5）

Cloudera CDH 5       （hive-cdh6）

此外，需要有遠(yuǎn)程的Hive元數(shù)據(jù)。 不支持本地或嵌入模式。 Presto不使用MapReduce，只需要HDFS

4.單機(jī)安裝步驟

• 下載 presto-server-0.100, ( 下載地址：https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.100/presto-server-0.100.tar.gz）或者：鏈接：http://pan.baidu.com/s/1qYTvTwg 密碼：4xz6

• 將 presto-server-0.100.tar.gz 上傳至linux主機(jī)（hd1），解壓后的文件目錄結(jié)構(gòu)如下（稱為安裝目錄）：Presto需要一個用于存儲日志、本地元數(shù)據(jù)等的數(shù)據(jù)目錄。 建議在安裝目錄的外面創(chuàng)建一個數(shù)據(jù)目錄。這樣方便Presto進(jìn)行升級，如：/presto/data

5.配置文件

• 在安裝目錄中創(chuàng)建一個etc目錄， 在這個etc目錄中放入以下配置文件：

1. config.properties ：Presto服務(wù)配置

2. node.properties ：環(huán)境變量配置，每個節(jié)點特定配置

3. jvm.config ：Java虛擬機(jī)的命令行選項

4. log.properties: 允許你根據(jù)不同的日志結(jié)構(gòu)設(shè)置不同的日志級別

5. catalog目錄 ：每個連接者配置（data sources）

• config.properties

包含了Presto server的所有配置信息。 每個Presto server既是一個coordinator也是一個worker。 但是在大型集群中，處于性能考慮，建議單獨用一臺機(jī)器作為 coordinator，一個coordinator的etc/config.properties應(yīng)該至少包含以下信息：

coordinator=true
node-scheduler.include-coordinator=false
http-server.http.port=18080
task.max-memory=1GB
discovery-server.enabled=true
discovery.uri=http://192.168.174.131:18080

1. coordinator：指定是否運(yùn)維Presto實例作為一個coordinator(接收來自客戶端的查詢情切管理每個查詢的執(zhí)行過程)

2. node-scheduler.include-coordinator：是否允許在coordinator服務(wù)中進(jìn)行調(diào)度工作,對于大型的集群，在一個節(jié)點上的Presto server即作為coordinator又作為worke將會降低查詢性能。因為如果一個服務(wù)器作為worker使用，那么大部分的資源都會被worker占用，那么就不會有足夠的資源進(jìn)行關(guān)鍵任務(wù)調(diào)度、管理和監(jiān)控查詢執(zhí)行

3. http-server.http.port：指定HTTP server的端口。Presto使用HTTP進(jìn)行內(nèi)部和外部的所有通訊

4. task.max-memory=1GB：一個單獨的任務(wù)使用的最大內(nèi)存 (一個查詢計劃的某個執(zhí)行部分會在一個特定的節(jié)點上執(zhí)行)。 這個配置參數(shù)限制的GROUP BY語句中的Group的數(shù)目、JOIN關(guān)聯(lián)中的右關(guān)聯(lián)表的大小、ORDER BY語句中的行數(shù)和一個窗口函數(shù)中處理的行數(shù)。 該參數(shù)應(yīng)該根據(jù)并發(fā)查詢的數(shù)量和查詢的復(fù)雜度進(jìn)行調(diào)整。如果該參數(shù)設(shè)置的太低，很多查詢將不能執(zhí)行；但是如果設(shè)置的太高將會導(dǎo)致JVM把內(nèi)存耗光

5. discovery-server.enabled：Presto 通過Discovery服務(wù)來找到集群中所有的節(jié)點。為了能夠找到集群中所有的節(jié)點，每一個Presto實例都會在啟動的時候?qū)⒆约鹤缘絛iscovery服務(wù)。Presto為了簡化部署，并且也不想再增加一個新的服務(wù)進(jìn)程，Presto coordinator可以運(yùn)行一個內(nèi)嵌在coordinator里面的Discovery服務(wù)。這個內(nèi)嵌的Discovery服務(wù)和Presto共享HTTP server并且使用同樣的端口

6. discovery.uri：Discovery server的URI。由于啟用了Presto coordinator內(nèi)嵌的Discovery服務(wù)，因此這個uri就是Presto coordinator的uri。注意：這個URI一定不能以“/“結(jié)尾

• node.properties

包含針對于每個節(jié)點的特定的配置信息。 一個節(jié)點就是在一臺機(jī)器上安裝的Presto實例，etc/node.properties配置文件至少包含如下配置信息

node.environment=test
node.id=bigdata_node_worker_hd1
node.data-dir=presto/data

1. node.environment： 集群名稱, 所有在同一個集群中的Presto節(jié)點必須擁有相同的集群名稱

2. node.id： 每個Presto節(jié)點的唯一標(biāo)示。每個節(jié)點的node.id都必須是唯一的。在Presto進(jìn)行重啟或者升級過程中每個節(jié)點的node.id必須保持不變。如果在一個節(jié)點上安裝多個Presto實例（例如：在同一臺機(jī)器上安裝多個Presto節(jié)點），那么每個Presto節(jié)點必須擁有唯一的node.id

3. node.data-dir： 數(shù)據(jù)存儲目錄的位置（操作系統(tǒng)上的路徑）, Presto將會把日期和數(shù)據(jù)存儲在這個目錄下

• jvm.config

包含一系列在啟動JVM的時候需要使用的命令行選項。這份配置文件的格式是：一系列的選項，每行配置一個單獨的選項。由于這些選項不在shell命令中使用。 因此即使將每個選項通過空格或者其他的分隔符分開，java程序也不會將這些選項分開，而是作為一個命令行選項處理,信息如下：

-server
-Xmx16G
-XX:+UseConcMarkSweepGC
-XX:+ExplicitGCInvokesConcurrent
-XX:+CMSClassUnloadingEnabled
-XX:+AggressiveOpts
-XX:+HeapDumpOnOutOfMemoryError
-XX:OnOutOfMemoryError=kill -9 %p
-XX:ReservedCodeCacheSize=150M

• log.properties

這個配置文件中允許你根據(jù)不同的日志結(jié)構(gòu)設(shè)置不同的日志級別。每個logger都有一個名字（通常是使用logger的類的全標(biāo)示類名）. Loggers通過名字中的“.“來表示層級和集成關(guān)系，信息如下：

com.facebook.presto=DEBUG

配置日志等級，類似于log4j。四個等級：DEBUG,INFO,WARN,ERROR

Catalog Properties

通過在etc/catalog目錄下創(chuàng)建catalog屬性文件來完成catalogs的注冊。 例如：可以先創(chuàng)建一個etc/catalog/jmx.properties文件，文件中的內(nèi)容如下，完成在jmxcatalog上掛載一個jmxconnector

connector.name=jmx

在etc/catalog目錄下創(chuàng)建hive.properties，信息如下：

connector.name=hive-hadoop2
hive.metastore.uri=thrift://192.169.168.131:9083
hive.config.resources=/root/apps/hadoop/etc/hadoop/core-site.xml,/root/apps/hadoop/etc/hadoop/hdfs-site.xml
hive.allow-drop-table=true

以上，是單機(jī)部署presto, 至此已經(jīng)完成。

6.集群安裝步驟

將hd1中的presto-server-0.100拷貝到hd2,hd3上

scp -r /root/apps/presto-server-0.100 root@hd2:/root/apps/
scp -r root/apps/presto-server-0.100 root@hd3:/root/apps/

• 修改hd2中的配置文件：

config.properties

coordinator=false
http-server.http.port=18080
task.max-memory=1GB
discovery-server.enabled=true
discovery.uri=http://192.168.174.131:18080

node.properties

node.environment=test
node.id=bigdata_node_worker_hd2
node.data-dir=presto/data

• 修改hd3中的配置文件

config.properties

coordinator=false
http-server.http.port=18080
task.max-memory=1GB
discovery-server.enabled=true
discovery.uri=http://192.168.174.131:18080

node.properties

node.environment=test
node.id=bigdata_node_worker_hd3
node.data-dir=presto/data

到此，presto集群配置完畢。

7.運(yùn)行presto

在hd1,hd2,hd3的presto-server-0.100/bin目錄下依次啟動presto:

./launcher start

在Presto可以使用如下命令作為一個后臺進(jìn)程啟動：

bin/launcher start

或者在前臺運(yùn)行, 可查看具體的日志

bin/launcher run

停止服務(wù)進(jìn)程命令

bin/laucher stop

查看服務(wù)進(jìn)程命令

bin/laucher status

查看進(jìn)程： ps -aux|grep PrestoServer  或jps

也可通過瀏覽器界面查看：http://192.168.174.131:18080

8.整合hive測試

想要查詢連接到hive中查詢數(shù)據(jù)還需要先啟動hive的metastore

啟動方式：

bin/hive --service metastore  #或者后臺啟動：
bin/hive --service metastore 2>&1 >> /var/log.log &
#后臺啟動,關(guān)閉shell連接依然存在:
nohup bin/hive --service metastore 2>&1 >> /var/log.log &

如果啟動失敗，查看hive-site.xml中是否有metastore的如下配置，若沒有，加上這段后再啟動metasotre.

<property>
  <name>hive.metastore.uris</name>
  <value>thrift://192.168.174.131:9083</value>
 </property>

然后下載 presto-cli-0.100-executable.jar：Presto CLI為用戶提供了一個用于查詢的可交互終端窗口。CLI是一個 可執(zhí)行JAR文件,這也就意味著你可以像UNIX終端窗口一樣來使用CLI，https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.100/presto-cli-0.100-executable.jar文件下載后，重名名為 presto， 使用chmod +x命令設(shè)置可執(zhí)行權(quán)限，執(zhí)行命令：

下面命令的ip和端口和config.properties中的一致

./presto --server 192.168.174.131:18080 --catalog hive --schema default --debug

在hive中查一下hive default庫中的表， 結(jié)果如下圖

在hive中查詢hive default庫中的表，如圖：

查詢user表信息：

此時界面上也會有對應(yīng)的記錄：

退出命令：quit或者exit

9.整合mysql測試

和hive類似，在hd1的etc/目錄下新建文件：mysql.properties文件

connector.name=mysql
connection-url=jdbc:mysql://192.168.174.131:3306
connection-user=root
connection-password=123456

然后將mysql.properties分貝拷貝到hd2和hd3的/etc目錄下，重新啟動PrestoServer服務(wù)。

連接測試：

./presto --server localhost:18080 --catalog mysql --schema test --debug

常用寫法：

SHOW SCHEMAS FROM mysql;#查詢數(shù)據(jù)庫列表
SHOW TABLES FROM mysql.test;#查詢指定數(shù)據(jù)庫下的數(shù)據(jù)表
SELECT * FROM mysql.test.user;查詢指定數(shù)據(jù)表數(shù)據(jù)

10.整合jdbc測試

代碼連接測試，在pom.xml中引入依賴：

<dependency>
<groupId>com.facebook.presto</groupId>
<artifactId>presto-jdbc</artifactId>
<version>0.100</version>
</dependency>

main方法測試連接：

package com.presto.test;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.Statement;
 
public class TestPrestoJdbc {
public static void main(String[] args) throws Exception {
Class.forName("com.facebook.presto.jdbc.PrestoDriver");
Connection connection = DriverManager.getConnection(
"jdbc:presto://192.168.174.131:18080/hive/default", "root",
null);
Statement stmt = connection.createStatement();
ResultSet rs = stmt.executeQuery("show tables");
while (rs.next()) {
System.out.println(rs.getString(1));
}
rs.close();
connection.close();
 
}
}

運(yùn)行結(jié)果：

對比命令行：

以上就是對presto的集群和搭建的使用，你學(xué)會了么

文章標(biāo)題：presto集群安裝&整合hive|mysql|jdbc
文章轉(zhuǎn)載：http://chinadenli.net/article44/joeiee.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供Google、品牌網(wǎng)站設(shè)計、全網(wǎng)營銷推廣、網(wǎng)站收錄、靜態(tài)網(wǎng)站、用戶體驗

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)