這篇文章將為大家詳細(xì)講解有關(guān)sparksql如何調(diào)優(yōu)，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

創(chuàng)新互聯(lián)IDC提供業(yè)務(wù):眉山服務(wù)器托管,成都服務(wù)器租用,眉山服務(wù)器托管,重慶服務(wù)器租用等四川省內(nèi)主機托管與主機租用業(yè)務(wù);數(shù)據(jù)中心含:雙線機房,BGP機房,電信機房,移動機房,聯(lián)通機房。

1，jvm調(diào)優(yōu)

這個是扯不斷，理還亂。建議能加內(nèi)存就加內(nèi)存，沒事調(diào)啥JVM，你都不了解JVM和你的任務(wù)數(shù)據(jù)。

spark調(diào)優(yōu)系列之內(nèi)存和GC調(diào)優(yōu)

2，內(nèi)存調(diào)優(yōu)

緩存表

spark2.+采用：

spark.catalog.cacheTable("tableName")緩存表，spark.catalog.uncacheTable("tableName")解除緩存。

spark 1.+采用：

采用 sqlContext.cacheTable("tableName")緩存，sqlContext.uncacheTable("tableName") 解除緩存

Sparksql僅僅會緩存必要的列，并且自動調(diào)整壓縮算法來減少內(nèi)存和GC壓力。

屬性	默認(rèn)值	介紹
spark.sql.inMemoryColumnarStorage.compressed	true	假如設(shè)置為true，SparkSql會根據(jù)統(tǒng)計信息自動的為每個列選擇壓縮方式進行壓縮。
spark.sql.inMemoryColumnarStorage.batchSize	10000	控制列緩存的批量大小。批次大有助于改善內(nèi)存使用和壓縮，但是緩存數(shù)據(jù)會有OOM的風(fēng)險

3，廣播

大小表進行join時，廣播小表到所有的Worker節(jié)點，來提升性能是一個不錯的選擇。Spark提供了兩個參數(shù)可以調(diào)整，不同版本會有些許不一樣，本文以Spark2.2.1為例講解。

屬性	默認(rèn)值	描述
spark.sql.broadcastTimeout	300	廣播等待超時時間，單位秒
spark.sql.autoBroadcastJoinThreshold	10485760 (10 MB)	最大廣播表的大小。設(shè)置為-1可以禁止該功能。當(dāng)前統(tǒng)計信息僅支持Hive Metastore表

廣播的變量的使用其實，有時候沒啥用處。在任務(wù)超多，夸stage使用數(shù)據(jù)的時候才能凸顯其真正作用。任務(wù)一趟跑完了，其實廣播不廣播無所謂了。。。

4，分區(qū)數(shù)據(jù)的調(diào)控

分區(qū)設(shè)置spark.sql.shuffle.partitions，默認(rèn)是200.

對于有些公司來說，估計在用的時候會有Spark sql處理的數(shù)據(jù)比較少，然后資源也比較少，這時候這個shuffle分區(qū)數(shù)200就太大了，應(yīng)該適當(dāng)調(diào)小，來提升性能。

也有一些公司，估計在處理離線數(shù)據(jù)，數(shù)據(jù)量特別大，而且資源足，這時候shuffle分區(qū)數(shù)200，明顯不夠了，要適當(dāng)調(diào)大。

適當(dāng)，就完全靠經(jīng)驗。

5，文件與分區(qū)

這個總共有兩個參數(shù)可以調(diào)整：

一個是在讀取文件的時候一個分區(qū)接受多少數(shù)據(jù)；

另一個是文件打開的開銷，通俗理解就是小文件合并的閾值。

文件打開是有開銷的，開銷的衡量，Spark 采用了一個比較好的方式就是打開文件的開銷用，相同時間能掃描的數(shù)據(jù)的字節(jié)數(shù)來衡量。

參數(shù)介紹如下：

屬性名稱	默認(rèn)值	介紹
spark.sql.files.maxPartitionBytes	134217728 (128 MB)	打包傳入一個分區(qū)的最大字節(jié)，在讀取文件的時候。
spark.sql.files.openCostInBytes	4194304 (4 MB)	用相同時間內(nèi)可以掃描的數(shù)據(jù)的大小來衡量打開一個文件的開銷。當(dāng)將多個文件寫入同一個分區(qū)的時候該參數(shù)有用。該值設(shè)置大一點有好處，有小文件的分區(qū)會比大文件分區(qū)處理速度更快（優(yōu)先調(diào)度）。

spark.sql.files.maxPartitionBytes該值的調(diào)整要結(jié)合你想要的并發(fā)度及內(nèi)存的大小來進行。

spark.sql.files.openCostInBytes說直白一些這個參數(shù)就是合并小文件的閾值，小于這個閾值的文件將會合并。

6，文件格式

建議parquet或者orc。Parquet已經(jīng)可以達到很大的性能了。

關(guān)于“sparksql如何調(diào)優(yōu)”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，使各位可以學(xué)到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。

文章題目：sparksql如何調(diào)優(yōu)
當(dāng)前地址：http://chinadenli.net/article20/phojjo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供定制網(wǎng)站、網(wǎng)站排名、微信公眾號、網(wǎng)站導(dǎo)航、外貿(mào)建站、網(wǎng)站營銷

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)