spark性能優(yōu)化要注意哪幾點(diǎn)，很多新手對(duì)此不是很清楚，為了幫助大家解決這個(gè)難題，下面小編將為大家詳細(xì)講解，有這方面需求的人可以來(lái)學(xué)習(xí)下，希望你能有所收獲。

信州網(wǎng)站制作公司哪家好，找創(chuàng)新互聯(lián)！從網(wǎng)頁(yè)設(shè)計(jì)、網(wǎng)站建設(shè)、微信開發(fā)、APP開發(fā)、成都響應(yīng)式網(wǎng)站建設(shè)公司等網(wǎng)站項(xiàng)目制作，到程序開發(fā)，運(yùn)營(yíng)維護(hù)。創(chuàng)新互聯(lián)2013年至今到現(xiàn)在10年的時(shí)間，我們擁有了豐富的建站經(jīng)驗(yàn)和運(yùn)維經(jīng)驗(yàn)，來(lái)保證我們的工作的順利進(jìn)行。專注于網(wǎng)站建設(shè)就選創(chuàng)新互聯(lián)。

一.優(yōu)化方向，序列化

1.官網(wǎng)位置

2.解釋：

默認(rèn)用的是java序列化，但是會(huì)很慢，第二種很快，但是不一定能實(shí)現(xiàn)所有序列化
第二種，有些自定義類你需要在代碼中注冊(cè)（Kryo）

3.StorageLevel.MEMORY_ONLY) 方式存儲(chǔ)代碼

  def main(args: Array[String]) {
    val sparkConf = new SparkConf()
    val sc = new SparkContext(sparkConf)
    val names = Array[String]("G304","G305","G306")
    val genders = Array[String]("male","female")
    val addresses = Array[String]("beijing","shenzhen","wenzhou","hangzhou")
    val infos = new ArrayBuffer[Info]()
    for (i<-1 to 1000000){
      val name = names(Random.nextInt(3))
      val gender = genders(Random.nextInt(2))
      val address = addresses((Random.nextInt(4)))
      infos += Info(name, gender, address)
    }
    val rdd = sc.parallelize(infos)
    rdd.persist(StorageLevel.MEMORY_ONLY_SER)
    rdd.count()
    // rdd.persist(StorageLevel.MEMORY_ONLY)
    sc.stop()
  }
  case class Info(name:String, gender:String, address:String)
}

4.結(jié)果34.3 java序列化默認(rèn)

二.Kyro序列化

1.配置文件位置及配置（spark.serialize）在spark-default.conf

2.代碼

 def main(args: Array[String]) {
    val sparkConf = new SparkConf()
    sparkConf.registerKryoClasses(Array(classOf[Info]))
    val sc = new SparkContext(sparkConf)
    val names = Array[String]("G304","G305","G306")
    val genders = Array[String]("male","female")
    val addresses = Array[String]("beijing","shenzhen","wenzhou","hangzhou")
    val infos = new ArrayBuffer[Info]()
    for (i<-1 to 1000000){
      val name = names(Random.nextInt(3))
      val gender = genders(Random.nextInt(2))
      val address = addresses((Random.nextInt(4)))
      infos += Info(name, gender, address)
    }
    val rdd = sc.parallelize(infos)
    rdd.persist(StorageLevel.MEMORY_ONLY_SER)
    rdd.count()
    // rdd.persist(StorageLevel.MEMORY_ONLY_SER)
    sc.stop()

3.沒(méi)注冊(cè)情況下截圖

4.官網(wǎng)沒(méi)注冊(cè)結(jié)果

5.加上一句話，否則所有的東西都要加入變大

sparkConf.registerKryoClasses(Array(classOf[Info]))

看完上述內(nèi)容是否對(duì)您有幫助呢？如果還想對(duì)相關(guān)知識(shí)有進(jìn)一步的了解或閱讀更多相關(guān)文章，請(qǐng)關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝您對(duì)創(chuàng)新互聯(lián)的支持。

分享名稱：spark性能優(yōu)化要注意哪幾點(diǎn)
當(dāng)前網(wǎng)址：http://chinadenli.net/article44/gdjohe.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站導(dǎo)航、網(wǎng)站制作、電子商務(wù)、虛擬主機(jī)、企業(yè)建站、網(wǎng)站內(nèi)鏈

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)