這篇文章給大家分享的是有關(guān)spark mllib如何實現(xiàn)基于卡方校驗的特征選擇的內(nèi)容。小編覺得挺實用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。

在赤壁等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強發(fā)展的系統(tǒng)性、市場前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務(wù)理念，為客戶提供做網(wǎng)站、成都網(wǎng)站設(shè)計 網(wǎng)站設(shè)計制作定制網(wǎng)站,公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),高端網(wǎng)站設(shè)計,營銷型網(wǎng)站建設(shè),成都外貿(mào)網(wǎng)站制作,赤壁網(wǎng)站建設(shè)費用合理。

運行代碼如下

package spark.FeatureExtractionAndTransformation

import org.apache.spark.mllib.feature.ChiSqSelector
import org.apache.spark.mllib.linalg.Vectors
import org.apache.spark.mllib.regression.LabeledPoint
import org.apache.spark.mllib.util.MLUtils
import org.apache.spark.{SparkConf, SparkContext}

/**
  * 基于卡方校驗的特征選擇
  * 卡方校驗：
  * 在分類資料統(tǒng)計推斷中一般用于檢驗一個樣本是否符合預(yù)期的一個分布．
  * 是統(tǒng)計樣本的實際值與理論推斷值之間的偏離程度．
  * 卡方值越小，越趨于符合
  *
  * Created by eric on 16-7-24.
  */
object FeatureSelection {
  val conf = new SparkConf()                                     //創(chuàng)建環(huán)境變量
    .setMaster("local")                                             //設(shè)置本地化處理
    .setAppName("TF_IDF")                              //設(shè)定名稱
  val sc = new SparkContext(conf)

  def main(args: Array[String]) {
    val data = MLUtils.loadLibSVMFile(sc, "/home/eric/IdeaProjects/wordCount/src/main/spark/FeatureExtractionAndTransformation/fs.txt")
    val discretizedData = data.map { lp => //創(chuàng)建數(shù)據(jù)處理空間
      LabeledPoint(lp.label, Vectors.dense(lp.features.toArray.map {x => x/2}))
    }

    val selector = new ChiSqSelector(2)//創(chuàng)建選擇2個特性的卡方校驗
    val transformer = selector.fit(discretizedData)//創(chuàng)建訓(xùn)練模型

    val filteredData = discretizedData.map { lp =>  //過濾前兩個特性
      LabeledPoint(lp.label, transformer.transform(lp.features))
    }
    filteredData.foreach(println)

//    (0.0,[1.0,0.5])
//    (1.0,[0.0,0.0])
//    (0.0,[1.5,1.5])
//    (1.0,[0.5,0.0])
//    (1.0,[2.0,1.0])
  }
}

fs.txt

0 1:2 2:1 3:0 4:1
1 1:0 2:0 3:1 4:0
0 1:3 2:3 3:2 4:2
1 1:1 2:0 3:4 4:3
1 1:4 2:2 3:3 4:1

結(jié)果如下

感謝各位的閱讀！關(guān)于“spark mllib如何實現(xiàn)基于卡方校驗的特征選擇”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，讓大家可以學(xué)到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！

名稱欄目：sparkmllib如何實現(xiàn)基于卡方校驗的特征選擇
轉(zhuǎn)載來于：http://chinadenli.net/article24/pijcje.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站設(shè)計、企業(yè)建站、自適應(yīng)網(wǎng)站、商城網(wǎng)站、外貿(mào)網(wǎng)站建設(shè)、搜索引擎優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)