如何分析spark-mlib的線性回歸,針對(duì)這個(gè)問題,這篇文章詳細(xì)介紹了相對(duì)應(yīng)的分析和解答,希望可以幫助更多想解決這個(gè)問題的小伙伴找到更簡(jiǎn)單易行的方法。

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.ml.feature.VectorAssembler
import org.apache.spark.sql.SQLContext
import org.apache.spark.ml.regression.LinearRegression
object SparkMlib {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setAppName("mlib").setMaster("local")
val context = new SparkContext(conf)
val sqlContext = new SQLContext(context)
val rdd = context.makeRDD(List((1,3,9),(2,6,18),(3,9,27),(4,12,36)))
val cols = Array("x1","x2")
val vectors = new VectorAssembler().setInputCols(cols).setOutputCol("predict")
import sqlContext.implicits._
val x = vectors.transform(rdd.toDF("x1","x2","y"))
val model = new LinearRegression()
//自變量的數(shù)據(jù)名
.setFeaturesCol("predict")
//因變量
.setLabelCol("y")
//是否有截距
.setFitIntercept(false)
//訓(xùn)練模型
.fit(x)
//線性回歸的系數(shù)
println(model.coefficients)
//線性回歸的截距
println(model.intercept)
//線性回歸的自變量的個(gè)數(shù)
println(model.numFeatures)
//上面的feature列
println(model.summary.featuresCol)
//r2
println(model.summary.r2)
//平均絕對(duì)誤差
println(model.summary.meanAbsoluteError)
//方差
println(model.summary.meanSquaredError)
//新的集合x1,x2 預(yù)測(cè)y
val testRdd = context.makeRDD(List((1,3),(2,6),(3,9),(4,12)))
//根據(jù)上面的模型預(yù)測(cè)結(jié)果
val testSet = vectors.transform(testRdd.toDF("x1","x2"))
val pre = model.transform(testSet)
pre.show()
//println(pre.predictions)
}
}關(guān)于如何分析spark-mlib的線性回歸問題的解答就分享到這里了,希望以上內(nèi)容可以對(duì)大家有一定的幫助,如果你還有很多疑惑沒有解開,可以關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道了解更多相關(guān)知識(shí)。
新聞名稱:如何分析spark-mlib的線性回歸-創(chuàng)新互聯(lián)
分享地址:http://chinadenli.net/article10/ddhhdo.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供虛擬主機(jī)、網(wǎng)站設(shè)計(jì)公司、網(wǎng)站內(nèi)鏈、ChatGPT、靜態(tài)網(wǎng)站、電子商務(wù)
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容