說(shuō)起大數(shù)據(jù)的工具，最廣為人知的就是Hadoop和Spark了，Hadoop在上一篇文章中已經(jīng)有所介紹，這期小編就為大家介紹后起之秀Spark。

成都創(chuàng)新互聯(lián)公司成都網(wǎng)站建設(shè)按需求定制網(wǎng)站，是成都網(wǎng)站維護(hù)公司,為成都混凝土攪拌機(jī)提供網(wǎng)站建設(shè)服務(wù),有成熟的網(wǎng)站定制合作流程，提供網(wǎng)站定制設(shè)計(jì)服務(wù)：原型圖制作、網(wǎng)站創(chuàng)意設(shè)計(jì)、前端HTML5制作、后臺(tái)程序開(kāi)發(fā)等。成都網(wǎng)站設(shè)計(jì)熱線(xiàn)：028-86922220

Spark是一個(gè)運(yùn)算速度快如閃電的Apache項(xiàng)目，研發(fā)人員聲稱(chēng)它是“一種用于數(shù)據(jù)大規(guī)模處理的快速通用引擎”，[A1]  Spark是UC BerkeleyAMP lab所開(kāi)源的類(lèi)Hadoop MapReduce的通用的并行計(jì)算框架，基于map reduce算法實(shí)現(xiàn)的分布式計(jì)算，擁有Hadoop MapReduce所具有的優(yōu)點(diǎn)。[A2] 

 

它提供了一個(gè)運(yùn)算速度快的一般化數(shù)據(jù)處理平臺(tái)，可以讓你程序的內(nèi)存計(jì)算速度提高到100倍，或者磁盤(pán)計(jì)算速度(Hadoop)提高10倍。去年的Daytona GraySort比賽中，Spark只用了Hadoop十分之一數(shù)量的機(jī)器就實(shí)現(xiàn)了其三倍多的速度，目前，Spark已經(jīng)成了處理PB級(jí)別數(shù)據(jù)運(yùn)算速度最快的開(kāi)源工具。[A3] 

Spark核心概念是ResilientDistributed Dataset (RDD)彈性分布數(shù)據(jù)集，RDD實(shí)現(xiàn)了以操作本地集合的方式來(lái)操作分布式數(shù)據(jù)集的抽象實(shí)現(xiàn)。RDD是Spark最核心的東西，它表示已被分區(qū)，不可變的并能夠被并行操作的數(shù)據(jù)集合，不同的數(shù)據(jù)集格式對(duì)應(yīng)不同的RDD實(shí)現(xiàn)。RDD必須是可序列化的，可以cache到內(nèi)存中，每次對(duì)RDD數(shù)據(jù)集的操作之后的結(jié)果，都可以存放到內(nèi)存中，下一個(gè)操作可以直接從內(nèi)存中輸入，省去了MapReduce大量的磁盤(pán)IO操作。這對(duì)于迭代運(yùn)算比較常見(jiàn)的機(jī)器學(xué)習(xí)算法, 交互式數(shù)據(jù)挖掘來(lái)說(shuō)，效率提升比較大。[A4] 

以RDD為核心的Spark構(gòu)架圖如下

Spark在機(jī)器學(xué)習(xí)方面有著無(wú)與倫比的優(yōu)勢(shì)，特別適合需要多次迭代計(jì)算的算法。同時(shí)Spark擁有非常出色的容錯(cuò)和調(diào)度機(jī)制，確保系統(tǒng)的穩(wěn)定運(yùn)行[A5] ，而在易用性方面，更是大有名氣，它隨帶易于使用的API，支持Scala(原生語(yǔ)言)、Java、Python和Spark SQL。SparkSQL非常類(lèi)似于SQL 92，所以幾乎不需要經(jīng)歷一番學(xué)習(xí)，馬上可以上手。[A6] 

Spark幫助人們簡(jiǎn)化了處理大規(guī)模數(shù)據(jù)的步驟流程，將許多復(fù)雜的功能(比如機(jī)器學(xué)習(xí)算法和圖算法)無(wú)縫地結(jié)合起來(lái)，并以其快如閃電的計(jì)算速度，正在快速地?cái)U(kuò)大著自己的影響力，我們有理由相信，憑借Spark獨(dú)特的優(yōu)異性能，未來(lái)Spark必將會(huì)綻放出更為璀璨的光芒。

 

 [A1]來(lái)源：別再比較Hadoop和Spark了，那不是設(shè)計(jì)人員的初衷

 

 [A2]來(lái)源科普Spark，Spark是什么，如何使用Spark；百度百科

 [A3]來(lái)源：Apache Spark介紹及案例展示

 [A4]來(lái)源：科普Spark，Spark核心是什么，如何使用Spark（2）http://www.aboutyun.com/thread-6850-1-1.html

 [A5]來(lái)源：跟我一起數(shù)據(jù)挖掘（22）——spark入門(mén)

 [A6]來(lái)源：別再比較Hadoop和Spark了，那不是設(shè)計(jì)人員的初衷

最終來(lái)源：?jiǎn)?chuàng)方舟微信公眾號(hào)

新聞名稱(chēng)：【科普】一篇文章讓你知曉Spark
分享網(wǎng)址：http://chinadenli.net/article8/jsioop.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供標(biāo)簽優(yōu)化、品牌網(wǎng)站制作、定制網(wǎng)站、ChatGPT、電子商務(wù)、網(wǎng)站營(yíng)銷(xiāo)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)