本文來自于2018年09月19日在 Adobe Systems Inc 舉行的Apache Spark Meetup。

創(chuàng)新互聯(lián)公司主營始興網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營網(wǎng)站建設(shè)方案,app軟件開發(fā),始興h5微信小程序搭建,始興網(wǎng)站營銷推廣歡迎始興等地區(qū)企業(yè)咨詢

即將發(fā)布的 Apache Spark 2.4 版本是 2.x 系列的第五個版本。 本文對Apache Spark 2.4 的主要功能和增強功能進行了概述。

• 新的調(diào)度模型（Barrier Scheduling），使用戶能夠?qū)⒎植际缴疃葘W習訓練恰當?shù)厍度氲?Spark 的 stage 中，以簡化分布式訓練工作流程。
• 添加了35個高階函數(shù)，用于在 Spark SQL 中操作數(shù)組/map。
• 新增一個新的基于 Databricks 的 spark-avro 模塊的原生 AVRO 數(shù)據(jù)源。
• PySpark 還為教學和可調(diào)試性的所有操作引入了熱切的評估模式（eager evaluation mode）。
• Spark on K8S 支持 PySpark 和 R ，支持客戶端模式（client-mode）。
• Structured Streaming 的各種增強功能。 例如，連續(xù)處理（continuous processing）中的有狀態(tài)操作符。
• 內(nèi)置數(shù)據(jù)源的各種性能改進。 例如，Parquet 嵌套模式修剪（schema pruning）。
• 支持 Scala 2.12。

點擊 示說網(wǎng) ，即可下載此PPT。

總結(jié)

網(wǎng)站標題：2018即將推出的ApacheSpark2.4都有哪些新功能-創(chuàng)新互聯(lián)
網(wǎng)站網(wǎng)址：http://chinadenli.net/article46/cohehg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供關(guān)鍵詞優(yōu)化、網(wǎng)站策劃、網(wǎng)站設(shè)計、做網(wǎng)站、自適應(yīng)網(wǎng)站、品牌網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)