本篇內容主要講解“Hadoop,Spark,Strom,Hive的特點是什么”,感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷,實用性強。下面就讓小編來帶大家學習“Hadoop,Spark,Strom,Hive的特點是什么”吧!

Hadoop :是一種分布式系統(tǒng)基礎架構當處理海量數據的程序,開始要求高可靠、高擴展、高效、低容錯、低成本的場景
MapReduce: MapReduce 是一種編程模型,用于大規(guī)模數據集(大于 1TB) 的并行運算。MapReduce 的典型應用場景中,目前日志分析用的比較多,還有做搜素的索引,機器學習算法包 mahout 也是之一,當然它能做的東西還有很多,比如數據掘、信息提取。
Spark:擁有 Hadoop MapReduce 所具有的優(yōu)點;但不同于 MapReduce 的是 Job 中間輸出結果可以保存在內存中,從而不再需要讀寫HDFS,因此 Spark 能更好地適用于數據挖掘與機器學習等需要迭代的 MapReduce 的算法。數據過于繁雜,并且需要讓計算通過迭代,并在內存中,極大地提高效率的場景
Strom:一個分布式實時計算系統(tǒng),Storm是一個任務并行連續(xù)計算引擎。Storm 本身并不典型在 Hadoop 集群上運行,它使用 Apache ZooKeeper 的和自己的主/從工作進程,協(xié)調拓撲,主機和工作者狀態(tài),保證信息的語義。無論如何, Storm必定還是可以從 HDFS 文件消費或者從文件寫入到 HDFS。
Hive:基于 Hadoop 的一個數據倉庫工具,可以將結構化的數據文件映射為一張數據庫表,并提供簡單的 sql 查詢功能,可以將 sql 語句轉換為 MapReduce 任務進行運行。應用場景:十分適合數據倉庫的統(tǒng)計分析。
Hbase:應用場景: 數據量太大,以至于傳統(tǒng) RDBMS 無法勝任、聯機業(yè)務功能開發(fā)、離線數據分析(數據倉庫)
到此,相信大家對“Hadoop,Spark,Strom,Hive的特點是什么”有了更深的了解,不妨來實際操作一番吧!這里是創(chuàng)新互聯網站,更多相關內容可以進入相關頻道進行查詢,關注我們,繼續(xù)學習!
本文標題:Hadoop,Spark,Strom,Hive的特點是什么-創(chuàng)新互聯
網頁地址:http://chinadenli.net/article28/cohpjp.html
成都網站建設公司_創(chuàng)新互聯,為您提供品牌網站制作、移動網站建設、網站設計公司、網站制作、網站內鏈、動態(tài)網站
聲明:本網站發(fā)布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創(chuàng)新互聯