NewSQL為何使傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)黯然失色？

傳統(tǒng)數(shù)據(jù)庫(kù)仍舊會(huì)有一席之地，至于NewSQL的優(yōu)勢(shì)又是什么，簡(jiǎn)單和大家說說：

專注于為中小企業(yè)提供網(wǎng)站制作、網(wǎng)站建設(shè)服務(wù),電腦端+手機(jī)端+微信端的三站合一,更高效的管理,為中小企業(yè)開陽(yáng)免費(fèi)做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動(dòng)了上千企業(yè)的穩(wěn)健成長(zhǎng)，幫助中小企業(yè)通過網(wǎng)站建設(shè)實(shí)現(xiàn)規(guī)模擴(kuò)充和轉(zhuǎn)變。

首先關(guān)于“中間件+關(guān)系數(shù)據(jù)庫(kù)分庫(kù)分表”算不算NewSQL分布式數(shù)據(jù)庫(kù)問題，國(guó)外有篇論文pavlo-newsql-sigmodrec，如果根據(jù)該文中的分類，Spanner、TiDB、OB算是第一種新架構(gòu)型，Sharding-Sphere、Mycat、DRDS等中間件方案算是第二種（文中還有第三種云數(shù)據(jù)庫(kù)，本文暫不詳細(xì)介紹）。

基于中間件（包括SDK和Proxy兩種形式）+傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)（分庫(kù)分表）模式是不是分布式架構(gòu)？我覺得是的，因?yàn)榇鎯?chǔ)確實(shí)也分布式了，也能實(shí)現(xiàn)橫向擴(kuò)展。但是不是“偽”分布式數(shù)據(jù)庫(kù)？從架構(gòu)先進(jìn)性來看，這么說也有一定道理。

“偽”主要體現(xiàn)在中間件層與底層DB重復(fù)的SQL解析與執(zhí)行計(jì)劃生成、存儲(chǔ)引擎基于B+Tree等，這在分布式數(shù)據(jù)庫(kù)架構(gòu)中實(shí)際上冗余低效的。為了避免引起真?zhèn)畏植际綌?shù)據(jù)庫(kù)的口水戰(zhàn)，本文中NewSQL數(shù)據(jù)庫(kù)特指這種新架構(gòu)NewSQL數(shù)據(jù)庫(kù)。

NewSQL數(shù)據(jù)庫(kù)相比中間件+分庫(kù)分表的先進(jìn)在哪兒？畫一個(gè)簡(jiǎn)單的架構(gòu)對(duì)比圖：

傳統(tǒng)數(shù)據(jù)庫(kù)面向磁盤設(shè)計(jì)，基于內(nèi)存的存儲(chǔ)管理及并發(fā)控制，不如NewSQL數(shù)據(jù)庫(kù)那般高效利用；

中間件模式SQL解析、執(zhí)行計(jì)劃優(yōu)化等在中間件與數(shù)據(jù)庫(kù)中重復(fù)工作，效率相比較低；

NewSQL數(shù)據(jù)庫(kù)的分布式事務(wù)相比于XA進(jìn)行了優(yōu)化，性能更高；

新架構(gòu)NewSQL數(shù)據(jù)庫(kù)存儲(chǔ)設(shè)計(jì)即為基于paxos（或Raft）協(xié)議的多副本，相比于傳統(tǒng)數(shù)據(jù)庫(kù)主從模式（半同步轉(zhuǎn)異步后也存在丟數(shù)問題），在實(shí)現(xiàn)了真正的高可用、高可靠（RTO30s，RPO=0）；

NewSQL數(shù)據(jù)庫(kù)天生支持?jǐn)?shù)據(jù)分片，數(shù)據(jù)的遷移、擴(kuò)容都是自動(dòng)化的，大大減輕了DBA的工作，同時(shí)對(duì)應(yīng)用透明，無需在SQL指定分庫(kù)分表鍵。

什么是New SQL?分析NewSQL是如何融合NoSQL和RDBMS兩者的優(yōu)勢(shì)

NewSQL是對(duì)一類現(xiàn)代關(guān)系型數(shù)據(jù)庫(kù)的統(tǒng)稱，這類數(shù)據(jù)庫(kù)對(duì)于一般的OLTP讀寫請(qǐng)求提供可橫向擴(kuò)展的性能，同時(shí)支持事務(wù)的ACID保證。這些系統(tǒng)既擁有NoSQL數(shù)據(jù)庫(kù)的擴(kuò)展性，又保持傳統(tǒng)數(shù)據(jù)庫(kù)的事務(wù)特性。NewSQL重新將“應(yīng)用程序邏輯與數(shù)據(jù)操作邏輯應(yīng)該分離”的理念帶回到現(xiàn)代數(shù)據(jù)庫(kù)的世界，這也驗(yàn)證了歷史的發(fā)展總是呈現(xiàn)出螺旋上升的形式。

在21世紀(jì)00年代中，出現(xiàn)了許多數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng) (如 Vertica，Greeplum 和AsterData)，這些以處理OLAP 請(qǐng)求為設(shè)計(jì)目標(biāo)的系統(tǒng)并不在本文定義的NewSQL范圍內(nèi)。OLAP 數(shù)據(jù)庫(kù)更關(guān)注針對(duì)海量數(shù)據(jù)的大型、復(fù)雜、只讀的查詢，查詢時(shí)間可能持續(xù)秒級(jí)、分鐘級(jí)甚至更長(zhǎng)。

NoSQL的擁躉普遍認(rèn)為阻礙傳統(tǒng)數(shù)據(jù)庫(kù)橫向擴(kuò)容、提高可用性的原因在于ACID保證和關(guān)系模型，因此NoSQL運(yùn)動(dòng)的核心就是放棄事務(wù)強(qiáng)一致性以及關(guān)系模型，擁抱最終一致性和其它數(shù)據(jù)模型?(如 key/value，graphs 和Documents)。

兩個(gè)最著名的NoSQL數(shù)據(jù)庫(kù)就是Google的BigTable和Amazon的Dynamo，由于二者都未開源，其它組織就開始推出類似的開源替代項(xiàng)目，包括Facebook的 Cassandra (基于BigTable和Dynamo)、PowerSet的 Hbase(基于BigTable)。有一些創(chuàng)業(yè)公司也加入到這場(chǎng)NoSQL運(yùn)動(dòng)中，它們不一定是受BigTable和Dynamo的啟發(fā)，但都響應(yīng)了NoSQL的哲學(xué)，其中最出名的就是MongoDB。

在21世紀(jì)00年代末，市面上已經(jīng)有許多供用戶選擇的分布式數(shù)據(jù)庫(kù)產(chǎn)品。使用NoSQL的優(yōu)勢(shì)在于應(yīng)用開發(fā)者可以更關(guān)注應(yīng)用邏輯本身，而非數(shù)據(jù)庫(kù)的擴(kuò)展性問題；但與此同時(shí)許多應(yīng)用，如金融系統(tǒng)、訂單處理系統(tǒng)，由于無法放棄事務(wù)的一致性要求被拒之門外。

一些組織，如Google，已經(jīng)發(fā)現(xiàn)他們的許多工程師將過多的精力放在處理數(shù)據(jù)一致性上，這既暴露了數(shù)據(jù)庫(kù)的抽象、又提高了代碼的復(fù)雜度，這時(shí)候要么選擇回到傳統(tǒng)DBMS時(shí)代，用更高的機(jī)器配置縱向擴(kuò)容，要么選擇回到中間件時(shí)代，開發(fā)支持分布式事務(wù)的中間件。這兩種方案成本都很高，于是NewSQL運(yùn)動(dòng)開始醞釀。

NewSQL數(shù)據(jù)庫(kù)設(shè)計(jì)針對(duì)的讀寫事務(wù)有以下特點(diǎn)：

1、耗時(shí)短。

2、使用索引查詢，涉及少量數(shù)據(jù)。

3、重復(fù)度高，通常使用相同的查詢語(yǔ)句和不同的查詢參考。

也有一些學(xué)者認(rèn)為NewSQL系統(tǒng)是特指實(shí)現(xiàn)上使用Lock-free并發(fā)控制技術(shù)和share-nothing架構(gòu)的數(shù)據(jù)庫(kù)。所有我們認(rèn)為是NewSQL的數(shù)據(jù)庫(kù)系統(tǒng)確實(shí)都有這樣的特點(diǎn)。

目前哪些NoSQL數(shù)據(jù)庫(kù)應(yīng)用廣泛，各有什么特點(diǎn)

特點(diǎn)：

它們可以處理超大量的數(shù)據(jù)。

它們運(yùn)行在便宜的PC服務(wù)器集群上。

PC集群擴(kuò)充起來非常方便并且成本很低，避免了“sharding”操作的復(fù)雜性和成本。

它們擊碎了性能瓶頸。

NoSQL的支持者稱，通過NoSQL架構(gòu)可以省去將Web或Java應(yīng)用和數(shù)據(jù)轉(zhuǎn)換成SQL友好格式的時(shí)間，執(zhí)行速度變得更快。

“SQL并非適用于所有的程序代碼，” 對(duì)于那些繁重的重復(fù)操作的數(shù)據(jù)，SQL值得花錢。但是當(dāng)數(shù)據(jù)庫(kù)結(jié)構(gòu)非常簡(jiǎn)單時(shí)，SQL可能沒有太大用處。

沒有過多的操作。

雖然NoSQL的支持者也承認(rèn)關(guān)系數(shù)據(jù)庫(kù)提供了無可比擬的功能集合，而且在數(shù)據(jù)完整性上也發(fā)揮絕對(duì)穩(wěn)定，他們同時(shí)也表示，企業(yè)的具體需求可能沒有那么多。

Bootstrap支持

因?yàn)镹oSQL項(xiàng)目都是開源的，因此它們?nèi)狈?yīng)商提供的正式支持。這一點(diǎn)它們與大多數(shù)開源項(xiàng)目一樣，不得不從社區(qū)中尋求支持。

優(yōu)點(diǎn)：

易擴(kuò)展

NoSQL數(shù)據(jù)庫(kù)種類繁多，但是一個(gè)共同的特點(diǎn)都是去掉關(guān)系數(shù)據(jù)庫(kù)的關(guān)系型特性。數(shù)據(jù)之間無關(guān)系，這樣就非常容易擴(kuò)展。也無形之間，在架構(gòu)的層面上帶來了可擴(kuò)展的能力。

大數(shù)據(jù)量，高性能

NoSQL數(shù)據(jù)庫(kù)都具有非常高的讀寫性能，尤其在大數(shù)據(jù)量下，同樣表現(xiàn)優(yōu)秀。這得益于它的無關(guān)系性，數(shù)據(jù)庫(kù)的結(jié)構(gòu)簡(jiǎn)單。一般MySQL使用 Query Cache，每次表的更新Cache就失效，是一種大粒度的Cache，在針對(duì)web2.0的交互頻繁的應(yīng)用，Cache性能不高。而NoSQL的 Cache是記錄級(jí)的，是一種細(xì)粒度的Cache，所以NoSQL在這個(gè)層面上來說就要性能高很多了。

靈活的數(shù)據(jù)模型

NoSQL無需事先為要存儲(chǔ)的數(shù)據(jù)建立字段，隨時(shí)可以存儲(chǔ)自定義的數(shù)據(jù)格式。而在關(guān)系數(shù)據(jù)庫(kù)里，增刪字段是一件非常麻煩的事情。如果是非常大數(shù)據(jù)量的表，增加字段簡(jiǎn)直就是一個(gè)噩夢(mèng)。這點(diǎn)在大數(shù)據(jù)量的web2.0時(shí)代尤其明顯。

高可用

NoSQL在不太影響性能的情況，就可以方便的實(shí)現(xiàn)高可用的架構(gòu)。比如Cassandra，HBase模型，通過復(fù)制模型也能實(shí)現(xiàn)高可用。

主要應(yīng)用：

Apache HBase

這個(gè)大數(shù)據(jù)管理平臺(tái)建立在谷歌強(qiáng)大的BigTable管理引擎基礎(chǔ)上。作為具有開源、Java編碼、分布式多個(gè)優(yōu)勢(shì)的數(shù)據(jù)庫(kù)，Hbase最初被設(shè)計(jì)應(yīng)用于Hadoop平臺(tái)，而這一強(qiáng)大的數(shù)據(jù)管理工具，也被Facebook采用，用于管理消息平臺(tái)的龐大數(shù)據(jù)。

Apache Storm

用于處理高速、大型數(shù)據(jù)流的分布式實(shí)時(shí)計(jì)算系統(tǒng)。Storm為Apache Hadoop添加了可靠的實(shí)時(shí)數(shù)據(jù)處理功能，同時(shí)還增加了低延遲的儀表板、安全警報(bào)，改進(jìn)了原有的操作方式，幫助企業(yè)更有效率地捕獲商業(yè)機(jī)會(huì)、發(fā)展新業(yè)務(wù)。

Apache Spark

該技術(shù)采用內(nèi)存計(jì)算，從多迭代批量處理出發(fā)，允許將數(shù)據(jù)載入內(nèi)存做反復(fù)查詢，此外還融合數(shù)據(jù)倉(cāng)庫(kù)、流處理和圖計(jì)算等多種計(jì)算范式，Spark用Scala語(yǔ)言實(shí)現(xiàn)，構(gòu)建在HDFS上，能與Hadoop很好的結(jié)合，而且運(yùn)行速度比MapReduce快100倍。

Apache Hadoop

該技術(shù)迅速成為了大數(shù)據(jù)管理標(biāo)準(zhǔn)之一。當(dāng)它被用來管理大型數(shù)據(jù)集時(shí)，對(duì)于復(fù)雜的分布式應(yīng)用，Hadoop體現(xiàn)出了非常好的性能，平臺(tái)的靈活性使它可以運(yùn)行在商用硬件系統(tǒng)，它還可以輕松地集成結(jié)構(gòu)化、半結(jié)構(gòu)化和甚至非結(jié)構(gòu)化數(shù)據(jù)集。

Apache Drill

你有多大的數(shù)據(jù)集？其實(shí)無論你有多大的數(shù)據(jù)集，Drill都能輕松應(yīng)對(duì)。通過支持HBase、Cassandra和MongoDB，Drill建立了交互式分析平臺(tái)，允許大規(guī)模數(shù)據(jù)吞吐，而且能很快得出結(jié)果。

Apache Sqoop

也許你的數(shù)據(jù)現(xiàn)在還被鎖定于舊系統(tǒng)中，Sqoop可以幫你解決這個(gè)問題。這一平臺(tái)采用并發(fā)連接，可以將數(shù)據(jù)從關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)方便地轉(zhuǎn)移到Hadoop中，可以自定義數(shù)據(jù)類型以及元數(shù)據(jù)傳播的映射。事實(shí)上，你還可以將數(shù)據(jù)（如新的數(shù)據(jù)）導(dǎo)入到HDFS、Hive和Hbase中。

Apache Giraph

這是功能強(qiáng)大的圖形處理平臺(tái)，具有很好可擴(kuò)展性和可用性。該技術(shù)已經(jīng)被Facebook采用，Giraph可以運(yùn)行在Hadoop環(huán)境中，可以將它直接部署到現(xiàn)有的Hadoop系統(tǒng)中。通過這種方式，你可以得到強(qiáng)大的分布式作圖能力，同時(shí)還能利用上現(xiàn)有的大數(shù)據(jù)處理引擎。

Cloudera Impala

Impala模型也可以部署在你現(xiàn)有的Hadoop群集上，監(jiān)視所有的查詢。該技術(shù)和MapReduce一樣，具有強(qiáng)大的批處理能力，而且Impala對(duì)于實(shí)時(shí)的SQL查詢也有很好的效果，通過高效的SQL查詢，你可以很快的了解到大數(shù)據(jù)平臺(tái)上的數(shù)據(jù)。

Gephi

它可以用來對(duì)信息進(jìn)行關(guān)聯(lián)和量化處理，通過為數(shù)據(jù)創(chuàng)建功能強(qiáng)大的可視化效果，你可以從數(shù)據(jù)中得到不一樣的洞察力。Gephi已經(jīng)支持多個(gè)圖表類型，而且可以在具有上百萬個(gè)節(jié)點(diǎn)的大型網(wǎng)絡(luò)上運(yùn)行。Gephi具有活躍的用戶社區(qū)，Gephi還提供了大量的插件，可以和現(xiàn)有系統(tǒng)完美的集成到一起，它還可以對(duì)復(fù)雜的IT連接、分布式系統(tǒng)中各個(gè)節(jié)點(diǎn)、數(shù)據(jù)流等信息進(jìn)行可視化分析。

MongoDB

這個(gè)堅(jiān)實(shí)的平臺(tái)一直被很多組織推崇，它在大數(shù)據(jù)管理上有極好的性能。MongoDB最初是由DoubleClick公司的員工創(chuàng)建，現(xiàn)在該技術(shù)已經(jīng)被廣泛的應(yīng)用于大數(shù)據(jù)管理。MongoDB是一個(gè)應(yīng)用開源技術(shù)開發(fā)的NoSQL數(shù)據(jù)庫(kù)，可以用于在JSON這樣的平臺(tái)上存儲(chǔ)和處理數(shù)據(jù)。目前，紐約時(shí)報(bào)、Craigslist以及眾多企業(yè)都采用了MongoDB，幫助他們管理大型數(shù)據(jù)集。（Couchbase服務(wù)器也作為一個(gè)參考）。

十大頂尖公司：

Amazon Web Services

Forrester將AWS稱為“云霸主”，談到云計(jì)算領(lǐng)域的大數(shù)據(jù)，那就不得不提到亞馬遜。該公司的Hadoop產(chǎn)品被稱為EMR（Elastic Map Reduce），AWS解釋這款產(chǎn)品采用了Hadoop技術(shù)來提供大數(shù)據(jù)管理服務(wù)，但它不是純開源Hadoop，經(jīng)過修改后現(xiàn)在被專門用在AWS云上。

Forrester稱EMR有很好的市場(chǎng)前景。很多公司基于EMR為客戶提供服務(wù)，有一些公司將EMR應(yīng)用于數(shù)據(jù)查詢、建模、集成和管理。而且AWS還在創(chuàng)新，F(xiàn)orrester稱未來EMR可以基于工作量的需要自動(dòng)縮放調(diào)整大小。亞馬遜計(jì)劃為其產(chǎn)品和服務(wù)提供更強(qiáng)大的EMR支持，包括它的RedShift數(shù)據(jù)倉(cāng)庫(kù)、新公布的Kenesis實(shí)時(shí)處理引擎以及計(jì)劃中的NoSQL數(shù)據(jù)庫(kù)和商業(yè)智能工具。不過AWS還沒有自己的Hadoop發(fā)行版。

Cloudera

Cloudera有開源Hadoop的發(fā)行版，這個(gè)發(fā)行版采用了Apache Hadoop開源項(xiàng)目的很多技術(shù)，不過基于這些技術(shù)的發(fā)行版也有很大的進(jìn)步。Cloudera為它的Hadoop發(fā)行版開發(fā)了很多功能，包括Cloudera管理器，用于管理和監(jiān)控，以及名為Impala的SQL引擎等。Cloudera的Hadoop發(fā)行版基于開源Hadoop，但也不是純開源的產(chǎn)品。當(dāng)Cloudera的客戶需要Hadoop不具備的某些功能時(shí)，Cloudera的工程師們就會(huì)實(shí)現(xiàn)這些功能，或者找一個(gè)擁有這項(xiàng)技術(shù)的合作伙伴。Forrester表示：“Cloudera的創(chuàng)新方法忠于核心Hadoop，但因?yàn)槠淇蓪?shí)現(xiàn)快速創(chuàng)新并積極滿足客戶需求，這一點(diǎn)使它不同于其他那些供應(yīng)商。”目前，Cloudera的平臺(tái)已經(jīng)擁有200多個(gè)付費(fèi)客戶，一些客戶在Cloudera的技術(shù)支持下已經(jīng)可以跨1000多個(gè)節(jié)點(diǎn)實(shí)現(xiàn)對(duì)PB級(jí)數(shù)據(jù)的有效管理。

Hortonworks

和Cloudera一樣，Hortonworks是一個(gè)純粹的Hadoop技術(shù)公司。與Cloudera不同的是，Hortonworks堅(jiān)信開源Hadoop比任何其他供應(yīng)商的Hadoop發(fā)行版都要強(qiáng)大。Hortonworks的目標(biāo)是建立Hadoop生態(tài)圈和Hadoop用戶社區(qū)，推進(jìn)開源項(xiàng)目的發(fā)展。Hortonworks平臺(tái)和開源Hadoop聯(lián)系緊密，公司管理人員表示這會(huì)給用戶帶來好處，因?yàn)樗梢苑乐贡还?yīng)商套牢（如果Hortonworks的客戶想要離開這個(gè)平臺(tái)，他們可以輕松轉(zhuǎn)向其他開源平臺(tái)）。這并不是說Hortonworks完全依賴開源Hadoop技術(shù)，而是因?yàn)樵摴緦⑵渌虚_發(fā)的成果回報(bào)給了開源社區(qū)，比如Ambari，這個(gè)工具就是由Hortonworks開發(fā)而成，用來填充集群管理項(xiàng)目漏洞。Hortonworks的方案已經(jīng)得到了Teradata、Microsoft、Red Hat和SAP這些供應(yīng)商的支持。

IBM

當(dāng)企業(yè)考慮一些大的IT項(xiàng)目時(shí)，很多人首先會(huì)想到IBM。IBM是Hadoop項(xiàng)目的主要參與者之一，F(xiàn)orrester稱IBM已有100多個(gè)Hadoop部署，它的很多客戶都有PB級(jí)的數(shù)據(jù)。IBM在網(wǎng)格計(jì)算、全球數(shù)據(jù)中心和企業(yè)大數(shù)據(jù)項(xiàng)目實(shí)施等眾多領(lǐng)域有著豐富的經(jīng)驗(yàn)。“IBM計(jì)劃繼續(xù)整合SPSS分析、高性能計(jì)算、BI工具、數(shù)據(jù)管理和建模、應(yīng)對(duì)高性能計(jì)算的工作負(fù)載管理等眾多技術(shù)。”

Intel

和AWS類似，英特爾不斷改進(jìn)和優(yōu)化Hadoop使其運(yùn)行在自己的硬件上，具體來說，就是讓Hadoop運(yùn)行在其至強(qiáng)芯片上，幫助用戶打破Hadoop系統(tǒng)的一些限制，使軟件和硬件結(jié)合的更好，英特爾的Hadoop發(fā)行版在上述方面做得比較好。Forrester指出英特爾在最近才推出這個(gè)產(chǎn)品，所以公司在未來還有很多改進(jìn)的可能，英特爾和微軟都被認(rèn)為是Hadoop市場(chǎng)上的潛力股。

MapR Technologies

MapR的Hadoop發(fā)行版目前為止也許是最好的了，不過很多人可能都沒有聽說過。Forrester對(duì)Hadoop用戶的調(diào)查顯示，MapR的評(píng)級(jí)最高，其發(fā)行版在架構(gòu)和數(shù)據(jù)處理能力上都獲得了最高分。MapR已將一套特殊功能融入其Hadoop發(fā)行版中。例如網(wǎng)絡(luò)文件系統(tǒng)（NFS）、災(zāi)難恢復(fù)以及高可用性功能。Forrester說MapR在Hadoop市場(chǎng)上沒有Cloudera和Hortonworks那樣的知名度，MapR要成為一個(gè)真正的大企業(yè)，還需要加強(qiáng)伙伴關(guān)系和市場(chǎng)營(yíng)銷。

Microsoft

微軟在開源軟件問題上一直很低調(diào)，但在大數(shù)據(jù)形勢(shì)下，它不得不考慮讓W(xué)indows也兼容Hadoop，它還積極投入到開源項(xiàng)目中，以更廣泛地推動(dòng)Hadoop生態(tài)圈的發(fā)展。我們可以在微軟的公共云Windows Azure HDInsight產(chǎn)品中看到其成果。微軟的Hadoop服務(wù)基于Hortonworks的發(fā)行版，而且是為Azure量身定制的。

微軟也有一些其他的項(xiàng)目，包括名為Polybase的項(xiàng)目，讓Hadoop查詢實(shí)現(xiàn)了SQLServer查詢的一些功能。Forrester說：“微軟在數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、云、OLAP、BI、電子表格（包括PowerPivot）、協(xié)作和開發(fā)工具市場(chǎng)上有很大優(yōu)勢(shì)，而且微軟擁有龐大的用戶群，但要在Hadoop這個(gè)領(lǐng)域成為行業(yè)領(lǐng)導(dǎo)者還有很遠(yuǎn)的路要走。”

Pivotal Software

EMC和Vmware部分大數(shù)據(jù)業(yè)務(wù)分拆組合產(chǎn)生了Pivotal。Pivotal一直努力構(gòu)建一個(gè)性能優(yōu)越的Hadoop發(fā)行版，為此，Pivotal在開源Hadoop的基礎(chǔ)上又添加了一些新的工具，包括一個(gè)名為HAWQ的SQL引擎以及一個(gè)專門解決大數(shù)據(jù)問題的Hadoop應(yīng)用。Forrester稱Pivotal Hadoop平臺(tái)的優(yōu)勢(shì)在于它整合了Pivotal、EMC、Vmware的眾多技術(shù)，Pivotal的真正優(yōu)勢(shì)實(shí)際上等于EMC和Vmware兩大公司為其撐腰。到目前為止，Pivotal的用戶還不到100個(gè)，而且大多是中小型客戶。

Teradata

對(duì)于Teradata來說，Hadoop既是一種威脅也是一種機(jī)遇。數(shù)據(jù)管理，特別是關(guān)于SQL和關(guān)系數(shù)據(jù)庫(kù)這一領(lǐng)域是Teradata的專長(zhǎng)。所以像Hadoop這樣的NoSQL平臺(tái)崛起可能會(huì)威脅到Teradata。相反，Teradata接受了Hadoop，通過與Hortonworks合作，Teradata在Hadoop平臺(tái)集成了SQL技術(shù)，這使Teradata的客戶可以在Hadoop平臺(tái)上方便地使用存儲(chǔ)在Teradata數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)。

AMPLab

通過將數(shù)據(jù)轉(zhuǎn)變?yōu)樾畔ⅲ覀儾趴梢岳斫馐澜纾@也正是AMPLab所做的。AMPLab致力于機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、數(shù)據(jù)庫(kù)、信息檢索、自然語(yǔ)言處理和語(yǔ)音識(shí)別等多個(gè)領(lǐng)域，努力改進(jìn)對(duì)信息包括不透明數(shù)據(jù)集內(nèi)信息的甄別技術(shù)。除了Spark，開源分布式SQL查詢引擎Shark也源于AMPLab，Shark具有極高的查詢效率，具有良好的兼容性和可擴(kuò)展性。近幾年的發(fā)展使計(jì)算機(jī)科學(xué)進(jìn)入到全新的時(shí)代，而AMPLab為我們?cè)O(shè)想一個(gè)運(yùn)用大數(shù)據(jù)、云計(jì)算、通信等各種資源和技術(shù)靈活解決難題的方案，以應(yīng)對(duì)越來越復(fù)雜的各種難題。

大數(shù)據(jù)的特點(diǎn)和作用是什么？

我們正處在科技高速發(fā)展的時(shí)代，如今互聯(lián)網(wǎng)已經(jīng)與我們的生活息息相關(guān)，我們每天在互聯(lián)網(wǎng)產(chǎn)生大量的數(shù)據(jù)，這些數(shù)據(jù)散落在網(wǎng)絡(luò)中看似沒有怎么作用，但是這些數(shù)據(jù)經(jīng)過系統(tǒng)的處理整合起來確實(shí)非常有價(jià)值的。

一、?發(fā)展大數(shù)據(jù)技術(shù)可以提高生產(chǎn)力

大數(shù)據(jù)技術(shù)在企業(yè)已經(jīng)成為投入使用很成功的案例，很多應(yīng)用程序開發(fā)商和大型公司都運(yùn)用大數(shù)據(jù)技術(shù)擴(kuò)展大數(shù)據(jù)項(xiàng)目。大數(shù)據(jù)技術(shù)在運(yùn)用時(shí)可以通過數(shù)據(jù)挖掘知道最需要的數(shù)據(jù)是哪些，通過這些數(shù)據(jù)獲取更多的生產(chǎn)力，提高生產(chǎn)能力，為企業(yè)帶來更多的商業(yè)價(jià)值。目前有很多企業(yè)通過數(shù)據(jù)挖掘分析解決問題，相對(duì)來說大數(shù)據(jù)分析比著傳統(tǒng)的數(shù)據(jù)分析速度更快，更能獲取可“回收利用”的信息流量，提高行業(yè)內(nèi)的生產(chǎn)力。

二、?發(fā)展大數(shù)據(jù)技術(shù)可以改善營(yíng)銷決策

近幾年的數(shù)據(jù)量暴增，數(shù)據(jù)盈利也很可能成為未來收入的主要來源，大數(shù)據(jù)技術(shù)在海量數(shù)據(jù)的分析中，尋求到最合適的企業(yè)營(yíng)銷策略，通過數(shù)據(jù)分析給企業(yè)帶來更明智的策略。

大數(shù)據(jù)工程師通過對(duì)客戶的數(shù)據(jù)精湛分析，分析行業(yè)內(nèi)的流行趨勢(shì)并且定制出更適合的產(chǎn)品或者服務(wù)，通過對(duì)定價(jià)的檢測(cè)和分析對(duì)客戶忠誠(chéng)度有效評(píng)估，一系列的運(yùn)用大數(shù)據(jù)及時(shí)改善營(yíng)銷決策，給企業(yè)帶來有價(jià)值的數(shù)據(jù)決策。

三、?發(fā)展大數(shù)據(jù)技術(shù)的未來優(yōu)勢(shì)

大數(shù)據(jù)行業(yè)的興起，許多開發(fā)企業(yè)都意識(shí)到，想要在行業(yè)內(nèi)不斷的發(fā)展就要運(yùn)用大數(shù)據(jù)技術(shù)，提升自身企業(yè)的品牌價(jià)值，在行業(yè)比拼中尋求更多的競(jìng)爭(zhēng)優(yōu)勢(shì)，微軟亞馬遜等大型跨國(guó)公司目前都在采用大數(shù)據(jù)解決問題，為消費(fèi)者提供更好的服務(wù)。

目前有很多行業(yè)和企業(yè)都嘗到大數(shù)據(jù)技術(shù)的甜頭了，未來會(huì)有越來越多運(yùn)用大數(shù)據(jù)技術(shù)的產(chǎn)業(yè)，以現(xiàn)在大數(shù)據(jù)發(fā)展的速度來看，2020年大數(shù)據(jù)的市場(chǎng)規(guī)模將達(dá)到2030億美元，很多企業(yè)都在期盼大數(shù)據(jù)項(xiàng)目可以運(yùn)用的范圍更廣闊，然后通過運(yùn)用產(chǎn)生更大的利益空間。

大數(shù)據(jù)技術(shù)能為行業(yè)提高生產(chǎn)力、改善營(yíng)銷決策，給企業(yè)帶來更好的發(fā)展前景，目前大數(shù)據(jù)技術(shù)發(fā)展雖然在初級(jí)階段，但是發(fā)展勢(shì)頭很猛，未來也會(huì)有更多的行業(yè)領(lǐng)域涉足大數(shù)據(jù)技術(shù)運(yùn)用，大數(shù)據(jù)技術(shù)未來發(fā)展形式一片大好!

當(dāng)下，大數(shù)據(jù)方面的就業(yè)主要有三大方向：一是數(shù)據(jù)分析類大數(shù)據(jù)人才，二是系統(tǒng)研發(fā)類大數(shù)據(jù)人才，三是應(yīng)用開發(fā)類大數(shù)據(jù)人才。他們的基礎(chǔ)崗位分別是大數(shù)據(jù)系統(tǒng)研發(fā)工程師、大數(shù)據(jù)應(yīng)用開發(fā)工程師、大數(shù)據(jù)分析師，如果想系統(tǒng)的學(xué)習(xí)編程的可以來我這看看。

對(duì)于求職者來說，大數(shù)據(jù)只是所從事事業(yè)的一個(gè)方向，而職業(yè)崗位則是決定做什么事?大數(shù)據(jù)從業(yè)者/求職者可以根據(jù)自身所學(xué)技術(shù)及興趣特征，選擇一個(gè)適合自己的大數(shù)據(jù)相關(guān)崗位。下面為大家介紹十種與大數(shù)據(jù)相關(guān)的熱門崗位。

一、ETL研發(fā)

企業(yè)數(shù)據(jù)種類與來源的不斷增加，對(duì)數(shù)據(jù)進(jìn)行整合與處理變得越來越困難，企業(yè)迫切需要一種有數(shù)據(jù)整合能力的人才。ETL開發(fā)者這是在此需求基礎(chǔ)下而誕生的一個(gè)職業(yè)崗位。ETL人才在大數(shù)據(jù)時(shí)代炙手可熱的原因之一是：在企業(yè)大數(shù)據(jù)應(yīng)用的早期階段，Hadoop只是窮人的ETL。

二、Hadoop開發(fā)

隨著數(shù)據(jù)規(guī)模不斷增大，傳統(tǒng)BI的數(shù)據(jù)處理成本過高企業(yè)負(fù)擔(dān)加重。而Hadoop廉價(jià)的數(shù)據(jù)處理能力被重新挖掘，企業(yè)需求持續(xù)增長(zhǎng)。并成為大數(shù)據(jù)人才必須掌握的一種技術(shù)。

三、可視化工具開發(fā)

可視化開發(fā)就是在可視化工具提供的圖形用戶界面上，通過操作界面元素，有可視化開發(fā)工具自動(dòng)生成相關(guān)應(yīng)用軟件，輕松跨越多個(gè)資源和層次連接所有數(shù)據(jù)。過去，數(shù)據(jù)可視化屬于商業(yè)智能開發(fā)者類別，但是隨著Hadoop的崛起，數(shù)據(jù)可視化已經(jīng)成了一項(xiàng)獨(dú)立的專業(yè)技能和崗位。

四、信息架構(gòu)開發(fā)

大數(shù)據(jù)重新激發(fā)了主數(shù)據(jù)管理的熱潮。充分開發(fā)利用企業(yè)數(shù)據(jù)并支持決策需要非常專業(yè)的技能。信息架構(gòu)師必須了解如何定義和存檔關(guān)鍵元素，確保以最有效的方式進(jìn)行數(shù)據(jù)管理和利用。信息架構(gòu)師的關(guān)鍵技能包括主數(shù)據(jù)管理、業(yè)務(wù)知識(shí)和數(shù)據(jù)建模等。

五、數(shù)據(jù)倉(cāng)庫(kù)研究

為方便企業(yè)決策，出于分析性報(bào)告和決策支持的目的而創(chuàng)建的數(shù)據(jù)倉(cāng)庫(kù)研究崗位是一種所有類型數(shù)據(jù)的戰(zhàn)略集合。為企業(yè)提供業(yè)務(wù)智能服務(wù)，指導(dǎo)業(yè)務(wù)流程改進(jìn)和監(jiān)視時(shí)間、成本、質(zhì)量和控制。

六、OLAP開發(fā)

OLAP在線聯(lián)機(jī)分析開發(fā)者，負(fù)責(zé)將數(shù)據(jù)從關(guān)系型或非關(guān)系型數(shù)據(jù)源中抽取出來建立模型，然后創(chuàng)建數(shù)據(jù)訪問的用戶界面，提供高性能的預(yù)定義查詢功能。

七、數(shù)據(jù)科學(xué)研究

數(shù)據(jù)科學(xué)家是一個(gè)全新的工種，能夠?qū)⑵髽I(yè)的數(shù)據(jù)和技術(shù)轉(zhuǎn)化為企業(yè)的商業(yè)價(jià)值。隨著數(shù)據(jù)學(xué)的進(jìn)展，越來越多的實(shí)際工作將會(huì)直接針對(duì)數(shù)據(jù)進(jìn)行，這將使人類認(rèn)識(shí)數(shù)據(jù)，從而認(rèn)識(shí)自然和行為。

八、數(shù)據(jù)預(yù)測(cè)分析

營(yíng)銷部門經(jīng)常使用預(yù)測(cè)分析預(yù)測(cè)用戶行為或鎖定目標(biāo)用戶。預(yù)測(cè)分析開發(fā)者有些場(chǎng)景看上有有些類似數(shù)據(jù)科學(xué)家，即在企業(yè)歷史數(shù)據(jù)的基礎(chǔ)上通過假設(shè)來測(cè)試閾值并預(yù)測(cè)未來的表現(xiàn)。

九、企業(yè)數(shù)據(jù)管理

企業(yè)要提高數(shù)據(jù)質(zhì)量必須考慮進(jìn)行數(shù)據(jù)管理，并需要為此設(shè)立數(shù)據(jù)管家職位，這一職位的人員需要能夠利用各種技術(shù)工具匯集企業(yè)周圍的大量數(shù)據(jù)，并將數(shù)據(jù)清洗和規(guī)范化，將數(shù)據(jù)導(dǎo)入數(shù)據(jù)倉(cāng)庫(kù)中，成為一個(gè)可用的版本。

十、數(shù)據(jù)安全研究

數(shù)據(jù)安全這一職位，主要負(fù)責(zé)企業(yè)內(nèi)部大型服務(wù)器、存儲(chǔ)、數(shù)據(jù)安全管理工作，并對(duì)網(wǎng)絡(luò)、信息安全項(xiàng)目進(jìn)行規(guī)劃、設(shè)計(jì)和實(shí)施。成都加米谷大數(shù)據(jù)培訓(xùn)機(jī)構(gòu)，專注于大數(shù)據(jù)人才培養(yǎng)。

希望對(duì)您有所幫助！~

標(biāo)題名稱：nosql崛起的六大原因,nosql數(shù)據(jù)庫(kù)興起的原因
本文地址：http://chinadenli.net/article40/dseideo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站導(dǎo)航、商城網(wǎng)站、企業(yè)建站、品牌網(wǎng)站設(shè)計(jì)、網(wǎng)站改版、云服務(wù)器

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)