大數(shù)據(jù)時(shí)代:五大商業(yè)分析技術(shù)趨勢(shì)

大數(shù)據(jù)時(shí)代:五大商業(yè)分析技術(shù)趨勢(shì)

和布克賽爾蒙古網(wǎng)站建設(shè)公司創(chuàng)新互聯(lián),和布克賽爾蒙古網(wǎng)站設(shè)計(jì)制作，有大型網(wǎng)站制作公司豐富經(jīng)驗(yàn)。已為和布克賽爾蒙古上1000+提供企業(yè)網(wǎng)站建設(shè)服務(wù)。企業(yè)網(wǎng)站搭建\外貿(mào)網(wǎng)站制作要多少錢，請(qǐng)找那個(gè)售后服務(wù)好的和布克賽爾蒙古做網(wǎng)站的公司定做！

目前，趨勢(shì)中心對(duì)如何應(yīng)對(duì)分析挑戰(zhàn)的關(guān)注力度并不亞于他們考慮在新商業(yè)視角中如何充分利用機(jī)遇的力度。例如，隨著越來越多的公司開始不得不面對(duì)海量數(shù)據(jù)以及 考慮如何利用這些數(shù)據(jù)，管理與分析大型不同數(shù)據(jù)集的技術(shù)開始出現(xiàn)。提前分析成本與性能趨勢(shì)意味著公司能夠提出比以前更為復(fù)雜的問題，提供更為有用的信息以 幫助他們運(yùn)營業(yè)務(wù)。

在采訪中，首席信息官們總結(jié)出了5大影響他們進(jìn)行分析的IT趨勢(shì)。它們分別為：大數(shù)據(jù)的增長、快速處理技術(shù)、IT商品的成本下降、移動(dòng)設(shè)備的普及和社交媒體的增長。

1.大數(shù)據(jù)

大數(shù)據(jù)指非常龐大的數(shù)據(jù)集，尤其是那些沒有被整齊的組織起來無法適應(yīng)傳統(tǒng)數(shù)據(jù)倉庫的數(shù)據(jù)集。網(wǎng)絡(luò)蜘蛛數(shù)據(jù)、社交媒體反饋和服務(wù)器日志，以及來自供應(yīng)鏈、行業(yè)、周邊環(huán)境與監(jiān)視傳感器的數(shù)據(jù)都使得公司的數(shù)據(jù)變得比以往越來越復(fù)雜。

盡管并不是每個(gè)公司都需要處理大型、非結(jié)構(gòu)型數(shù)據(jù)集的技術(shù)。VeriskAnalytics公司首席信息官PerryRotella認(rèn)為所有的首席信息 官都應(yīng)當(dāng)關(guān)注大數(shù)據(jù)分析工具。Verisk幫助金融公司評(píng)估風(fēng)險(xiǎn)，與保險(xiǎn)公司共同防范保險(xiǎn)詐騙，其在2010年的營收超過了10億美元。

Rotella認(rèn)為，技術(shù)領(lǐng)導(dǎo)者對(duì)此應(yīng)當(dāng)采取的態(tài)度是，數(shù)據(jù)越多越好，歡迎數(shù)據(jù)的大幅增長。Rotella的工作是預(yù)先尋找事物間的聯(lián)系與模型。

HMS公司首席信息官CynthiaNustad認(rèn)為，大數(shù)據(jù)呈現(xiàn)為一種“爆炸性”增長趨勢(shì)。HMS公司的業(yè)務(wù)包括幫助控制聯(lián)邦醫(yī)療保險(xiǎn) （Medicare）和醫(yī)療補(bǔ)助（Medicaid）項(xiàng)目成本和私有云服務(wù)。其客戶包括40多個(gè)州的健康與人類服務(wù)項(xiàng)目和130多個(gè)醫(yī)療補(bǔ)助管理計(jì)劃。 HMS通過阻止錯(cuò)誤支付在2010年幫助其客戶挽回了18億美元的損失，節(jié)約了數(shù)十億美元。Nustad稱：“我們正在收集并追蹤大量素材，包括結(jié)構(gòu)性與 非結(jié)構(gòu)性數(shù)據(jù)，因?yàn)槟悴⒉皇强偸侵滥銓⒃谄渲袑ふ沂裁礀|西。”

大數(shù)據(jù)技術(shù)中談?wù)撟疃嗟囊豁?xiàng)技術(shù)是Hadoop。該技術(shù)為開源分布式數(shù)據(jù)處理平臺(tái)，最初是為編輯網(wǎng)絡(luò)搜索索引等任務(wù)開發(fā)的。Hadoop為多個(gè)“非關(guān)系型（NoSQL）”技術(shù)（其包括CouchDB和MongoDB）中的一種，其通過特殊的方式組織網(wǎng)絡(luò)級(jí)數(shù)據(jù)。

Hadoop可將數(shù)據(jù)的子集合分配給成百上千臺(tái)服務(wù)器的處理，每臺(tái)服務(wù)器匯報(bào)的結(jié)果都將被一個(gè)主作業(yè)調(diào)度程序整理，因此其具有處理拍字節(jié)級(jí)數(shù)據(jù)的能力。 Hadoop既能夠用于分析前的數(shù)據(jù)準(zhǔn)備，也能夠作為一種分析工具。沒有數(shù)千臺(tái)空閑服務(wù)器的公司可以從亞馬遜等云廠商那里購買Hadoop實(shí)例的按需訪 問。

Nustad稱，盡管并不是為了其大型的聯(lián)邦醫(yī)療保險(xiǎn)和醫(yī)療補(bǔ)助索賠數(shù)據(jù)庫，但是HMS正在探索NoSQL技術(shù)的使用。其包括了結(jié)構(gòu)性數(shù)據(jù)，并且能夠被 傳統(tǒng)的數(shù)據(jù)倉庫技術(shù)所處理。她稱，在回答什么樣的關(guān)系型技術(shù)是經(jīng)實(shí)踐證明最好用的解決方案時(shí)，從傳統(tǒng)關(guān)系型數(shù)據(jù)庫管理出發(fā)是并不明智。不過，Nustad 認(rèn)為Hadoop正在防止欺詐與浪費(fèi)分析上發(fā)揮著重要作用，并且具備分析以各種格式上報(bào)的病人看病記錄的潛力。

在采訪中，那些體驗(yàn)過Hadoop的受訪首席信息官們，包括Rotella和Shopzilla公司首席信息官JodyMulkey在內(nèi)都在將數(shù)據(jù)服務(wù)作為公司一項(xiàng)業(yè)務(wù)的公司中任職。

Mulkey稱：“我們正在使用Hadoop做那些以往使用數(shù)據(jù)倉庫做的事情。更重要的是，我們獲得了以前從未用過的切實(shí)有用的分析技術(shù)。”例如，作為 一家比較購買網(wǎng)站，Shopzilla每天會(huì)積累數(shù)太字節(jié)的數(shù)據(jù)。他稱：“以前，我們必須要對(duì)數(shù)據(jù)進(jìn)行采樣并對(duì)數(shù)據(jù)進(jìn)行歸類。在處理海量數(shù)據(jù)時(shí)，這一工作 量非常繁重。”自從采用了Hadoop，Shopzilla能夠分析原始數(shù)據(jù)，跳過許多中間環(huán)節(jié)。

GoodSamaritan醫(yī)院是一家位于印第安納州西南的社區(qū)醫(yī)院，其處于另一種類型。該醫(yī)院的首席信息官ChuckChristian稱：“我們并 沒有我認(rèn)為是大數(shù)據(jù)的東西。”盡管如此，管理規(guī)定要求促使其存儲(chǔ)整如龐大的電子醫(yī)療記錄等全新的數(shù)據(jù)類型。他稱，這無疑要求他們要能夠從數(shù)據(jù)中收集醫(yī)療保 健品質(zhì)信息。不過，這可能將在地區(qū)或國家醫(yī)療保健協(xié)會(huì)中實(shí)現(xiàn)，而不是在他們這種單個(gè)醫(yī)院中實(shí)現(xiàn)。因此，Christian未必會(huì)對(duì)這種新技術(shù)進(jìn)行投資。

IslandOneResorts公司首席信息官JohnTernent稱，其所面臨的分析挑戰(zhàn)取決于大數(shù)據(jù)中的“大”還是“數(shù)據(jù)”。不過，目前他正在 謹(jǐn)慎地考慮在云上使用Hadoop實(shí)例，以作為一種經(jīng)濟(jì)的方式分析復(fù)雜的抵押貸款組合。目前公司正在管理著佛羅里達(dá)州內(nèi)的8處分時(shí)度假村。他稱：“這種解 決方案有可能解決我們目前正遇到的實(shí)際問題。”

2.商業(yè)分析速度加快

肯塔基大學(xué)首席信息官VinceKellen認(rèn)為，大數(shù)據(jù)技術(shù)只是快速分析這一大趨勢(shì)中的一個(gè)元素。他稱：“我們期待的是一種更為先進(jìn)的海量數(shù)據(jù)分析方法。”與更為快速地分析數(shù)據(jù)相比，數(shù)據(jù)的大小并不重要，“因?yàn)槟阆胱屵@一過程快速完成”。

由于目前的計(jì)算能夠在內(nèi)存中處理更多的數(shù)據(jù)，因此與在硬盤中搜索數(shù)據(jù)相比，其計(jì)算出結(jié)果的速度要更快。即使你僅處理數(shù)G數(shù)據(jù)，但情況依然與此。

盡管經(jīng)過數(shù)十年的發(fā)展，通過緩存頻繁訪問的數(shù)據(jù)，數(shù)據(jù)庫性能提升了許多。在加載整個(gè)大型數(shù)據(jù)集至服務(wù)器或服務(wù)器集群的內(nèi)存時(shí)，這一技術(shù)變得更加實(shí)用，此時(shí)硬盤只是作為備份。由于從旋轉(zhuǎn)的磁盤中檢索數(shù)據(jù)是一個(gè)機(jī)械過程，因此與在內(nèi)存中處理數(shù)據(jù)相比，其速度要慢許多。

Rotella稱，他現(xiàn)在幾秒中進(jìn)行的分析在五年前需要花上一個(gè)晚上。Rotella的公司主要是對(duì)大型數(shù)據(jù)集進(jìn)行前瞻性分析，這經(jīng)常涉及查詢、尋找模 型、下次查詢前的調(diào)整。在分析速度方面，查詢完成時(shí)間非常重要。他稱：“以前，運(yùn)行時(shí)間比建模時(shí)間要長，但是現(xiàn)在建模時(shí)間要比運(yùn)行時(shí)間長。”

列式數(shù)據(jù)庫服務(wù)器改變了關(guān)系型數(shù)據(jù)庫的傳統(tǒng)行與列結(jié)構(gòu)，解決了另一些性能需求。查詢僅訪問有用的列，而不是讀取整個(gè)記錄和選取可選列，這極大地提高了組織或測(cè)量關(guān)鍵列的應(yīng)用的性能。

Ternent警告稱，列式數(shù)據(jù)庫的性能優(yōu)勢(shì)需要配合正確的應(yīng)用和查詢?cè)O(shè)計(jì)。他稱：“為了進(jìn)行區(qū)別，你必須以適當(dāng)?shù)姆绞絾査m當(dāng)?shù)膯栴}。”此此同時(shí)，他 還指出，列式數(shù)據(jù)庫實(shí)際上僅對(duì)處理超過500G字節(jié)數(shù)據(jù)的應(yīng)用有意義。他稱：“在讓列式數(shù)據(jù)庫發(fā)揮作用之前，你必須收集一規(guī)模的數(shù)據(jù)，因?yàn)樗蕾囈欢ㄋ?的重復(fù)提升效率。”

保險(xiǎn)與金融服務(wù)巨頭JohnHancock公司的首席信息官AllanHackney稱，為了提高分析性能，硬件也需要進(jìn)行提升，如增加GPU芯片，其 與游戲系統(tǒng)中用到的圖形處理器相同。他稱：“可視化需用到的計(jì)算方法與統(tǒng)計(jì)分析中用到的計(jì)算方法非常相似。與普通的PC和服務(wù)器處理器相比，圖形處理器的 計(jì)算速度要快數(shù)百倍。我們的分析人員非常喜歡這一設(shè)備。”

3.技術(shù)成本下降

隨著計(jì)算能力的增長，分析技術(shù)開始從內(nèi)存與存儲(chǔ)價(jià)格的下降中獲益。同時(shí)，隨著開源軟件逐漸成為商業(yè)產(chǎn)品的備選產(chǎn)品，競(jìng)爭(zhēng)壓力也導(dǎo)致商業(yè)產(chǎn)品價(jià)格進(jìn)一步下降。

Ternent為開源軟件的支持者。在加入IslandOne公司之前，Ternent為開源商業(yè)智能公司Pentaho的工程副總裁。他稱：“對(duì)于我來說，開源決定著涉足領(lǐng)域。因?yàn)橄馡slandOne這樣的中等規(guī)模公司能夠用開源應(yīng)用R替代SAS進(jìn)行統(tǒng)計(jì)分析。”

以前開源工具僅擁有基本的報(bào)告功能，但是現(xiàn)在它們能夠提供最為先進(jìn)的預(yù)測(cè)分析。他稱：“目前開源參與者能夠橫跨整個(gè)連續(xù)統(tǒng)一體，這意味著任何人都能夠使用它們。”

HMS公司的Nustad認(rèn)為，計(jì)算成本的變化正在改變著一些基礎(chǔ)性架構(gòu)的選擇。例如，創(chuàng)建數(shù)據(jù)倉庫的一個(gè)傳統(tǒng)因素是讓數(shù)據(jù)一起進(jìn)入擁有強(qiáng)大計(jì)算能力的 服務(wù)器中以處理它們。當(dāng)計(jì)算能力不足時(shí)，從操作系統(tǒng)中分離分析工作負(fù)載可以避免日常工作負(fù)載的性能出現(xiàn)下降。Nustad稱，目前這已經(jīng)不再是一個(gè)合適的 選擇了。

她稱：“隨著硬件與存儲(chǔ)越來越便宜，你能夠讓這些操作系統(tǒng)處理一個(gè)商業(yè)智能層。”通過重定數(shù)據(jù)格式和將數(shù)據(jù)裝載至倉庫中，直接建立在操作應(yīng)用上的分析能夠更為迅速地提供答案。

Hackney觀察認(rèn)為，盡管性價(jià)比趨勢(shì)有利于管理成本，但是這些潛在的節(jié)約優(yōu)勢(shì)將被日益增長的能力需求所抵消。盡管JohnHancock每臺(tái)設(shè)備的存儲(chǔ)成本在今年下降了2至3%，但是消耗卻增長了20%。

4.移動(dòng)設(shè)備的普及

與所有的應(yīng)用一樣，商業(yè)智能正日益移動(dòng)化。對(duì)于Nustad來說，移動(dòng)商業(yè)智能具有優(yōu)先權(quán)，因?yàn)槊總€(gè)人都希望Nustad能夠隨時(shí)隨地親自訪問關(guān)于她的 公司是否達(dá)到了服務(wù)級(jí)協(xié)議的報(bào)告。她還希望為公司的客戶提供數(shù)據(jù)的移動(dòng)訪問，幫助客戶監(jiān)控和管理醫(yī)療保健開銷。她稱：“這是一個(gè)客戶非常喜歡的功能。在五 年前，客戶不需要這一功能，但是現(xiàn)在他們需要這一功能了。”

對(duì)于首席信息官來說，要迎合這一趨勢(shì)更多的是為智能手機(jī)、平板電腦和觸摸屏設(shè)備創(chuàng)建適用的用戶界面，而不是更為復(fù)雜的分析能力。或許是出于這方面的原因，Kellen認(rèn)為這相對(duì)容易。他稱：“對(duì)于我來說，這只是小事情。”

Rotella并不認(rèn)為這很簡(jiǎn)單。他稱：“移動(dòng)計(jì)算影響著每一個(gè)人。許多人開始使用iPad工作，同時(shí)其它的移動(dòng)設(shè)備正在呈現(xiàn)爆炸式增長。這一趨勢(shì)正在 加速并改變我們與公司內(nèi)部計(jì)算資源交互的方式。”例如，Verisk已經(jīng)開發(fā)了能夠讓理賠人在現(xiàn)場(chǎng)快速進(jìn)行分析的產(chǎn)品，因此他們能夠進(jìn)行重置成本評(píng)估。他 稱：“這種方式對(duì)我們的分析產(chǎn)生了影響，同時(shí)也讓每一個(gè)需要它的人隨手就能使用。”

Rotella稱：“引發(fā)這種挑戰(zhàn)的因素在于技術(shù)的更新速度。兩年前，我們沒有iPad，而現(xiàn)在許多人都在使用iPad。隨著多種操作系統(tǒng)的出現(xiàn)，我們正力爭(zhēng)搞清楚其是如何影響我們的研發(fā)的，這樣一來我們就不必一而再、再而三的編寫這些應(yīng)用。”

IslandOne的Ternent指出，另一方面，為每一種移動(dòng)平臺(tái)創(chuàng)建原生應(yīng)用的需求可能正在消退，因?yàn)槟壳笆謾C(jī)和平板電腦上的瀏覽器擁有了更為強(qiáng) 大的功能。Ternent稱：“如果我能夠使用一款專門針對(duì)移動(dòng)設(shè)備的基于web的應(yīng)用，那么我并不能肯定我將會(huì)對(duì)定制的移動(dòng)設(shè)備應(yīng)用進(jìn)行投資。”

5.社交媒體的加入

隨著臉譜、推特等社交媒體的興起，越來越多的公司希望分析這些由網(wǎng)站產(chǎn)生的數(shù)據(jù)。新推出的分析應(yīng)用支持人類語言處理、情感分析和網(wǎng)絡(luò)分析等統(tǒng)計(jì)技術(shù)，這些并不是典型商業(yè)智能工具套件的組成部分。

由于它們都是新的，許多社交媒體分析工具可以作用服務(wù)獲得。其中一個(gè)典型范例是Radian6。Radian6為軟件即服務(wù)（SaaS）產(chǎn)品，近期已經(jīng) 被Salesforce.com所收購。Radian6是一種社交媒體儀表盤，為TwITter的留言、臉譜上的帖子、博客與討論版上的帖子與評(píng)論中提及 的特定術(shù)語以正負(fù)數(shù)顯示，尤其是為商標(biāo)名提供生動(dòng)的直觀推斷。當(dāng)營銷與客戶服務(wù)部門購買后，這類工具不再對(duì)IT部門有很嚴(yán)重的依賴性。目前，肯塔基大學(xué)的 Kellen仍然相信他需要對(duì)它們高度關(guān)注。他稱：“我的工作是識(shí)別這些技術(shù)，根據(jù)競(jìng)爭(zhēng)力評(píng)估哪些算法適合公司，然后開始培訓(xùn)合適的人員。”

與其他公司一樣，大學(xué)也對(duì)監(jiān)督他們大學(xué)的聲譽(yù)十分感興趣。與此同時(shí)，Kellen表示，他可能還將尋找機(jī)會(huì)以開發(fā)專門用于解決學(xué)校所關(guān)注問題的應(yīng)用，如 監(jiān)督學(xué)生入學(xué)率等問題。例如，監(jiān)控學(xué)生在社交媒體上的帖子能夠有幫于學(xué)校與管理人員盡早了解學(xué)生在大學(xué)里遇到的麻煩。Kellen稱，目前戴爾已經(jīng)做了這 些工作，其產(chǎn)品支持公司探測(cè)人們關(guān)于故障筆記本電腦的推文。他稱，IT開發(fā)人員還應(yīng)當(dāng)尋找一些辦法將社交媒體分析得出的報(bào)警信息推送至應(yīng)用中，以便于公司 對(duì)相關(guān)事件快速做出反應(yīng)。

Hackney稱：“我們沒有訣竅，也沒有工具處理和挖掘海量社交媒體帖子的價(jià)值。不過，一旦你收集了數(shù)據(jù)，你需要有能力獲取公司事件的充足信息，以將 它們關(guān)聯(lián)起來。”雖然Hackney稱JohnHancock在這一領(lǐng)域內(nèi)的努力還處于“起步階段”，但是他認(rèn)為IT部門將在公司數(shù)據(jù)的社交分析服務(wù)所提 供的數(shù)據(jù)關(guān)聯(lián)中發(fā)揮重要作用。例如，如果社交媒體數(shù)據(jù)顯示公司在中西部地區(qū)的社會(huì)評(píng)論越來越負(fù)面，那么他將希望看一下如果公司在該地區(qū)就價(jià)格或策略進(jìn)行調(diào) 整是否會(huì)扭轉(zhuǎn)這一負(fù)面發(fā)展趨勢(shì)。

Hackney稱，發(fā)現(xiàn)這類關(guān)聯(lián)的意義在于讓公司領(lǐng)導(dǎo)相信對(duì)社交媒體的投資具有高回報(bào)。他稱：“在我所從事的行業(yè)中，每個(gè)人都是精算師，每個(gè)人都在計(jì)算，他們不會(huì)將任何東西建立在想當(dāng)然之上。”

以上是小編為大家分享的關(guān)于大數(shù)據(jù)時(shí)代:五大商業(yè)分析技術(shù)趨勢(shì)的相關(guān)內(nèi)容，更多信息可以關(guān)注環(huán)球青藤分享更多干貨

10億級(jí)流數(shù)據(jù)交互查詢，為什么拋棄mysql選擇voltdb

10億級(jí)流數(shù)據(jù)交互查詢，為什么拋棄mysql選擇voltdb

作者 譚正海、武毅 發(fā)布于 2016年8月18日 | 被首富的“一個(gè)億”刷屏？不如定個(gè)小目標(biāo)，先把握住QCon上海的優(yōu)惠吧！討論

分享到：微博微信FacebookTwitter有道云筆記郵件分享

稍后閱讀

我的閱讀清單

大數(shù)據(jù)時(shí)代，隨著數(shù)據(jù)量的爆炸式增長，對(duì)于數(shù)據(jù)的處理速度要求也越來越高，以往基于MySQL的數(shù)據(jù)處理方案已無法滿足大吞吐、低延遲的寫入和高速查詢的場(chǎng)景；百分點(diǎn)總結(jié)出了一套完整的解決方案，本文就帶你一同了解VoltDB在流數(shù)據(jù)交互查詢的應(yīng)用實(shí)踐。

流式數(shù)據(jù)交互查詢場(chǎng)景

在百分點(diǎn)，每天有10億條記錄產(chǎn)生，針對(duì)這些大量實(shí)時(shí)產(chǎn)生的數(shù)據(jù)，不僅要做到實(shí)時(shí)寫入，類似推薦調(diào)優(yōu)、數(shù)據(jù)驗(yàn)證等查詢要在秒級(jí)響應(yīng)。有簡(jiǎn)單的單條驗(yàn)證，也有幾個(gè)小時(shí)或一天的聚合計(jì)算，也有基于幾千萬/幾億數(shù)據(jù)表間的聯(lián)合聚合查詢。例如如下SQL查詢：

對(duì)于前期的MySQL方案，雖然已經(jīng)根據(jù)一定規(guī)則做了人工的分庫，但是對(duì)于上面SQL中的表Event落在單機(jī)上的數(shù)據(jù)量達(dá)到幾千萬，Result表也近千萬，在這樣的大表之間進(jìn)行復(fù)雜的聯(lián)合聚合查詢，MySQL查下來要花費(fèi)30分鐘左右，甚至更長，或是沒響應(yīng)了。

因此在針對(duì)同時(shí)要求大吞吐、低延遲的寫入和高速查詢的場(chǎng)景下，基于MySQL的現(xiàn)存方案完全無法實(shí)現(xiàn)。在不放棄SQL語句的便利基礎(chǔ)上，經(jīng)歷過多種選型和方案調(diào)研，最終選擇了VoltDB來解決此類問題。

相關(guān)廠商內(nèi)容

攜程的推薦及智能化算法及架構(gòu)體系實(shí)踐

Autodesk基于Spark自建大數(shù)據(jù)平臺(tái)的實(shí)踐經(jīng)驗(yàn)

大數(shù)據(jù)與電商四大核心要素

阿里巴巴數(shù)據(jù)研發(fā)體系的建立和管理之道

蘇寧云商數(shù)據(jù)平臺(tái)實(shí)時(shí)化實(shí)踐

相關(guān)贊助商

QCon上海2016，10月20~22日，上海·寶華萬豪酒店，精彩內(nèi)容搶先看！！

如上圖，線上的全量流量，通過Streaming總線同時(shí)到達(dá)VoltDB和離線Hive表。不同的是，數(shù)據(jù)寫入VoltDB使用實(shí)時(shí)方式，寫入Hive使用批量方式。新的數(shù)據(jù)要求在極短的延遲內(nèi)馬上寫入VoltDB待查詢；批量寫入Hive的數(shù)據(jù)也可以做到小時(shí)級(jí)以內(nèi)刷寫到對(duì)應(yīng)分區(qū)。

VoltDB簡(jiǎn)介

VoltDB是一種開源的極速的內(nèi)存關(guān)系型數(shù)據(jù)庫，由Ingres和Postgres聯(lián)合創(chuàng)始人Mike Stonebraker帶領(lǐng)開發(fā)的NewSQL，提供社區(qū)版本和商業(yè)版本。VoltDB采用shard-nothing架構(gòu)，既獲得了NoSQL的良好可擴(kuò)展性以及高吞吐量數(shù)據(jù)處理，又沒有放棄傳統(tǒng)關(guān)系型數(shù)據(jù)庫的事務(wù)支持---ACID。

一般VoltDB數(shù)據(jù)庫集群由大量的站點(diǎn)(分區(qū))組成，分散在多臺(tái)機(jī)器上，數(shù)據(jù)的存儲(chǔ)與處理都是分布在各個(gè)站點(diǎn)的，架構(gòu)圖如下所示：

如上圖，集群有3個(gè)節(jié)點(diǎn)、每個(gè)節(jié)點(diǎn)1個(gè)站點(diǎn)構(gòu)成。因此圖中的表都只分成3個(gè)區(qū)，當(dāng)然也可以分成更多的區(qū)，那么一張表在單個(gè)節(jié)點(diǎn)上則存在多個(gè)分區(qū)。

具體在使用上涉及以下幾個(gè)概念：

客戶端可以連接集群中任意一個(gè)節(jié)點(diǎn)，集群中所有節(jié)點(diǎn)是對(duì)等的，采用的也是水平分區(qū)的方式；

每張表指定一個(gè)字段作為分區(qū)鍵，VoltDB使用該鍵采用哈希算法方式分布表數(shù)據(jù)到各個(gè)分區(qū)。事實(shí)上VoltDB中存在兩種類型的表，一種是分區(qū)表，還有一種叫做”Replicated table”。”Replicated表”在每個(gè)節(jié)點(diǎn)存儲(chǔ)的不是某張表的部分?jǐn)?shù)據(jù)，而是全部數(shù)據(jù)，適用于小數(shù)據(jù)量的表。

這里我們主要看重分區(qū)表，分區(qū)表的分區(qū)字段的選擇很重要，應(yīng)該盡量選擇使數(shù)據(jù)分散均勻的字段。

VoltDB支持的客戶端語言或接口：

C++

C#

Erlang

Go

Java

Python

Node.js

JDBC 驅(qū)動(dòng)接口

HTTPJSON 接口 (這意味著所有能實(shí)現(xiàn)http請(qǐng)求語言，都能編寫VoltDB的客戶端程序，且非常直觀)

為什么不用NoSQL

當(dāng)為大家描述我們的整體服務(wù)架構(gòu)時(shí)，最常見的兩個(gè)問題是：

為什么采用結(jié)構(gòu)化方式將數(shù)據(jù)存儲(chǔ)在SQL數(shù)據(jù)庫中，而不使用NoSQL平臺(tái)？

為什么自己維護(hù)數(shù)據(jù)中心，而不將Evernote托管到云服務(wù)提供商？

這兩個(gè)問題都很有趣，我們先來探討第一個(gè)。

對(duì)特定的應(yīng)用而言，相比一個(gè)單一的SQL實(shí)例，一個(gè)現(xiàn)代的鍵值存儲(chǔ)引擎具備顯著的性能優(yōu)勢(shì)和可擴(kuò)展性。

CREATE TABLE notebooks ( id int UNSIGNED NOT NULL PRIMARY KEY, guid binary(16) NOT NULL, user_id int UNSIGNED NOT NULL, name varchar(100) COLLATE utf8_bin NOT NULL, ... ) ENGINE=InnoDB DEFAULT CHARSET=utf8; CREATE TABLE notes ( id int UNSIGNED NOT NULL PRIMARY KEY, guid binary(16) NOT NULL, user_id int UNSIGNED NOT NULL, notebook_id int UNSIGNED NOT NULL, title varchar(255) NOT NULL, ... FOREIGN KEY (notebook_id) REFERENCES notebooks(id) ) ENGINE=InnoDB DEFAULT CHARSET=utf8;

如果你在Windows客戶端上創(chuàng)建了一個(gè)名為“Cooking”的記事本，并立即在其中粘貼了一個(gè)名為“Quick Tomato Sauce”的食譜，客戶端會(huì)立刻進(jìn)行如下同步：

調(diào)用NoteStore.createNotebook() 請(qǐng)求服務(wù)器創(chuàng)建記事本，并返回以創(chuàng)建記事本的GUID。

通過指定記事本的GUID，調(diào)用NoteStore.createNote()在記事本中創(chuàng)建筆記。

每次API調(diào)用都通過SQL事物予以實(shí)現(xiàn)，可以讓客戶端完全信任服務(wù)器的任何提示。ACID兼容的數(shù)據(jù)庫可以做到這些：

原子性（Atomicity）：如果API調(diào)用成功，那么所有的改動(dòng)都會(huì)保存；如果API調(diào)用失敗，所有的改動(dòng)都不會(huì)提交。

一致性（Consistency）： 在API調(diào)用完成后，所有的賬戶都可用，并能保證內(nèi)部狀態(tài)的一致性。每篇筆記都與記事本相關(guān)聯(lián)，以避免出現(xiàn)孤立項(xiàng)。數(shù)據(jù)庫不允許刪除關(guān)聯(lián)有記事的記事本，這得感謝FOREIGN KEY約束。

持久性（Durability）：當(dāng)服務(wù)器發(fā)送記事本已創(chuàng)建完畢的回執(zhí)后，客戶端會(huì)認(rèn)為它的存在具有持久性，以便進(jìn)行后續(xù)的操作。變更的持久性，可以讓客戶端知道在任何時(shí)刻對(duì)服務(wù)狀態(tài)的影響都能保持一致性。

對(duì)我們的同步協(xié)議而言，持久性最為重要。如果客戶端不能確定服務(wù)器端的變更具有持久性，那么協(xié)議將會(huì)變得復(fù)雜而低效。

“大數(shù)據(jù)”問題

得益于事務(wù)處理的數(shù)據(jù)庫的ACID屬性，同樣使得數(shù)據(jù)集非常難以擴(kuò)展，以超出單臺(tái)服務(wù)器的范圍。數(shù)據(jù)庫集群和多主復(fù)制技術(shù)并不理想，鍵值存儲(chǔ)為實(shí)現(xiàn)可擴(kuò)展性提供了一條捷徑。

所幸，Evernote暫時(shí)不需要考慮這個(gè)問題。即便是我們有近10億的筆記，和近20億的資源文件，這也并不能稱得上是一個(gè)大數(shù)據(jù)集。通過按用戶分區(qū)，它被劃分成了2千萬個(gè)獨(dú)立的數(shù)據(jù)集。

我們尚未遇到所謂“大數(shù)據(jù)”引發(fā)的問題，倒是遇到了許多“中數(shù)據(jù)”的存儲(chǔ)問題，這就是通過規(guī)整分區(qū)形成的分片存儲(chǔ)架構(gòu)。

也許以后……

我們對(duì)新的存儲(chǔ)系統(tǒng)非常感興趣，非常樂意應(yīng)用在哪些對(duì)ACID要求不強(qiáng)，但確實(shí)需要橫向擴(kuò)展的新項(xiàng)目中。例如，我們的報(bào)告分析系統(tǒng)已經(jīng)逐漸超出了MySQL平臺(tái)的承受力，需要被更快、更先進(jìn)的系統(tǒng)所取代。

我們現(xiàn)在對(duì)以Evernote用戶元數(shù)據(jù)為基礎(chǔ)的MySQL分片存儲(chǔ)頗為滿意，盡管這不會(huì)引起那些IT弄潮兒的興趣。

為什么使用nosql

因?yàn)樗俣瓤臁Ｄ闵蟽|級(jí)數(shù)據(jù)的情況下NOSQL是比普通SQL效率更高，哪怕有索引。畢竟NOSQL的存儲(chǔ)空間使用是普通SQL三倍多。基本都用在索引方面了。

如果是全文搜索關(guān)鍵字，左右模糊等就更甩SQL幾條街了

MySQL與PostgreSQL比較 哪個(gè)數(shù)據(jù)庫更好

如果打算為項(xiàng)目選擇一款免費(fèi)、開源的數(shù)據(jù)庫，那么你可能會(huì)在MySQL與PostgreSQL之間猶豫不定。MySQL與PostgreSQL都是免費(fèi)、開源、強(qiáng)大、且功能豐富的數(shù)據(jù)庫。你主要的問題可能是：哪一個(gè)才是最好的開源數(shù)據(jù)庫，MySQL還是PostgreSQL呢？該選擇哪一個(gè)開源數(shù)據(jù)庫呢？

在選擇數(shù)據(jù)庫時(shí)，你所做的是個(gè)長期的決策，因?yàn)楹竺嫒绻俑淖儧Q定將是非常困難且代價(jià)高昂的。你希望一開始就選擇正確。兩個(gè)流行的開源數(shù)據(jù)庫MySQL與PostgreSQL常常成為最后要選擇的產(chǎn)品。對(duì)這兩個(gè)開源數(shù)據(jù)庫的高層次概覽將會(huì)有助于你選擇最適合自己需要的。

MySQL

MySQL相對(duì)來說比較年輕，首度出現(xiàn)在1994年。它聲稱自己是最流行的開源數(shù)據(jù)庫。MySQL就是LAMP（用于Web開發(fā)的軟件包，包括 Linux、Apache及Perl/PHP/Python）中的M。構(gòu)建在LAMP棧之上的大多數(shù)應(yīng)用都會(huì)使用MySQL，包括那些知名的應(yīng)用，如 WordPress、Drupal、Zend及phpBB等。

一開始，MySQL的設(shè)計(jì)目標(biāo)是成為一個(gè)快速的Web服務(wù)器后端，使用快速的索引序列訪問方法（ISAM），不支持ACID。經(jīng)過早期快速的發(fā)展之 后，MySQL開始支持更多的存儲(chǔ)引擎，并通過InnoDB引擎實(shí)現(xiàn)了ACID。MySQL還支持其他存儲(chǔ)引擎，提供了臨時(shí)表的功能（使用MEMORY存 儲(chǔ)引擎），通過MyISAM引擎實(shí)現(xiàn)了高速讀的數(shù)據(jù)庫，此外還有其他的核心存儲(chǔ)引擎與第三方引擎。

MySQL的文檔非常豐富，有很多質(zhì)量不錯(cuò)的免費(fèi)參考手冊(cè)、圖書與在線文檔，還有來自于Oracle和第三方廠商的培訓(xùn)與支持。

MySQL近幾年經(jīng)歷了所有權(quán)的變更和一些頗具戲劇性的事件。它最初是由MySQL AB開發(fā)的，然后在2008年以10億美金的價(jià)格賣給了Sun公司，Sun公司又在2010年被Oracle收購。Oracle支持MySQL的多個(gè)版 本：Standard、Enterprise、Classic、Cluster、Embedded與Community。其中有一些是免費(fèi)下載的，另外一 些則是收費(fèi)的。其核心代碼基于GPL許可，對(duì)于那些不想使用GPL許可的開發(fā)者與廠商來說還有商業(yè)許可可供使用。

現(xiàn)在，基于最初的MySQL代碼還有更多的數(shù)據(jù)庫可供選擇，因?yàn)閹讉€(gè)核心的MySQL開發(fā)者已經(jīng)發(fā)布了MySQL分支。最初的MySQL創(chuàng)建者之一 Michael "Monty" Widenius貌似后悔將MySQL賣給了Sun公司，于是又開發(fā)了他自己的MySQL分支MariaDB，它是免費(fèi)的，基于GPL許可。知名的 MySQL開發(fā)者Brian Aker所創(chuàng)建的分支Drizzle對(duì)其進(jìn)行了大量的改寫，特別針對(duì)多CPU、云、網(wǎng)絡(luò)應(yīng)用與高并發(fā)進(jìn)行了優(yōu)化。

PostgreSQL

PostgreSQL標(biāo)榜自己是世界上最先進(jìn)的開源數(shù)據(jù)庫。PostgreSQL的一些粉絲說它能與Oracle相媲美，而且沒有那么昂貴的價(jià)格和傲慢的客服。它擁有很長的歷史，最初是1985年在加利福尼亞大學(xué)伯克利分校開發(fā)的，作為Ingres數(shù)據(jù)庫的后繼。

PostgreSQL是完全由社區(qū)驅(qū)動(dòng)的開源項(xiàng)目，由全世界超過1000名貢獻(xiàn)者所維護(hù)。它提供了單個(gè)完整功能的版本，而不像MySQL那樣提供了 多個(gè)不同的社區(qū)版、商業(yè)版與企業(yè)版。PostgreSQL基于自由的BSD/MIT許可，組織可以使用、復(fù)制、修改和重新分發(fā)代碼，只需要提供一個(gè)版權(quán)聲 明即可。

可靠性是PostgreSQL的最高優(yōu)先級(jí)。它以堅(jiān)如磐石的品質(zhì)和良好的工程化而聞名，支持高事務(wù)、任務(wù)關(guān)鍵型應(yīng)用。PostgreSQL的文檔非 常精良，提供了大量免費(fèi)的在線手冊(cè)，還針對(duì)舊版本提供了歸檔的參考手冊(cè)。PostgreSQL的社區(qū)支持是非常棒的，還有來自于獨(dú)立廠商的商業(yè)支持。

數(shù)據(jù)一致性與完整性也是PostgreSQL的高優(yōu)先級(jí)特性。PostgreSQL是完全支持ACID特性的，它對(duì)于數(shù)據(jù)庫訪問提供了強(qiáng)大的安全性 保證，充分利用了企業(yè)安全工具，如Kerberos與OpenSSL等。你可以定義自己的檢查，根據(jù)自己的業(yè)務(wù)規(guī)則確保數(shù)據(jù)質(zhì)量。在眾多的管理特性 中，point-in-time recovery（PITR）是非常棒的特性，這是個(gè)靈活的高可用特性，提供了諸如針對(duì)失敗恢復(fù)創(chuàng)建熱備份以及快照與恢復(fù)的能力。但這并不是 PostgreSQL的全部，項(xiàng)目還提供了幾個(gè)方法來管理PostgreSQL以實(shí)現(xiàn)高可用、負(fù)載均衡與復(fù)制等，這樣你就可以使用適合自己特定需求的功能 了。

平臺(tái)

MySQL與PostgreSQL都出現(xiàn)在一些高流量的Web站點(diǎn)上：

MySQL：Slashdot、Twitter、Facebook與Wikipedia

PostgreSQL：Yahoo使用了一個(gè)修改的PostgreSQL數(shù)據(jù)庫來處理每天數(shù)以億計(jì)的事件，還有Reddit和Disqus

MySQL與PostgreSQL都能運(yùn)行在多個(gè)操作系統(tǒng)上，如Linux、Unix、Mac OS X與Windows。他們都是開源、免費(fèi)的，因此測(cè)試他們時(shí)的唯一代價(jià)就是你的時(shí)間與硬件。他們都很靈活且具有可伸縮性，可用在小型系統(tǒng)和大型分布式系統(tǒng) 上。MySQL在一個(gè)領(lǐng)域上要比PostgreSQL更進(jìn)一步，那就是它的觸角延伸到了嵌入式領(lǐng)域，這是通過libmysqld實(shí)現(xiàn)的。 PostgreSQL不支持嵌入式應(yīng)用，依然堅(jiān)守在傳統(tǒng)的客戶端/服務(wù)器架構(gòu)上。

MySQL通常被認(rèn)為是針對(duì)網(wǎng)站與應(yīng)用的快速數(shù)據(jù)庫后端，能夠進(jìn)行快速的讀取和大量的查詢操作，不過在復(fù)雜特性與數(shù)據(jù)完整性檢查方面不太盡如人意。 PostgreSQL是針對(duì)事務(wù)型企業(yè)應(yīng)用的嚴(yán)肅、功能完善的數(shù)據(jù)庫，支持強(qiáng)ACID特性和很多數(shù)據(jù)完整性檢查。他們二者都在某些任務(wù)上具有很快的速 度，MySQL不同存儲(chǔ)引擎的行為有較大差別。MyISAM引擎是最快的，因?yàn)樗粓?zhí)行很少的數(shù)據(jù)完整性檢查，適合于后端讀操作較多的站點(diǎn)，不過對(duì)于包含 敏感數(shù)據(jù)的讀/寫數(shù)據(jù)庫來說就是個(gè)災(zāi)難了，因?yàn)镸yISAM表最終可能會(huì)損壞。MySQL提供了修復(fù)MySQL表的工具，不過對(duì)于敏感數(shù)據(jù)來說，支持 ACID特性的InnoDB則是個(gè)更好的選擇。

與之相反，PostgreSQL則是個(gè)只有單一存儲(chǔ)引擎的完全集成的數(shù)據(jù)庫。你可以通過調(diào)整postgresql.conf文件的參數(shù)來改進(jìn)性能，也可以調(diào)整查詢與事務(wù)。PostgreSQL文檔對(duì)于性能調(diào)優(yōu)提供了非常詳盡的介紹。

MySQL與PostgreSQL都是高可配置的，并且可以針對(duì)不同的任務(wù)進(jìn)行相應(yīng)的優(yōu)化。他們都支持通過擴(kuò)展來添加額外的功能。

一個(gè)常見的誤解就是MySQL要比PostgreSQL更容易學(xué)習(xí)。關(guān)系數(shù)據(jù)庫系統(tǒng)都是非常復(fù)雜的，這兩個(gè)數(shù)據(jù)庫的學(xué)習(xí)曲線其實(shí)是差不多的。

標(biāo)準(zhǔn)兼容性

PostgreSQL旨在實(shí)現(xiàn)SQL兼容性（當(dāng)前標(biāo)準(zhǔn)是ANSI-SQL:2008）。MySQL則兼容大部分SQL，不過還有自己的擴(kuò)展，可以支 持NoSQL特性，這在參考手冊(cè)中都有介紹。每種方式都有優(yōu)缺點(diǎn)。兼容標(biāo)準(zhǔn)會(huì)讓數(shù)據(jù)庫管理員、數(shù)據(jù)庫開發(fā)者與應(yīng)用開發(fā)者更舒服一些，因?yàn)檫@意味著他們只需 學(xué)習(xí)一套標(biāo)準(zhǔn)、一套特性和命令即可。這會(huì)節(jié)省時(shí)間，提升效率，也不會(huì)被鎖定在特定的廠商上。

支持使用非標(biāo)準(zhǔn)的自定義功能的人們認(rèn)為這樣可以快速采用新的特性，而不必等待標(biāo)準(zhǔn)進(jìn)程完成。ANSI/ISO標(biāo)準(zhǔn)在不斷演化，因此標(biāo)準(zhǔn)兼容性也是個(gè) 變化的目標(biāo)：知名的關(guān)系型數(shù)據(jù)庫Microsoft SQL Server、Oracle與IBM DB2也只是部分兼容于標(biāo)準(zhǔn)。

結(jié)論

雖然有不同的歷史、引擎與工具，不過并沒有明確的參考能夠表明這兩個(gè)數(shù)據(jù)庫哪一個(gè)能夠適用于所有情況。很多組織喜歡使用PostgreSQL，因?yàn)?它的可靠性好，在保護(hù)數(shù)據(jù)方面很擅長，而且是個(gè)社區(qū)項(xiàng)目，不會(huì)陷入廠商的牢籠之中。MySQL更加靈活，提供了更多選項(xiàng)來針對(duì)不同的任務(wù)進(jìn)行裁剪。很多時(shí) 候，對(duì)于一個(gè)組織來說，對(duì)某個(gè)軟件使用的熟練程度要比特性上的原因更重要。

一、NoSQL數(shù)據(jù)庫簡(jiǎn)介

Web1.0的時(shí)代，數(shù)據(jù)訪問量很有限，用一夫當(dāng)關(guān)的高性能的單點(diǎn)服務(wù)器可以解決大部分問題。

隨著Web2.0的時(shí)代的到來，用戶訪問量大幅度提升，同時(shí)產(chǎn)生了大量的用戶數(shù)據(jù)。加上后來的智能移動(dòng)設(shè)備的普及，所有的互聯(lián)網(wǎng)平臺(tái)都面臨了巨大的性能挑戰(zhàn)。

NoSQL(NoSQL = Not Only SQL )，意即“不僅僅是SQL”，泛指非關(guān)系型的數(shù)據(jù)庫。

NoSQL 不依賴業(yè)務(wù)邏輯方式存儲(chǔ)，而以簡(jiǎn)單的key-value模式存儲(chǔ)。因此大大的增加了數(shù)據(jù)庫的擴(kuò)展能力。

Memcache Memcache Redis Redis MongoDB MongoDB 列式數(shù)據(jù)庫 列式數(shù)據(jù)庫 Hbase Hbase

HBase是Hadoop項(xiàng)目中的數(shù)據(jù)庫。它用于需要對(duì)大量的數(shù)據(jù)進(jìn)行隨機(jī)、實(shí)時(shí)的讀寫操作的場(chǎng)景中。

HBase的目標(biāo)就是處理數(shù)據(jù)量非常龐大的表，可以用普通的計(jì)算機(jī)處理超過10億行數(shù)據(jù)，還可處理有數(shù)百萬列元素的數(shù)據(jù)表。

Cassandra Cassandra

Apache Cassandra是一款免費(fèi)的開源NoSQL數(shù)據(jù)庫，其設(shè)計(jì)目的在于管理由大量商用服務(wù)器構(gòu)建起來的龐大集群上的海量數(shù)據(jù)集(數(shù)據(jù)量通常達(dá)到PB級(jí)別)。在眾多顯著特性當(dāng)中，Cassandra最為卓越的長處是對(duì)寫入及讀取操作進(jìn)行規(guī)模調(diào)整，而且其不強(qiáng)調(diào)主集群的設(shè)計(jì)思路能夠以相對(duì)直觀的方式簡(jiǎn)化各集群的創(chuàng)建與擴(kuò)展流程。

主要應(yīng)用：社會(huì)關(guān)系，公共交通網(wǎng)絡(luò)，地圖及網(wǎng)絡(luò)拓譜(n*(n-1)/2)

分享文章：nosql10億,國產(chǎn)nosql數(shù)據(jù)庫
文章分享：http://chinadenli.net/article12/dsihhgc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供用戶體驗(yàn)、營銷型網(wǎng)站建設(shè)、域名注冊(cè)、軟件開發(fā)、小程序開發(fā)、網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)