大數(shù)據(jù)方面核心技術(shù)有哪些？

大數(shù)據(jù)技術(shù)的體系龐大且復(fù)雜，基礎(chǔ)的技術(shù)包含數(shù)據(jù)的采集、數(shù)據(jù)預(yù)處理、分布式存儲(chǔ)、數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、機(jī)器學(xué)習(xí)、并行計(jì)算、可視化等。

創(chuàng)新互聯(lián)公司是一家專業(yè)提供尼木企業(yè)網(wǎng)站建設(shè),專注與成都網(wǎng)站建設(shè)、成都做網(wǎng)站、H5場(chǎng)景定制、小程序制作等業(yè)務(wù)。10年已為尼木眾多企業(yè)、政府機(jī)構(gòu)等服務(wù)。創(chuàng)新互聯(lián)專業(yè)網(wǎng)絡(luò)公司優(yōu)惠進(jìn)行中。

1、數(shù)據(jù)采集與預(yù)處理：FlumeNG實(shí)時(shí)日志收集系統(tǒng)，支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；Zookeeper是一個(gè)分布式的，開(kāi)放源碼的分布式應(yīng)用程序協(xié)調(diào)服務(wù)，提供數(shù)據(jù)同步服務(wù)。

2、數(shù)據(jù)存儲(chǔ)：Hadoop作為一個(gè)開(kāi)源的框架，專為離線和大規(guī)模數(shù)據(jù)分析而設(shè)計(jì)，HDFS作為其核心的存儲(chǔ)引擎，已被廣泛用于數(shù)據(jù)存儲(chǔ)。HBase，是一個(gè)分布式的、面向列的開(kāi)源數(shù)據(jù)庫(kù)，可以認(rèn)為是hdfs的封裝，本質(zhì)是數(shù)據(jù)存儲(chǔ)、NoSQL數(shù)據(jù)庫(kù)。

3、數(shù)據(jù)清洗：MapReduce作為Hadoop的查詢引擎，用于大規(guī)模數(shù)據(jù)集的并行計(jì)算。

4、數(shù)據(jù)查詢分析：Hive的核心工作就是把SQL語(yǔ)句翻譯成MR程序，可以將結(jié)構(gòu)化的數(shù)據(jù)映射為一張數(shù)據(jù)庫(kù)表，并提供HQL(HiveSQL)查詢功能。Spark啟用了內(nèi)存分布數(shù)據(jù)集，除了能夠提供交互式查詢外，它還可以優(yōu)化迭代工作負(fù)載。

5、數(shù)據(jù)可視化：對(duì)接一些BI平臺(tái)，將分析得到的數(shù)據(jù)進(jìn)行可視化，用于指導(dǎo)決策服務(wù)。

NoSQL 數(shù)據(jù)庫(kù)：何時(shí)使用 NoSQL 與 SQL？

NoSQL 數(shù)據(jù)庫(kù)因其功能性、易于開(kāi)發(fā)性和可擴(kuò)展性而廣受認(rèn)可，它們?cè)絹?lái)越多地用于大數(shù)據(jù)和實(shí)時(shí) Web 應(yīng)用程序，在本文中，我們通過(guò)示例討論 NoSQL、何時(shí)使用 NoSQL 與 SQL 及其用例。

NoSQL是一種下一代數(shù)據(jù)庫(kù)管理系統(tǒng) (DBMS)。NoSQL 數(shù)據(jù)庫(kù)具有靈活的模式，可用于構(gòu)建具有大量數(shù)據(jù)和高負(fù)載的現(xiàn)代應(yīng)用程序。

“NoSQL”一詞最初是由 Carlo Strozzi 在 1998 年創(chuàng)造的，盡管自 1960 年代后期以來(lái)就已經(jīng)存在類似的數(shù)據(jù)庫(kù)。然而，NoSQL 的發(fā)展始于 2009 年初，并且發(fā)展迅速。

在處理大量數(shù)據(jù)時(shí)，任何關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng) (RDBMS) 的響應(yīng)時(shí)間都會(huì)變慢。為了解決這個(gè)問(wèn)題，我們可以通過(guò)升級(jí)現(xiàn)有硬件來(lái)“擴(kuò)大”信息系統(tǒng)，這非常昂貴。但是，NoSQL 可以更好地橫向擴(kuò)展并且更具成本效益。

NoSQL 對(duì)于非結(jié)構(gòu)化或非常大的數(shù)據(jù)對(duì)象（例如聊天日志數(shù)據(jù)、視頻或圖像）非常有用，這就是為什么 NoSQL 在微軟、谷歌、亞馬遜、Meta (Facebook) 等互聯(lián)網(wǎng)巨頭中特別受歡迎的原因。

一些流行的 NoSQL 數(shù)據(jù)庫(kù)包括：

隨著企業(yè)更快地積累更大的數(shù)據(jù)集，結(jié)構(gòu)化數(shù)據(jù)和關(guān)系模式并不總是適合。有必要使用非結(jié)構(gòu)化數(shù)據(jù)和大型對(duì)象來(lái)更好地捕獲這些信息。

傳統(tǒng)的 RDBMS 使用 SQL（結(jié)構(gòu)化查詢語(yǔ)言）語(yǔ)法來(lái)存儲(chǔ)和檢索結(jié)構(gòu)化數(shù)據(jù)，相反，NoSQL 數(shù)據(jù)庫(kù)包含廣泛的功能，可以存儲(chǔ)和檢索結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化和多態(tài)數(shù)據(jù)。

有時(shí)，NoSQL 也被稱為“ 不僅僅是 SQL ”，強(qiáng)調(diào)它可能支持類似 SQL 的語(yǔ)言或與 SQL 數(shù)據(jù)庫(kù)并列。SQL 和 NoSQL DBMS 之間的一個(gè)區(qū)別是 JOIN 功能。SQL 數(shù)據(jù)庫(kù)使用 JOIN 子句來(lái)組合來(lái)自兩個(gè)或多個(gè)表的行，因?yàn)?NoSQL 數(shù)據(jù)庫(kù)本質(zhì)上不是表格的，所以這個(gè)功能并不總是可行或相關(guān)的。

但是，一些 NoSQL DBMS 可以執(zhí)行類似于 JOIN的操作——就像 MongoDB 一樣。這并不意味著不再需要 SQL DBMS，相反，NoSQL 和 SQL 數(shù)據(jù)庫(kù)傾向于以不同的方式解決類似的問(wèn)題。

一般來(lái)說(shuō)，在以下情況下，NoSQL 比 SQL 更可取：

許多行業(yè)都在采用 NoSQL，取代關(guān)系數(shù)據(jù)庫(kù)，從而為某些業(yè)務(wù)應(yīng)用程序提供更高的靈活性和可擴(kuò)展性，下面給出了 NoSQL 數(shù)據(jù)庫(kù)的一些企業(yè)用例。

內(nèi)容管理是一組用于收集、管理、傳遞、檢索和發(fā)布任何格式的信息的過(guò)程，包括文本、圖像、音頻和視頻。NoSQL 數(shù)據(jù)庫(kù)可以通過(guò)其靈活和開(kāi)放的數(shù)據(jù)模型為存儲(chǔ)多媒體內(nèi)容提供更好的選擇。

例如，福布斯在短短幾個(gè)月內(nèi)就構(gòu)建了一個(gè)基于 MongoDB 的定制內(nèi)容管理系統(tǒng)，以更低的成本為他們提供了更大的敏捷性。

大數(shù)據(jù)是指太大而無(wú)法通過(guò)傳統(tǒng)處理系統(tǒng)處理的數(shù)據(jù)集，實(shí)時(shí)存儲(chǔ)和檢索大數(shù)據(jù)的系統(tǒng)在分析 歷史 數(shù)據(jù)的同時(shí)使用流處理來(lái)攝取新數(shù)據(jù)，這是一系列非常適合 NoSQL 數(shù)據(jù)庫(kù)的功能。

Zoom使用 DynamoDB（按需模式）使其數(shù)據(jù)能夠在沒(méi)有性能問(wèn)題的情況下進(jìn)行擴(kuò)展，即使該服務(wù)在 COVID-19 大流行的早期使用量激增。

物聯(lián)網(wǎng)設(shè)備具有連接到互聯(lián)網(wǎng)或通信網(wǎng)絡(luò)的嵌入式軟件和傳感器，能夠在無(wú)需人工干預(yù)的情況下收集和共享數(shù)據(jù)。隨著數(shù)十億臺(tái)設(shè)備生成數(shù)不清的數(shù)據(jù)，IoT NoSQL 數(shù)據(jù)庫(kù)為 IoT 服務(wù)提供商提供了可擴(kuò)展性和更靈活的架構(gòu)。

Freshub就是這樣的一項(xiàng)服務(wù)，它從 MySQL 切換到 MongoDB，以更好地處理其大型、動(dòng)態(tài)、非統(tǒng)一的數(shù)據(jù)集。

擁有數(shù)十億智能手機(jī)用戶，可擴(kuò)展性正成為在移動(dòng)設(shè)備上提供服務(wù)的企業(yè)面臨的最大挑戰(zhàn)。具有更靈活數(shù)據(jù)模型的 NoSQL DBMS 通常是完美的解決方案。

例如，The Weather Channel使用 MongoDB 數(shù)據(jù)庫(kù)每分鐘處理數(shù)百萬(wàn)個(gè)請(qǐng)求，同時(shí)還處理用戶數(shù)據(jù)并提供天氣更新。

數(shù)據(jù)庫(kù)應(yīng)該選擇什么？

1.數(shù)據(jù)量太大，比如上億，就用oracle，優(yōu)點(diǎn)上億數(shù)據(jù)對(duì)Oracle來(lái)說(shuō)輕飄飄的，也不用太多優(yōu)化配置，缺點(diǎn)安裝比較麻煩，上手比較慢。

2.數(shù)據(jù)量較大，比如千萬(wàn)級(jí)，用postgresql，它號(hào)稱對(duì)標(biāo)Oracle，處理千萬(wàn)級(jí)數(shù)據(jù)還是可以的，也是易學(xué)易用。

3.數(shù)據(jù)量一般，比如百萬(wàn)級(jí)，用mysql，這個(gè)級(jí)別的數(shù)據(jù)量mysql處理還是比較快的。

4.數(shù)據(jù)量較小，比如十萬(wàn)以下，sqlite、access都可以。

上面是基于單表操作的數(shù)據(jù)量，你看著選。

簡(jiǎn)單易用的數(shù)據(jù)庫(kù)哪個(gè)比較好？這個(gè)要具體看你的用途，如果數(shù)據(jù)量比較少（10萬(wàn)左右），追求簡(jiǎn)約簡(jiǎn)單，免費(fèi)開(kāi)源的sqlite就行，如果數(shù)據(jù)量比較多，考慮到高并發(fā)、分布式，可以使用專業(yè)的mysql、postgresql，下面我分別簡(jiǎn)單介紹一下，感興趣的朋友可以嘗試一下：

小巧靈活sqlite

這是基于c語(yǔ)言開(kāi)發(fā)的一個(gè)輕量級(jí)關(guān)系型數(shù)據(jù)庫(kù)，短小精悍、免費(fèi)開(kāi)源，個(gè)人使用無(wú)需繁瑣的配置，只需一個(gè)簡(jiǎn)單的運(yùn)行庫(kù)便可直接使用，針對(duì)各種編程語(yǔ)言都提供了豐富的API接口， java、 python、c#等都可輕松操作，如果你存儲(chǔ)數(shù)據(jù)量不多，只是本地簡(jiǎn)單的操作（讀多寫(xiě)少），可以使用一下這個(gè)數(shù)據(jù)庫(kù)，占用內(nèi)存非常少，輕便靈活，當(dāng)然，在高并發(fā)、數(shù)據(jù)量大的情況下就不合適了：

專業(yè)強(qiáng)大mysql

這是目前應(yīng)該廣泛使用的一個(gè)關(guān)系型數(shù)據(jù)庫(kù)，免費(fèi)開(kāi)源跨平臺(tái)，在信息系統(tǒng)開(kāi)發(fā)方面一直占據(jù)著主力位置，如果你從事于web開(kāi)發(fā)或者網(wǎng)站后臺(tái)建設(shè)，那么這個(gè)數(shù)據(jù)庫(kù)一定非常熟悉，支持高并發(fā)、分布式，存儲(chǔ)數(shù)據(jù)量相對(duì)于sqlite來(lái)說(shuō)，更多也更安全，索引、觸發(fā)器、存儲(chǔ)過(guò)程等功能非常不錯(cuò)，支持?jǐn)?shù)據(jù)導(dǎo)入導(dǎo)出、恢復(fù)備份，只要你熟悉一下基本使用過(guò)程，很快就能掌握和運(yùn)用：

免費(fèi)開(kāi)源postgresql

這是加州大學(xué)計(jì)算機(jī)系開(kāi)發(fā)的一個(gè)對(duì)象-關(guān)系型數(shù)據(jù)庫(kù)（自由軟件），免費(fèi)、開(kāi)源、跨平臺(tái)，支持流計(jì)算、全文檢索、圖式搜索、并行計(jì)算、存儲(chǔ)過(guò)程、空間數(shù)據(jù)、K-V類型，相比較mysql來(lái)說(shuō)，在復(fù)雜查詢、高并發(fā)下更穩(wěn)定、性能更優(yōu)越，可擴(kuò)展性、可維護(hù)性非常不錯(cuò)，但也有劣勢(shì)，例如新舊版本不分離存儲(chǔ)，沒(méi)有Coverage index scan等，總體使用效果來(lái)說(shuō)還不錯(cuò)：

當(dāng)然，除了以上3個(gè)數(shù)據(jù)庫(kù)，還有許多其他數(shù)據(jù)庫(kù)，像mssql、oracle等也都非常不錯(cuò)，對(duì)于存儲(chǔ)和處理數(shù)據(jù)來(lái)說(shuō)綽綽有余，只要你熟悉一下基本使用過(guò)程，很快就能入門的，網(wǎng)上也有相關(guān)教程和資料，介紹的非常詳細(xì)，感興趣的話，可以搜一下，希望以上分享的內(nèi)容能對(duì)你有所幫助吧，也歡迎大家評(píng)論、留言進(jìn)行補(bǔ)充。

最符合初學(xué)者理解和入門的是Access，因?yàn)樗虴xcel本來(lái)就是一個(gè)套件，相互轉(zhuǎn)化容易，復(fù)制粘貼即可，非常好理解庫(kù)、表、字段、鍵的概念。

如果數(shù)據(jù)量不大，強(qiáng)烈推薦試試Filemaker，腳本化編程，自由定制輸入界面、工作流程，非常便捷高效。

最近殺出來(lái)的airtable，更是簡(jiǎn)單高效，界面美觀，操作與電子表格相當(dāng)，發(fā)展勢(shì)頭也非常迅猛。

二者側(cè)重點(diǎn)有所不同，用戶可根據(jù)需要選擇

作為一個(gè)軟件開(kāi)發(fā)人員，長(zhǎng)期需要和數(shù)據(jù)庫(kù)打交道，個(gè)人更加青睞于MySQL。雖然可能基于你的Excel原因，有些人會(huì)建議你使用Access數(shù)據(jù)庫(kù)，但是基于我個(gè)人的 意見(jiàn)，我并不建議你那樣做。采用MySql的具體理由如下：

1.MySQL具有普遍性，在國(guó)內(nèi)的環(huán)境中，絕大多數(shù)的互聯(lián)網(wǎng)企業(yè)采用的是MySQL。有了廣大的用戶基礎(chǔ)后，針對(duì)于各種問(wèn)題網(wǎng)上也能更好地找到解決方案。

2.MySQL相對(duì)于Oracle而言，更加輕量化，針對(duì)于從Excel量級(jí)的數(shù)據(jù)，沒(méi)必要使用Oracle。同時(shí)MySQL是完全免費(fèi)的，不用擔(dān)心版權(quán)及費(fèi)用問(wèn)題，無(wú)論對(duì)個(gè)人還是對(duì)預(yù)算有限的企業(yè)而言都是很好的選擇。

3.MySQL高度兼容標(biāo)準(zhǔn)SQL，這對(duì)于以后遷移到其他數(shù)據(jù)庫(kù)而言，也能很大程度地降低學(xué)習(xí)成本。

希望我的回答能夠?qū)δ阌兴鶐椭。。耶][耶][耶]

Excel辦公確實(shí)便利，可以做一些簡(jiǎn)單的數(shù)據(jù)分析，但涉及大量復(fù)雜的數(shù)據(jù)運(yùn)算，就會(huì)遇到和題主一樣的問(wèn)題，運(yùn)算速度慢，如果主機(jī)性能不是很好，還有可能面臨電腦死機(jī)，數(shù)據(jù)丟失等問(wèn)題。

遇到這種情況，我們?cè)撊绾谓鉀Q呢？數(shù)據(jù)庫(kù)的重要性顯而易見(jiàn)！

現(xiàn)在， 我將用3分鐘的時(shí)間，與您探討該選擇何種數(shù)據(jù)庫(kù)，以及選擇它的理由，是否有更優(yōu)的解決方案呢？

MySQL數(shù)據(jù)庫(kù)，90%的企業(yè)都會(huì)選擇它

數(shù)據(jù)庫(kù)選得好，企業(yè)的數(shù)據(jù)安全，資產(chǎn)安全，也就得到了保障。那么該如何選擇數(shù)據(jù)庫(kù)呢？這個(gè)跟你的業(yè)務(wù)量和業(yè)務(wù)服務(wù)行業(yè)，密不可分。

如果你只是上班打卡，用SQL server就可以了；

如果你要儲(chǔ)存會(huì)話信息，用戶配置信息，購(gòu)物車數(shù)據(jù)，建議使用NoSQL數(shù)據(jù)庫(kù)；

不過(guò)90%的企業(yè)或個(gè)人，首選數(shù)據(jù)庫(kù)都是MySQL數(shù)據(jù)庫(kù)。

為什么這么說(shuō)？

因?yàn)椋?低成本、高可用、可靠性強(qiáng)、易用性強(qiáng)、體積小、速度快開(kāi)放源碼 等特性于一身，所以在金融、財(cái)務(wù)、網(wǎng)站、 數(shù)據(jù)處理 等應(yīng)用領(lǐng)域，它占據(jù)著獨(dú)一無(wú)二的優(yōu)勢(shì)。

這也是幾乎所有企業(yè)都選擇它，來(lái)存儲(chǔ)數(shù)據(jù)的原因。

加之MySQL數(shù)據(jù)庫(kù)，支持多種存儲(chǔ)引擎，支持大型數(shù)據(jù)庫(kù)，可以處理成千上萬(wàn)條記錄，還提供用于管理、檢查、優(yōu)化數(shù)據(jù)庫(kù)操作的工具。

因而，MySQL尤其受個(gè)人，以及中小企業(yè)的推崇。

雖然MySQL數(shù)據(jù)庫(kù)簡(jiǎn)單易用，但我還是不會(huì)部署該怎么辦？

別擔(dān)心，現(xiàn)在市面上已經(jīng)出現(xiàn)了，一種自帶數(shù)據(jù)庫(kù)的新型辦公軟件。

比如說(shuō)，云表企業(yè)應(yīng)用平臺(tái)，一款兼容excel功能，但功能更為強(qiáng)大的辦公軟件，它就內(nèi)嵌了MySQL數(shù)據(jù)庫(kù)。 （文末有免費(fèi)獲取方式）

云表內(nèi)嵌的MySQL數(shù)據(jù)庫(kù)，有何優(yōu)點(diǎn)？

1. 性能更加優(yōu)化，更加兼容系統(tǒng)。因?yàn)樵票淼难邪l(fā)人員，時(shí)刻更新維護(hù)MySQL數(shù)據(jù)庫(kù)。

2. 省去自己手動(dòng)部署的麻煩。但如果你熟悉部署數(shù)據(jù)庫(kù)，想把數(shù)據(jù)庫(kù)改成Oracle或SQL server等數(shù)據(jù)庫(kù)，也可以設(shè)置。（不過(guò)，我建議IT小白還是 “拿來(lái)即用” 就好）

3. 快速實(shí)時(shí)計(jì)算。數(shù)據(jù)分析實(shí)時(shí)交互，完全滿足管理決策中的臨時(shí)性分析，多變的業(yè)務(wù)需求，以及頻繁的結(jié)果刷新。

4. 通過(guò)自帶的內(nèi)存計(jì)算引擎，無(wú)需事先建立CUBE，IT部門將告別報(bào)表延時(shí)報(bào)表分析，億級(jí)數(shù)據(jù)秒級(jí)響應(yīng)。

內(nèi)嵌的MySQL數(shù)據(jù)庫(kù)是否可靠

云表不僅是一款辦公軟件，同時(shí)還是一款開(kāi)發(fā)工具。

通過(guò)它，你將解決以下問(wèn)題：

復(fù)雜的數(shù)據(jù)運(yùn)算，精確到行列的權(quán)限管控，以及工作流，海量用戶同時(shí)在線辦公，數(shù)據(jù)透視，制作像銷售單，洽談合同等表單報(bào)表，一份制作，即可重復(fù)錄用......

你還可以通過(guò)它，與電子稱、地磅等進(jìn)行對(duì)接，與用友金蝶等三方系統(tǒng)集成，生成條形碼，掃碼出入庫(kù)，生成移動(dòng)端APP...... 基本上業(yè)務(wù)所需的功能，你都可以放心交給它做。

它最大的亮點(diǎn)就是，你可以 用使用excel的手法，用它來(lái)開(kāi)發(fā)業(yè)務(wù)應(yīng)用。

而且，可視化的 拖拉拽 之后，開(kāi)發(fā)出來(lái)的ERP、WMS、OA、進(jìn)銷存等業(yè)務(wù)應(yīng)用，還秉承了MySQL數(shù)據(jù)庫(kù)增刪改查的功能特性。

沒(méi)錯(cuò)，用云表開(kāi)發(fā)出來(lái)的業(yè)務(wù)應(yīng)用，是允許二次開(kāi)發(fā)的，而且功能可以隨時(shí)增刪改查，輕松滿足大集團(tuán)精細(xì)化的數(shù)據(jù)控制需求。

不過(guò)，大家最關(guān)心的應(yīng)該是數(shù)據(jù)安全問(wèn)題吧。

數(shù)據(jù)存放在云表內(nèi)嵌的MySQL數(shù)據(jù)庫(kù)，是安全不丟失的，它提供了多種數(shù)據(jù)存儲(chǔ)的方式，本地部署，云端部署，混合部署，任君挑選！

正因如此，像 恒逸石化、許繼電氣、航天科工委、中鐵、中冶、云南小松 等大型集團(tuán)，才鼓勵(lì)內(nèi)部員工去學(xué)習(xí)云表。

篇幅所限，只說(shuō)到這里，說(shuō)太多你也不會(huì)看。

免費(fèi) 的軟獲取方式在下方：

數(shù)據(jù)庫(kù)的用處可大著呢，不僅可以實(shí)現(xiàn)數(shù)據(jù)共享，減少數(shù)據(jù)冗余度，還能實(shí)現(xiàn)對(duì)數(shù)據(jù)的集中控制，保持?jǐn)?shù)據(jù)的一致性和可維護(hù)性。選取簡(jiǎn)單易用的數(shù)據(jù)庫(kù)，你有什么好的建議呢，留言讓我們看到噢！

題主強(qiáng)調(diào)了簡(jiǎn)單易用。所以推薦最簡(jiǎn)單三個(gè)。

1.Access。

2.Excel。

3.飛書(shū)文檔、騰訊文檔、石墨文檔等的表格。

如果要做分析，數(shù)據(jù)量才比較大，建議Access，還是專業(yè)的更好一些。網(wǎng)上教程也很多，比較容易學(xué)。而且建議用早一點(diǎn)的版本，比如2003或者2007，Access這些年微軟一直想從office里去掉，奈何用的人還是很多，所以不敢去掉，但是采取了一種比較惡心的方法讓用戶放棄，就是每發(fā)布一個(gè)新版本，就去掉一些好用的功能，所以說(shuō)Access是越早的功能越強(qiáng)。

還一個(gè)推薦就是Sql Server Express版本，是SQL Server的免費(fèi)版本，不要錢，基本功能都有，要比sqllite等強(qiáng)大的多

這要結(jié)合你個(gè)人實(shí)際情況來(lái)定，有計(jì)算機(jī)基礎(chǔ)，懂一點(diǎn)數(shù)據(jù)庫(kù)的話那么市場(chǎng)上的那些軟件都可以用，常用有oracle，sqlserver，mysql等，要上手快還是sqlserver比較快，界面操作也比較直觀；如果一點(diǎn)基礎(chǔ)都沒(méi)有，但是又要分析數(shù)據(jù)的話可以用微軟自帶的一個(gè)access，這個(gè)上手比較快。決定用哪一種之后還是要買點(diǎn)教材看，簡(jiǎn)單的sql查詢要會(huì)，熟練之后也能提高工作效率。

個(gè)人使用數(shù)據(jù)庫(kù)的話，只存數(shù)據(jù)不做分析，SQLite就足夠了。

一、NoSQL數(shù)據(jù)庫(kù)簡(jiǎn)介

Web1.0的時(shí)代，數(shù)據(jù)訪問(wèn)量很有限，用一夫當(dāng)關(guān)的高性能的單點(diǎn)服務(wù)器可以解決大部分問(wèn)題。

隨著Web2.0的時(shí)代的到來(lái)，用戶訪問(wèn)量大幅度提升，同時(shí)產(chǎn)生了大量的用戶數(shù)據(jù)。加上后來(lái)的智能移動(dòng)設(shè)備的普及，所有的互聯(lián)網(wǎng)平臺(tái)都面臨了巨大的性能挑戰(zhàn)。

NoSQL(NoSQL = Not Only SQL )，意即“不僅僅是SQL”，泛指非關(guān)系型的數(shù)據(jù)庫(kù)。

NoSQL 不依賴業(yè)務(wù)邏輯方式存儲(chǔ)，而以簡(jiǎn)單的key-value模式存儲(chǔ)。因此大大的增加了數(shù)據(jù)庫(kù)的擴(kuò)展能力。

Memcache Memcache Redis Redis MongoDB MongoDB 列式數(shù)據(jù)庫(kù) 列式數(shù)據(jù)庫(kù) Hbase Hbase

HBase是Hadoop項(xiàng)目中的數(shù)據(jù)庫(kù)。它用于需要對(duì)大量的數(shù)據(jù)進(jìn)行隨機(jī)、實(shí)時(shí)的讀寫(xiě)操作的場(chǎng)景中。

HBase的目標(biāo)就是處理數(shù)據(jù)量非常龐大的表，可以用普通的計(jì)算機(jī)處理超過(guò)10億行數(shù)據(jù)，還可處理有數(shù)百萬(wàn)列元素的數(shù)據(jù)表。

Cassandra Cassandra

Apache Cassandra是一款免費(fèi)的開(kāi)源NoSQL數(shù)據(jù)庫(kù)，其設(shè)計(jì)目的在于管理由大量商用服務(wù)器構(gòu)建起來(lái)的龐大集群上的海量數(shù)據(jù)集(數(shù)據(jù)量通常達(dá)到PB級(jí)別)。在眾多顯著特性當(dāng)中，Cassandra最為卓越的長(zhǎng)處是對(duì)寫(xiě)入及讀取操作進(jìn)行規(guī)模調(diào)整，而且其不強(qiáng)調(diào)主集群的設(shè)計(jì)思路能夠以相對(duì)直觀的方式簡(jiǎn)化各集群的創(chuàng)建與擴(kuò)展流程。

主要應(yīng)用：社會(huì)關(guān)系，公共交通網(wǎng)絡(luò)，地圖及網(wǎng)絡(luò)拓譜(n*(n-1)/2)

2019數(shù)據(jù)架構(gòu)選型必讀：1月數(shù)據(jù)庫(kù)產(chǎn)品技術(shù)解析

本期目錄

DB-Engines數(shù)據(jù)庫(kù)排行榜

新聞快訊

一、RDBMS家族

二、NoSQL家族

三、NewSQL家族

四、時(shí)間序列

五、大數(shù)據(jù)生態(tài)圈

六、國(guó)產(chǎn)數(shù)據(jù)庫(kù)概覽

七、云數(shù)據(jù)庫(kù)

八、推出dbaplus Newsletter的想法

九、感謝名單

為方便閱讀、重點(diǎn)呈現(xiàn)，本期Newsletter（2019年1月）將對(duì)各個(gè)板塊的內(nèi)容進(jìn)行精簡(jiǎn)。需要閱讀全文的同學(xué)可點(diǎn)擊文末 【閱讀原文】 或登錄

進(jìn)行下載。

DB-Engines數(shù)據(jù)庫(kù)排行榜

以下取自2019年1月的數(shù)據(jù)，具體信息可以參考，數(shù)據(jù)僅供參考。

DB-Engines排名的數(shù)據(jù)依據(jù)5個(gè)不同的因素：

新聞快訊

1、2018年9月24日，微軟公布了SQL Server2019預(yù)覽版，SQL Server 2019將結(jié)合Spark創(chuàng)建統(tǒng)一數(shù)據(jù)平臺(tái)。

2、2018年10月5日，ElasticSearch在美國(guó)紐約證券交易所上市。

3、亞馬遜放棄甲骨文數(shù)據(jù)庫(kù)軟件，導(dǎo)致最大倉(cāng)庫(kù)之一在黃金時(shí)段宕機(jī)。受此消息影響，亞馬遜盤前股價(jià)小幅跳水，跌超2%。

4、2018年10月31日，Percona發(fā)布了Percona Server 8.0 RC版本，發(fā)布對(duì)MongoDB 4.0的支持，發(fā)布對(duì)XtraBackup測(cè)試第二個(gè)版本。

5、2018年10月31日，Gartner陸續(xù)發(fā)布了2018年的數(shù)據(jù)庫(kù)系列報(bào)告，包括《數(shù)據(jù)庫(kù)魔力象限》、《數(shù)據(jù)庫(kù)核心能力》以及《數(shù)據(jù)庫(kù)推薦報(bào)告》。

今年的總上榜數(shù)據(jù)庫(kù)產(chǎn)品達(dá)到了5家，分別來(lái)自：阿里云，華為，巨杉數(shù)據(jù)庫(kù)，騰訊云，星環(huán) 科技 。其中阿里云和巨杉數(shù)據(jù)庫(kù)已經(jīng)連續(xù)兩年入選。

6、2018年11月初，Neo4j宣布完成E輪8000萬(wàn)美元融資。11月15日，Neo4j宣布企業(yè)版徹底閉源：

7、2019年1月8日，阿里巴巴以1.033億美元（9000萬(wàn)歐元）的價(jià)格收購(gòu)了Apache Flink商業(yè)公司DataArtisans。

8、2019年1月11日早間消息，亞馬遜宣布推出云數(shù)據(jù)庫(kù)軟件，亞馬遜和MongoDB將會(huì)直接競(jìng)爭(zhēng)。

RDBMS家族

Oracle 發(fā)布18.3版本

2018年7月，Oracle Database 18.3通用版開(kāi)始提供下載。我們可以將Oracle Database 18c視為采用之前發(fā)布模式的Oracle Database 12c第2版的第一個(gè)補(bǔ)丁集。未來(lái)，客戶將不再需要等待多年才能用上最新版Oracle數(shù)據(jù)庫(kù)，而是每年都可以期待新數(shù)據(jù)庫(kù)特性和增強(qiáng)。Database 19c將于2019年Q1率先在Oracle cloud上發(fā)布云版本。

Oracle Database 18c及19c部分關(guān)鍵功能：

1、性能

2、多租戶，大量功能增強(qiáng)及改進(jìn)，大幅節(jié)省成本和提高敏捷性

3、高可用

4、數(shù)據(jù)倉(cāng)庫(kù)和大數(shù)據(jù)

MySQL發(fā)布8.0.13版本

1、賬戶管理

經(jīng)過(guò)配置，修改密碼時(shí)，必須帶上原密碼。在之前的版本，用戶登錄之后，就可以修改自己的密碼。這種方式存在一定安全風(fēng)險(xiǎn)。比如用戶登錄上數(shù)據(jù)庫(kù)后，中途離開(kāi)一段時(shí)間，那么非法用戶可能會(huì)修改密碼。由參數(shù)password_require_current控制。

2、配置

Innodb表必須有主鍵。在用戶沒(méi)有指定主鍵時(shí)，系統(tǒng)會(huì)生成一個(gè)默認(rèn)的主鍵。但是在主從復(fù)制的場(chǎng)景下，默認(rèn)的主鍵，會(huì)對(duì)叢庫(kù)應(yīng)用速度帶來(lái)致命的影響。如果設(shè)置sql_require_primary_key，那么數(shù)據(jù)庫(kù)會(huì)強(qiáng)制用戶在創(chuàng)建表、修改表時(shí)，加上主鍵。

3、字段默認(rèn)值

BLOB、TEXT、GEOMETRY和JSON字段可以指定默認(rèn)值了。

4、優(yōu)化器

1）Skip Scan

非前綴索引也可以用了。

之前的版本，任何沒(méi)有帶上f1字段的查詢，都沒(méi)法使用索引。在新的版本中，它可以忽略前面的字段，讓這個(gè)查詢使用到索引。其實(shí)現(xiàn)原理就是把(f1 = 1 AND f2 40) 和(f1 = 2 AND f2 40)的查詢結(jié)果合并。

2）函數(shù)索引

之前版本只能基于某個(gè)列或者多個(gè)列加索引，但是不允許在上面做計(jì)算，如今這個(gè)限制消除了。

5、SQL語(yǔ)法

GROUP BY ASC和GROUP BY DESC語(yǔ)法已經(jīng)被廢棄，要想達(dá)到類似的效果，請(qǐng)使用GROUP BY ORDER BY ASC和GROUP BY ORDER BY DESC。

6、功能變化

1）設(shè)置用戶變量，請(qǐng)使用SET語(yǔ)句

如下類型語(yǔ)句將要被廢棄SELECT @var, @var:=@var+1。

2）新增innodb_fsync_threshold

該變量是控制文件刷新到磁盤的速率，防止磁盤在短時(shí)間內(nèi)飽和。

3）新增會(huì)話級(jí)臨時(shí)表空間

在以往的版本中，當(dāng)執(zhí)行SQL時(shí)，產(chǎn)生的臨時(shí)表都在全局表空間ibtmp1中，及時(shí)執(zhí)行結(jié)束，臨時(shí)表被釋放，空間不會(huì)被回收。新版本中，會(huì)為session從臨時(shí)表空間池中分配一個(gè)臨時(shí)表空間，當(dāng)連接斷開(kāi)時(shí)，臨時(shí)表空間的磁盤空間被回收。

4）在線切換Group Replication的狀態(tài)

5）新增了group_replication_member_expel_timeout

之前，如果某個(gè)節(jié)點(diǎn)被懷疑有問(wèn)題，在5秒檢測(cè)期結(jié)束之后，那么就直接被驅(qū)逐出這個(gè)集群。即使該節(jié)點(diǎn)恢復(fù)正常時(shí)，也不會(huì)再被加入集群。那么，瞬時(shí)的故障，會(huì)把某些節(jié)點(diǎn)驅(qū)逐出集群。

group_replication_member_expel_timeout讓管理員能更好的依據(jù)自身的場(chǎng)景，做出最合適的配置（建議配置時(shí)間小于一個(gè)小時(shí)）。

MariaDB 10.3版本功能展示

1、MariaDB 10.3支持update多表ORDER BY and LIMIT

1）update連表更新，limit語(yǔ)句

update t1 join t2 on t1.id=t2.id set t1.name='hechunyang' limit 3;

MySQL 8.0直接報(bào)錯(cuò)

MariaDB 10.3更新成功

2）update連表更新，ORDER BY and LIMIT語(yǔ)句

update t1 join t2 on t1.id=t2.id set t1.name='HEchunyang' order by t1.id DESC limit 3;

MySQL 8.0直接報(bào)錯(cuò)

MariaDB 10.3更新成功

參考：

2、MariaDB10.3增補(bǔ)AliSQL補(bǔ)丁——安全執(zhí)行Online DDL

Online DDL從名字上看很容易誤導(dǎo)新手，以為不論什么情況，修改表結(jié)構(gòu)都不會(huì)鎖表，理想很豐滿，現(xiàn)實(shí)很骨感，注意這個(gè)坑！

有以下兩種情況執(zhí)行DDL操作會(huì)鎖表的，Waiting for table metadata lock（元數(shù)據(jù)表鎖）：

針對(duì)第二種情況，MariaDB10.3增補(bǔ)AliSQL補(bǔ)丁-DDL FAST FAIL，讓其DDL操作快速失敗。

例：

如果線上有某個(gè)慢SQL對(duì)該表進(jìn)行操作，可以使用WAIT n（以秒為單位設(shè)置等待）或NOWAIT在語(yǔ)句中顯式設(shè)置鎖等待超時(shí)，在這種情況下，如果無(wú)法獲取鎖，語(yǔ)句將立即失敗。 WAIT 0相當(dāng)于NOWAIT。

參考：

3、MariaDB Window Functions窗口函數(shù)分組取TOP N記錄

窗口函數(shù)在MariaDB10.2版本里實(shí)現(xiàn)，其簡(jiǎn)化了復(fù)雜SQL的撰寫(xiě)，提高了可讀性。

參考：

Percona Server發(fā)布8.0 GA版本

2018年12月21日，Percona發(fā)布了Percona Server 8.0 GA版本。

在支持MySQL8.0社區(qū)的基礎(chǔ)版上，Percona Server for MySQL 8.0版本中帶來(lái)了許多新功能：

1、安全性和合規(guī)性

2、性能和可擴(kuò)展性

3、可觀察性和可用性

Percona Server for MySQL 8.0中將要被廢用功能：

Percona Server for MySQL 8.0中刪除的功能：

RocksDB發(fā)布V5.17.2版本

2018年10月24日，RocksDB發(fā)布V5.17.2版本。

RocksDB是Facebook在LevelDB基礎(chǔ)上用C++寫(xiě)的高效內(nèi)嵌式K/V存儲(chǔ)引擎。相比LevelDB，RocksDB提供了Column-Family，TTL，Transaction，Merge等方面的支持。目前MyRocks，TiKV等底層的存儲(chǔ)都是基于RocksDB來(lái)構(gòu)建。

PostgreSQL發(fā)布11版本

2018年10月18日，PostgreSQL 11發(fā)布。

1、PostgreSQL 11的重大增強(qiáng)

2、PostgreSQL 插件動(dòng)態(tài)

1）分布式插件citus發(fā)布 8.1

citus是PostgreSQL的一款sharding插件，目前國(guó)內(nèi)蘇寧、鐵總、探探有較大量使用案例。

2）地理信息插件postgis發(fā)布2.5.1

PostGIS是專業(yè)的時(shí)空數(shù)據(jù)庫(kù)插件，在測(cè)繪、航天、氣象、地震、國(guó)土資源、地圖等時(shí)空專業(yè)領(lǐng)域應(yīng)用廣泛。同時(shí)在互聯(lián)網(wǎng)行業(yè)也得到了對(duì)GIS有性能、功能深度要求的客戶青睞，比如共享出行、外賣等客戶。

3）時(shí)序插件timescale發(fā)布1.1.1

timescale是PostgreSQL的一款時(shí)序數(shù)據(jù)庫(kù)插件，在IoT行業(yè)中有非常好的應(yīng)用。github star數(shù)目前有5000多，是一個(gè)非常火爆的插件。

4）流計(jì)算插件 pipelinedb 正式插件化

Pipelinedb是PostgreSQL的一款流計(jì)算插件，使用這個(gè)創(chuàng)建可以對(duì)高速寫(xiě)入的數(shù)據(jù)進(jìn)行實(shí)時(shí)根據(jù)定義的聚合規(guī)則進(jìn)行聚合（支持概率計(jì)算），實(shí)時(shí)根據(jù)定義的規(guī)則觸發(fā)事件（支持事件處理函數(shù)的自定義）。可用于IoT，監(jiān)控，F(xiàn)EED實(shí)時(shí)計(jì)算等場(chǎng)景。

3、PostgreSQL衍生開(kāi)源產(chǎn)品動(dòng)態(tài)

1）agensgraph發(fā)布 2.0.0版本

agensgraph是兼容PostgreSQL、opencypher的專業(yè)圖數(shù)據(jù)庫(kù)，適合圖式關(guān)系的管理。

2）gpdb發(fā)布5.15

gpdb是兼容PostgreSQL的mpp數(shù)據(jù)庫(kù)，適合OLAP場(chǎng)景。近兩年，gpdb一直在追趕PostgreSQL的社區(qū)版本，預(yù)計(jì)很快會(huì)追上10的PostgreSQL，在TP方面的性能也會(huì)得到顯著提升。

3）antdb發(fā)布3.2

antdb是以Postgres-XC為基礎(chǔ)開(kāi)發(fā)的一款PostgreSQL sharding數(shù)據(jù)庫(kù)，亞信主導(dǎo)開(kāi)發(fā)，開(kāi)源，目前主要服務(wù)于亞信自有客戶。

4）遷移工具M(jìn)TK發(fā)布52版本

MTK是EDB提供的可以將Oracle、PostgreSQL、MySQL、MSSQL、Sybase數(shù)據(jù)庫(kù)遷移到PostgreSQL, PPAS的產(chǎn)品，遷移速度可以達(dá)到100萬(wàn)行/s以上。

DB2發(fā)布 11.1.4.4版本

DB2最新發(fā)布Mod Pack 4 and Fix Pack 4，包含以下幾方面的改動(dòng)及增強(qiáng)：

1、性能

2、高可用

3、管理視圖

4、應(yīng)用開(kāi)發(fā)方面

5、聯(lián)邦功能

6、pureScale

NoSQL家族

Redis發(fā)布5.0.3版本

MongoDB升級(jí)更新MongoDB Mobile和MongoDB Stitch

2018年11月21日，MongoDB升級(jí)更新MongoDB Mobile和MongoDB Stitch，助力開(kāi)發(fā)人員提升工作效率。

MongoDB 公司日前發(fā)布了多項(xiàng)新產(chǎn)品功能，旨在更好地幫助開(kāi)發(fā)人員在世界各地管理數(shù)據(jù)。通過(guò)利用存儲(chǔ)在移動(dòng)設(shè)備和后臺(tái)數(shù)據(jù)庫(kù)的數(shù)據(jù)之間的實(shí)時(shí)、自動(dòng)的同步特性，MongoDB Mobile通用版本助力開(kāi)發(fā)人員構(gòu)建更快捷、反應(yīng)更迅速的應(yīng)用程序。此前，這只能通過(guò)在移動(dòng)應(yīng)用內(nèi)部安裝一個(gè)可供選擇或限定功能的數(shù)據(jù)庫(kù)來(lái)實(shí)現(xiàn)。

MongoDB Mobile在為客戶提供隨處運(yùn)行的自由度方面更進(jìn)了一步。用戶在iOS和安卓終端設(shè)備上可擁有MongoDB所有功能，將網(wǎng)絡(luò)邊界擴(kuò)展到其物聯(lián)網(wǎng)資產(chǎn)范疇。應(yīng)用系統(tǒng)還可以使用MongoDB Stitch的軟件開(kāi)發(fā)包訪問(wèn)移動(dòng)客戶端或后臺(tái)數(shù)據(jù)，幫助開(kāi)發(fā)人員通過(guò)他們希望的任意方式查詢移動(dòng)終端數(shù)據(jù)和物聯(lián)網(wǎng)數(shù)據(jù)，包括本地讀寫(xiě)、本地JSON存儲(chǔ)、索引和聚合。通過(guò)Stitch移動(dòng)同步功能(現(xiàn)可提供beta版)，用戶可以自動(dòng)對(duì)保存在本地的數(shù)據(jù)以及后臺(tái)數(shù)據(jù)庫(kù)的數(shù)據(jù)進(jìn)行同步。

本期新秀：Cassandra發(fā)布3.11.3版本

2018年8月11日，Cassandra發(fā)布正式版3.11.3。

Apache Cassandra是一款開(kāi)源分布式NoSQL數(shù)據(jù)庫(kù)系統(tǒng)，使用了基于Google BigTable的數(shù)據(jù)模型，與面向行(row)的傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)或鍵值存儲(chǔ)key-value數(shù)據(jù)庫(kù)不同，Cassandra使用的是寬列存儲(chǔ)模型(Wide Column Stores)。與BigTable和其模仿者HBase不同，數(shù)據(jù)并不存儲(chǔ)在分布式文件系統(tǒng)如GFS或HDFS中，而是直接存于本地。

Cassandra的系統(tǒng)架構(gòu)與Amazon DynamoDB類似，是基于一致性哈希的完全P2P架構(gòu)，每行數(shù)據(jù)通過(guò)哈希來(lái)決定應(yīng)該存在哪個(gè)或哪些節(jié)點(diǎn)中。集群沒(méi)有master的概念，所有節(jié)點(diǎn)都是同樣的角色，徹底避免了整個(gè)系統(tǒng)的單點(diǎn)問(wèn)題導(dǎo)致的不穩(wěn)定性，集群間的狀態(tài)同步通過(guò)Gossip協(xié)議來(lái)進(jìn)行P2P的通信。

3.11.3版本的一些bug fix和改進(jìn)：

NewSQL家族

TiDB 發(fā)布2.1.2版本

2018 年 12 月 22 日，TiDB 發(fā)布 2.1.2 版，TiDB-Ansible 相應(yīng)發(fā)布 2.1.2 版本。該版本在 2.1.1 版的基礎(chǔ)上，對(duì)系統(tǒng)兼容性、穩(wěn)定性做出了改進(jìn)。

TiDB 是一款定位于在線事務(wù)處理/在線分析處理（ HTAP: Hybrid Transactional/Analytical Processing）的融合型數(shù)據(jù)庫(kù)產(chǎn)品。除了底層的 RocksDB 存儲(chǔ)引擎之外，分布式SQL層、分布式KV存儲(chǔ)引擎（TiKV）完全自主設(shè)計(jì)和研發(fā)。

TiDB 完全開(kāi)源，兼容MySQL協(xié)議和語(yǔ)法，可以簡(jiǎn)單理解為一個(gè)可以無(wú)限水平擴(kuò)展的MySQL，并且提供分布式事務(wù)、跨節(jié)點(diǎn) JOIN、吞吐和存儲(chǔ)容量水平擴(kuò)展、故障自恢復(fù)、高可用等優(yōu)異的特性；對(duì)業(yè)務(wù)沒(méi)有任何侵入性，簡(jiǎn)化開(kāi)發(fā)，利于維護(hù)和平滑遷移。

TiDB：

PD：

TiKV：

Tools：

1）TiDB-Lightning

2）TiDB-Binlog

EsgynDB發(fā)布R2.5版本

2018年12月22日，EsgynDB R2.5版本正式發(fā)布。

作為企業(yè)級(jí)產(chǎn)品，EsgynDB 2.5向前邁進(jìn)了一大步，它擁有以下功能和改進(jìn)：

CockroachDB發(fā)布2.1版本

2018年10月30日，CockroachDB正式發(fā)布2.1版本，其新增特性如下：

新增企業(yè)級(jí)特性：

新增SQL特性：

新增內(nèi)核特性：

Admin UI增強(qiáng)：

時(shí)間序列

本期新秀：TimescaleDB發(fā)布1.0版本

10月底，TimescaleDB 1.0宣布正式推出，官方表示該版本已可用于生產(chǎn)環(huán)境，支持完整SQL和擴(kuò)展。

TimescaleDB是基于PostgreSQL數(shù)據(jù)庫(kù)開(kāi)發(fā)的一款時(shí)序數(shù)據(jù)庫(kù)，以插件化的形式打包提供，隨著PostgreSQL的版本升級(jí)而升級(jí)，不會(huì)因?yàn)榱砹⒎种?lái)麻煩。

TimescaleDB架構(gòu)：

數(shù)據(jù)自動(dòng)按時(shí)間和空間分片(chunk)

更新亮點(diǎn)：

大數(shù)據(jù)生態(tài)圈

Hadoop發(fā)布2.9.2版本

2018年11月中旬，Hadoop在2.9分支上發(fā)布了新的2.9.2版本，該版本進(jìn)行了204個(gè)大大小小的變更，主要變更如下：

Greenplum 發(fā)布5.15版本

Greenplum最新的5.15版本中發(fā)布了流式數(shù)據(jù)加載工具。

該版本中的Greenplum Streem Server組件已經(jīng)集成了Kafka流式加載功能，并通過(guò)了Confluent官方的集成認(rèn)證，其支持的主要功能如下：

國(guó)產(chǎn)數(shù)據(jù)庫(kù)概覽

K-DB發(fā)布數(shù)據(jù)庫(kù)一體機(jī)版

2018年11月7日，K-DB發(fā)布了數(shù)據(jù)庫(kù)一體機(jī)版。該版本更新情況如下：

OceanBase遷移服務(wù)發(fā)布1.0版本

1月4日，OceanBase 正式發(fā)布OMS遷移服務(wù)1.0版本。

以下內(nèi)容包含 OceanBase 遷移服務(wù)的重要特性和功能：

SequoiaDB發(fā)布3.0.1新版本

1、架構(gòu)

1）完整計(jì)算存儲(chǔ)分離架構(gòu)，兼容MySQL協(xié)議、語(yǔ)法

計(jì)算存儲(chǔ)分離體系以松耦合的方式將計(jì)算與存儲(chǔ)層分別部署，通過(guò)標(biāo)準(zhǔn)接口或插件對(duì)各個(gè)模塊和組件進(jìn)行無(wú)縫替換，在計(jì)算層與存儲(chǔ)層均可實(shí)現(xiàn)自由的彈性伸縮。

SequoiaDB巨杉數(shù)據(jù)庫(kù)“計(jì)算-存儲(chǔ)分離”架構(gòu)詳細(xì)示意

用戶可以根據(jù)自身業(yè)務(wù)特征選擇面向交易的SQL解析器（例如MySQL或PGSQL）或面向統(tǒng)計(jì)分析的執(zhí)行引擎（例如SparkSQL）。眾所周知，使用不同的SQL優(yōu)化與執(zhí)行方式，數(shù)據(jù)庫(kù)的訪問(wèn)性能可能會(huì)存在上千上萬(wàn)倍的差距。計(jì)算存儲(chǔ)分離的核心思想便是在數(shù)據(jù)存儲(chǔ)層面進(jìn)行一體化存儲(chǔ)，在計(jì)算層面則利用每種執(zhí)行引擎的特點(diǎn)針對(duì)不同業(yè)務(wù)場(chǎng)景進(jìn)行選擇和優(yōu)化，用戶可以在存儲(chǔ)層進(jìn)行邏輯與物理的隔離，將面向高頻交易的前端業(yè)務(wù)與面向高吞吐量的統(tǒng)計(jì)分析使用不同的硬件進(jìn)行存儲(chǔ)，確保在多類型數(shù)據(jù)訪問(wèn)時(shí)互不干擾，以真正達(dá)到生產(chǎn)環(huán)境可用的多租戶與HTAP能力。

2、其他更新信息

1）接口變更：

2）主要特性：

云數(shù)據(jù)庫(kù)

本期新秀：騰訊發(fā)布數(shù)據(jù)庫(kù)CynosDB，開(kāi)啟公測(cè)

1、News

1）騰訊云數(shù)據(jù)庫(kù)MySQL2018年重大更新：

2）騰訊云數(shù)據(jù)庫(kù)MongoDB2018年重大更新：

3）騰訊云數(shù)據(jù)庫(kù)Redis/CKV+2018年重大更新：

4）騰訊云數(shù)據(jù)庫(kù)CTSDB2018年重大更新：

2、Redis 4.0集群版商業(yè)化上線

2018年10月，騰訊云數(shù)據(jù)庫(kù)Redis 4.0集群版完成邀測(cè)、公測(cè)、商業(yè)化三個(gè)迭代，在廣州、上海、北京正式全量商業(yè)化上線。

產(chǎn)品特性：

使用場(chǎng)景：

官網(wǎng)文檔：

3、騰訊自研數(shù)據(jù)庫(kù)CynosDB發(fā)布，開(kāi)啟公測(cè)

2018年11月22日，騰訊云召開(kāi)新一代自研數(shù)據(jù)庫(kù)CynosDB發(fā)布會(huì)，業(yè)界第一款全面兼容市面上兩大最主流的開(kāi)源數(shù)據(jù)庫(kù)MySQL和PostgreSQL的高性能企業(yè)級(jí)分布式云數(shù)據(jù)庫(kù)。

本期新秀：京東云DRDS發(fā)布1.0版本

12月24日，京東云分布式關(guān)系型數(shù)據(jù)庫(kù)DRDS正式發(fā)布1.0版本。

DRDS是京東云精心自研的數(shù)據(jù)庫(kù)中間件產(chǎn)品，獲得了2018年 ”可信云技術(shù)創(chuàng)新獎(jiǎng)”。DRDS可實(shí)現(xiàn)海量數(shù)據(jù)下的自動(dòng)分庫(kù)分表，具有高性能，分布式，彈性升級(jí)，兼容MySQL等優(yōu)點(diǎn)，適用于高并發(fā)、大規(guī)模數(shù)據(jù)的在線交易， 歷史 數(shù)據(jù)查詢，自動(dòng)數(shù)據(jù)分片等業(yè)務(wù)場(chǎng)景，歷經(jīng)多次618，雙十一的考驗(yàn)，已經(jīng)在京東集團(tuán)內(nèi)大規(guī)模使用。

京東云DRDS產(chǎn)品有以下主要特性

1）自動(dòng)分庫(kù)分表

通過(guò)簡(jiǎn)單的定義即可自動(dòng)實(shí)現(xiàn)分庫(kù)分表，將數(shù)據(jù)實(shí)際存放在多個(gè)MySQL實(shí)例的數(shù)據(jù)庫(kù)中，但呈現(xiàn)給應(yīng)用程序的依舊是一張表，對(duì)業(yè)務(wù)透明，應(yīng)用程序幾乎無(wú)需改動(dòng)，實(shí)現(xiàn)了對(duì)數(shù)據(jù)庫(kù)存儲(chǔ)和處理能力的水平擴(kuò)展。

2）分布式架構(gòu)

基于分布式架構(gòu)的集群方案，多個(gè)對(duì)等節(jié)點(diǎn)同時(shí)對(duì)外提供服務(wù)，不但可有效規(guī)避服務(wù)的單點(diǎn)故障，而且更加容易擴(kuò)展。

3）超強(qiáng)性能

具有極高的處理能力，雙節(jié)點(diǎn)即可支持?jǐn)?shù)萬(wàn)QPS，滿足用戶超大規(guī)模處理能力的需求。

4）兼容MySQL

兼容絕大部分MySQL語(yǔ)法，包括MySQL語(yǔ)法、數(shù)據(jù)類型、索引、常用函數(shù)、排序、關(guān)聯(lián)等DDL，DML語(yǔ)句，使用成本低。

參考鏈接：

RadonDB發(fā)布1.0.3版本

2018年12月26日，MyNewSQL領(lǐng)域的RadonDB云數(shù)據(jù)庫(kù)發(fā)布1.0.3版本。

推出dbaplus Newsletter的想法

dbaplus Newsletter旨在向廣大技術(shù)愛(ài)好者提供數(shù)據(jù)庫(kù)行業(yè)的最新技術(shù)發(fā)展趨勢(shì)，為社區(qū)的技術(shù)發(fā)展提供一個(gè)統(tǒng)一的發(fā)聲平臺(tái)。為此，我們策劃了RDBMS、NoSQL、NewSQL、時(shí)間序列、大數(shù)據(jù)生態(tài)圈、國(guó)產(chǎn)數(shù)據(jù)庫(kù)、云數(shù)據(jù)庫(kù)等幾個(gè)版塊。

我們不以商業(yè)宣傳為目的，不接受任何商業(yè)廣告宣傳，嚴(yán)格審查信息源的可信度和準(zhǔn)確性，力爭(zhēng)為大家提供一個(gè)純凈的技術(shù)學(xué)習(xí)環(huán)境，歡迎大家監(jiān)督指正。

至于Newsletter發(fā)布的周期，目前計(jì)劃是每三個(gè)月左右會(huì)做一次跟進(jìn)， 下期計(jì)劃時(shí)間是2019年4月14日~4月25日， 如果有相關(guān)的信息提供請(qǐng)發(fā)送至郵箱：newsletter@dbaplus.cn

感謝名單

最后要感謝那些提供寶貴信息和建議的專家朋友，排名不分先后。

往期回顧：

↓↓別忘了點(diǎn)這里下載 2019年1月 完整版Newsletter 哦~

本文名稱：實(shí)時(shí)數(shù)據(jù)庫(kù)nosql,實(shí)時(shí)數(shù)據(jù)庫(kù)中數(shù)據(jù)對(duì)象的類型的內(nèi)容
文章鏈接：http://chinadenli.net/article5/dsgcsoi.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供虛擬主機(jī)、商城網(wǎng)站、App開(kāi)發(fā)、外貿(mào)網(wǎng)站建設(shè)、網(wǎng)站營(yíng)銷、移動(dòng)網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)