nosql是什么

NoSQL，泛指非關(guān)系型的數(shù)據(jù)庫。隨著互聯(lián)網(wǎng)web2.0網(wǎng)站的興起，傳統(tǒng)的關(guān)系數(shù)據(jù)庫在應(yīng)付web2.0網(wǎng)站，特別是超大規(guī)模和高并發(fā)的SNS類型的web2.0純動態(tài)網(wǎng)站已經(jīng)顯得力不從心，暴露了很多難以克服的問題，而非關(guān)系型的數(shù)據(jù)庫則由于其本身的特點得到了非常迅速的發(fā)展。NoSQL數(shù)據(jù)庫的產(chǎn)生就是為了解決大規(guī)模數(shù)據(jù)集合多重數(shù)據(jù)種類帶來的挑戰(zhàn)，尤其是大數(shù)據(jù)應(yīng)用難題。

創(chuàng)新互聯(lián)專注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù)，包含不限于網(wǎng)站設(shè)計制作、網(wǎng)站設(shè)計、十堰鄖陽網(wǎng)絡(luò)推廣、成都微信小程序、十堰鄖陽網(wǎng)絡(luò)營銷、十堰鄖陽企業(yè)策劃、十堰鄖陽品牌公關(guān)、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運(yùn)營等，從售前售中售后，我們都將竭誠為您服務(wù)，您的肯定，是我們最大的嘉獎；創(chuàng)新互聯(lián)為所有大學(xué)生創(chuàng)業(yè)者提供十堰鄖陽建站搭建服務(wù)，24小時服務(wù)熱線：18982081108，官方網(wǎng)址：chinadenli.net

雖然NoSQL流行語火起來才短短一年的時間，但是不可否認(rèn)，現(xiàn)在已經(jīng)開始了第二代運(yùn)動。盡管早期的堆棧代碼只能算是一種實驗，然而現(xiàn)在的系統(tǒng)已經(jīng)更加的成熟、穩(wěn)定。不過現(xiàn)在也面臨著一個嚴(yán)酷的事實：技術(shù)越來越成熟——以至于原來很好的NoSQL數(shù)據(jù)存儲不得不進(jìn)行重寫，也有少數(shù)人認(rèn)為這就是所謂的2.0版本。這里列出一些比較知名的工具，可以為大數(shù)據(jù)建立快速、可擴(kuò)展的存儲庫。

NoSQL(NoSQL = Not Only SQL )，意即“不僅僅是SQL”，是一項全新的數(shù)據(jù)庫革命性運(yùn)動，早期就有人提出，發(fā)展至2009年趨勢越發(fā)高漲。NoSQL的擁護(hù)者們提倡運(yùn)用非關(guān)系型的數(shù)據(jù)存儲，相對于鋪天蓋地的關(guān)系型數(shù)據(jù)庫運(yùn)用，這一概念無疑是一種全新的思維的注入。

對于NoSQL并沒有一個明確的范圍和定義，但是他們都普遍存在下面一些共同特征：

不需要預(yù)定義模式：不需要事先定義數(shù)據(jù)模式，預(yù)定義表結(jié)構(gòu)。數(shù)據(jù)中的每條記錄都可能有不同的屬性和格式。當(dāng)插入數(shù)據(jù)時，并不需要預(yù)先定義它們的模式。

無共享架構(gòu)：相對于將所有數(shù)據(jù)存儲的存儲區(qū)域網(wǎng)絡(luò)中的全共享架構(gòu)。NoSQL往往將數(shù)據(jù)劃分后存儲在各個本地服務(wù)器上。因為從本地磁盤讀取數(shù)據(jù)的性能往往好于通過網(wǎng)絡(luò)傳輸讀取數(shù)據(jù)的性能，從而提高了系統(tǒng)的性能。

彈性可擴(kuò)展：可以在系統(tǒng)運(yùn)行的時候，動態(tài)增加或者刪除結(jié)點。不需要停機(jī)維護(hù)，數(shù)據(jù)可以自動遷移。

分區(qū)：相對于將數(shù)據(jù)存放于同一個節(jié)點，NoSQL數(shù)據(jù)庫需要將數(shù)據(jù)進(jìn)行分區(qū)，將記錄分散在多個節(jié)點上面。并且通常分區(qū)的同時還要做復(fù)制。這樣既提高了并行性能，又能保證沒有單點失效的問題。

異步復(fù)制：和RAID存儲系統(tǒng)不同的是，NoSQL中的復(fù)制，往往是基于日志的異步復(fù)制。這樣，數(shù)據(jù)就可以盡快地寫入一個節(jié)點，而不會被網(wǎng)絡(luò)傳輸引起遲延。缺點是并不總是能保證一致性，這樣的方式在出現(xiàn)故障的時候，可能會丟失少量的數(shù)據(jù)。

BASE：相對于事務(wù)嚴(yán)格的ACID特性，NoSQL數(shù)據(jù)庫保證的是BASE特性。BASE是最終一致性和軟事務(wù)。

NoSQL數(shù)據(jù)庫并沒有一個統(tǒng)一的架構(gòu)，兩種NoSQL數(shù)據(jù)庫之間的不同，甚至遠(yuǎn)遠(yuǎn)超過兩種關(guān)系型數(shù)據(jù)庫的不同。可以說，NoSQL各有所長，成功的NoSQL必然特別適用于某些場合或者某些應(yīng)用，在這些場合中會遠(yuǎn)遠(yuǎn)勝過關(guān)系型數(shù)據(jù)庫和其他的NoSQL。

NoSQL詳解：如何找到對的技術(shù)

NoSQL，泛指非關(guān)系型的數(shù)據(jù)庫。NoSQL數(shù)據(jù)庫的產(chǎn)生就是為了解決大規(guī)模數(shù)據(jù)集合多重數(shù)據(jù)種類帶來的挑戰(zhàn)，尤其是大數(shù)據(jù)應(yīng)用難題。

雖然關(guān)系型數(shù)據(jù)庫系統(tǒng)RDBMS在安裝和使用上仍然占有主要地位，但毋庸置疑，非關(guān)系型數(shù)據(jù)庫NoSQL技術(shù)已經(jīng)成為今天發(fā)展最快的數(shù)據(jù)庫技術(shù)。

NoSQL詳解：如何找到對的技術(shù)

NoSQL是對數(shù)據(jù)庫系統(tǒng)的總稱，在某種程度上，它的性能和用途可能完全不同。NoSQL一詞最早產(chǎn)生于上世紀(jì)九十年代，意思是NoSQL(沒有SQL語言)，后來隨著時間和技術(shù)的發(fā)展，SQL界面仍然作為處理數(shù)據(jù)的方式存在，所以NoSQL又有了新的詮釋，即NotOnlySQL(不只是SQL語言)。今天，NoSQL數(shù)據(jù)庫憑借著其非關(guān)系型、分布式、開源和橫向擴(kuò)展等優(yōu)勢，被認(rèn)為是下一代數(shù)據(jù)庫產(chǎn)品。

四種主要的NoSQL數(shù)據(jù)庫和它們主要的應(yīng)用場景

鍵值數(shù)據(jù)庫：當(dāng)數(shù)據(jù)以鍵的形式訪問時，比如通過國際標(biāo)準(zhǔn)書號ISBN找一本書，鍵值數(shù)據(jù)庫是最理想的。在這里，ISBN是鍵，書籍的其他信息就是值。必須知道鍵才能查詢，不過值是一堆無意義的數(shù)據(jù)，讀取之后必須經(jīng)過翻譯。

文檔存儲數(shù)據(jù)庫：該數(shù)據(jù)庫以文檔的形式管理和存儲數(shù)據(jù)。有點類似于鍵值數(shù)據(jù)庫，但文檔數(shù)據(jù)庫中的數(shù)據(jù)有結(jié)構(gòu)。與鍵值數(shù)據(jù)庫中值是一堆無意義的數(shù)據(jù)不同，文檔數(shù)據(jù)庫中數(shù)據(jù)以文檔的結(jié)構(gòu)被描述，典型的是JavaScriptObjectNotation(JSON)或XML.文檔存儲數(shù)據(jù)庫中的數(shù)據(jù)可以通過定義的任何模式進(jìn)行查詢，但鍵值數(shù)據(jù)庫只能通過它的鍵進(jìn)行查詢。

大數(shù)據(jù)時代發(fā)展歷程是什么？

大數(shù)據(jù)技術(shù)發(fā)展史：大數(shù)據(jù)的前世今生

今天我們常說的大數(shù)據(jù)技術(shù)，其實起源于Google在2004年前后發(fā)表的三篇論文，也就是我們經(jīng)常聽到的“三駕馬車”，分別是分布式文件系統(tǒng)GFS、大數(shù)據(jù)分布式計算框架MapReduce和NoSQL數(shù)據(jù)庫系統(tǒng)BigTable。

你知道，搜索引擎主要就做兩件事情，一個是網(wǎng)頁抓取，一個是索引構(gòu)建，而在這個過程中，有大量的數(shù)據(jù)需要存儲和計算。這“三駕馬車”其實就是用來解決這個問題的，你從介紹中也能看出來，一個文件系統(tǒng)、一個計算框架、一個數(shù)據(jù)庫系統(tǒng)。

現(xiàn)在你聽到分布式、大數(shù)據(jù)之類的詞，肯定一點兒也不陌生。但你要知道，在2004年那會兒，整個互聯(lián)網(wǎng)還處于懵懂時代，Google發(fā)布的論文實在是讓業(yè)界為之一振，大家恍然大悟，原來還可以這么玩。

因為那個時間段，大多數(shù)公司的關(guān)注點其實還是聚焦在單機(jī)上，在思考如何提升單機(jī)的性能，尋找更貴更好的服務(wù)器。而Google的思路是部署一個大規(guī)模的服務(wù)器集群，通過分布式的方式將海量數(shù)據(jù)存儲在這個集群上，然后利用集群上的所有機(jī)器進(jìn)行數(shù)據(jù)計算。 這樣，Google其實不需要買很多很貴的服務(wù)器，它只要把這些普通的機(jī)器組織到一起，就非常厲害了。

當(dāng)時的天才程序員，也是Lucene開源項目的創(chuàng)始人Doug Cutting正在開發(fā)開源搜索引擎Nutch，閱讀了Google的論文后，他非常興奮，緊接著就根據(jù)論文原理初步實現(xiàn)了類似GFS和MapReduce的功能。

兩年后的2006年，Doug Cutting將這些大數(shù)據(jù)相關(guān)的功能從Nutch中分離了出來，然后啟動了一個獨立的項目專門開發(fā)維護(hù)大數(shù)據(jù)技術(shù)，這就是后來赫赫有名的Hadoop，主要包括Hadoop分布式文件系統(tǒng)HDFS和大數(shù)據(jù)計算引擎MapReduce。

當(dāng)我們回顧軟件開發(fā)的歷史，包括我們自己開發(fā)的軟件，你會發(fā)現(xiàn)，有的軟件在開發(fā)出來以后無人問津或者寥寥數(shù)人使用，這樣的軟件其實在所有開發(fā)出來的軟件中占大多數(shù)。而有的軟件則可能會開創(chuàng)一個行業(yè)，每年創(chuàng)造數(shù)百億美元的價值，創(chuàng)造百萬計的就業(yè)崗位，這些軟件曾經(jīng)是Windows、Linux、Java，而現(xiàn)在這個名單要加上Hadoop的名字。

如果有時間，你可以簡單瀏覽下Hadoop的代碼，這個純用Java編寫的軟件其實并沒有什么高深的技術(shù)難點，使用的也都是一些最基礎(chǔ)的編程技巧，也沒有什么出奇之處，但是它卻給社會帶來巨大的影響，甚至帶動一場深刻的科技革命，推動了人工智能的發(fā)展與進(jìn)步。

我覺得，我們在做軟件開發(fā)的時候，也可以多思考一下，我們所開發(fā)軟件的價值點在哪里？真正需要使用軟件實現(xiàn)價值的地方在哪里？你應(yīng)該關(guān)注業(yè)務(wù)、理解業(yè)務(wù)，有價值導(dǎo)向，用自己的技術(shù)為公司創(chuàng)造真正的價值，進(jìn)而實現(xiàn)自己的人生價值。而不是整天埋頭在需求說明文檔里，做一個沒有思考的代碼機(jī)器人。

Hadoop發(fā)布之后，Yahoo很快就用了起來。大概又過了一年到了2007年，百度和阿里巴巴也開始使用Hadoop進(jìn)行大數(shù)據(jù)存儲與計算。

2008年，Hadoop正式成為Apache的頂級項目，后來Doug Cutting本人也成為了Apache基金會的主席。自此，Hadoop作為軟件開發(fā)領(lǐng)域的一顆明星冉冉升起。

同年，專門運(yùn)營Hadoop的商業(yè)公司Cloudera成立，Hadoop得到進(jìn)一步的商業(yè)支持。

這個時候，Yahoo的一些人覺得用MapReduce進(jìn)行大數(shù)據(jù)編程太麻煩了，于是便開發(fā)了Pig。Pig是一種腳本語言，使用類SQL的語法，開發(fā)者可以用Pig腳本描述要對大數(shù)據(jù)集上進(jìn)行的操作，Pig經(jīng)過編譯后會生成MapReduce程序，然后在Hadoop上運(yùn)行。

編寫Pig腳本雖然比直接MapReduce編程容易，但是依然需要學(xué)習(xí)新的腳本語法。于是Facebook又發(fā)布了Hive。Hive支持使用SQL語法來進(jìn)行大數(shù)據(jù)計算，比如說你可以寫個Select語句進(jìn)行數(shù)據(jù)查詢，然后Hive會把SQL語句轉(zhuǎn)化成MapReduce的計算程序。

這樣，熟悉數(shù)據(jù)庫的數(shù)據(jù)分析師和工程師便可以無門檻地使用大數(shù)據(jù)進(jìn)行數(shù)據(jù)分析和處理了。Hive出現(xiàn)后極大程度地降低了Hadoop的使用難度，迅速得到開發(fā)者和企業(yè)的追捧。據(jù)說，2011年的時候，F(xiàn)acebook大數(shù)據(jù)平臺上運(yùn)行的作業(yè)90%都來源于Hive。

隨后，眾多Hadoop周邊產(chǎn)品開始出現(xiàn)，大數(shù)據(jù)生態(tài)體系逐漸形成，其中包括：專門將關(guān)系數(shù)據(jù)庫中的數(shù)據(jù)導(dǎo)入導(dǎo)出到Hadoop平臺的Sqoop；針對大規(guī)模日志進(jìn)行分布式收集、聚合和傳輸?shù)腇lume；MapReduce工作流調(diào)度引擎Oozie等。

在Hadoop早期，MapReduce既是一個執(zhí)行引擎，又是一個資源調(diào)度框架，服務(wù)器集群的資源調(diào)度管理由MapReduce自己完成。但是這樣不利于資源復(fù)用，也使得MapReduce非常臃腫。于是一個新項目啟動了，將MapReduce執(zhí)行引擎和資源調(diào)度分離開來，這就是Yarn。2012年，Yarn成為一個獨立的項目開始運(yùn)營，隨后被各類大數(shù)據(jù)產(chǎn)品支持，成為大數(shù)據(jù)平臺上最主流的資源調(diào)度系統(tǒng)。

同樣是在2012年，UC伯克利AMP實驗室（Algorithms、Machine和People的縮寫）開發(fā)的Spark開始嶄露頭角。當(dāng)時AMP實驗室的馬鐵博士發(fā)現(xiàn)使用MapReduce進(jìn)行機(jī)器學(xué)習(xí)計算的時候性能非常差，因為機(jī)器學(xué)習(xí)算法通常需要進(jìn)行很多次的迭代計算，而MapReduce每執(zhí)行一次Map和Reduce計算都需要重新啟動一次作業(yè)，帶來大量的無謂消耗。還有一點就是MapReduce主要使用磁盤作為存儲介質(zhì)，而2012年的時候，內(nèi)存已經(jīng)突破容量和成本限制，成為數(shù)據(jù)運(yùn)行過程中主要的存儲介質(zhì)。Spark一經(jīng)推出，立即受到業(yè)界的追捧，并逐步替代MapReduce在企業(yè)應(yīng)用中的地位。

一般說來，像MapReduce、Spark這類計算框架處理的業(yè)務(wù)場景都被稱作批處理計算，因為它們通常針對以“天”為單位產(chǎn)生的數(shù)據(jù)進(jìn)行一次計算，然后得到需要的結(jié)果，這中間計算需要花費的時間大概是幾十分鐘甚至更長的時間。因為計算的數(shù)據(jù)是非在線得到的實時數(shù)據(jù)，而是歷史數(shù)據(jù)，所以這類計算也被稱為大數(shù)據(jù)離線計算。

而在大數(shù)據(jù)領(lǐng)域，還有另外一類應(yīng)用場景，它們需要對實時產(chǎn)生的大量數(shù)據(jù)進(jìn)行即時計算，比如對于遍布城市的監(jiān)控攝像頭進(jìn)行人臉識別和嫌犯追蹤。這類計算稱為大數(shù)據(jù)流計算，相應(yīng)地，有Storm、Flink、Spark Streaming等流計算框架來滿足此類大數(shù)據(jù)應(yīng)用的場景。 流式計算要處理的數(shù)據(jù)是實時在線產(chǎn)生的數(shù)據(jù)，所以這類計算也被稱為大數(shù)據(jù)實時計算。

在典型的大數(shù)據(jù)的業(yè)務(wù)場景下，數(shù)據(jù)業(yè)務(wù)最通用的做法是，采用批處理的技術(shù)處理歷史全量數(shù)據(jù)，采用流式計算處理實時新增數(shù)據(jù)。而像Flink這樣的計算引擎，可以同時支持流式計算和批處理計算。

除了大數(shù)據(jù)批處理和流處理，NoSQL系統(tǒng)處理的主要也是大規(guī)模海量數(shù)據(jù)的存儲與訪問，所以也被歸為大數(shù)據(jù)技術(shù)。 NoSQL曾經(jīng)在2011年左右非常火爆，涌現(xiàn)出HBase、Cassandra等許多優(yōu)秀的產(chǎn)品，其中HBase是從Hadoop中分離出來的、基于HDFS的NoSQL系統(tǒng)。

我們回顧軟件發(fā)展的歷史會發(fā)現(xiàn)，差不多類似功能的軟件，它們出現(xiàn)的時間都非常接近，比如Linux和Windows都是在90年代初出現(xiàn)，Java開發(fā)中的各類MVC框架也基本都是同期出現(xiàn)，Android和iOS也是前腳后腳問世。2011年前后，各種NoSQL數(shù)據(jù)庫也是層出不群，我也是在那個時候參與開發(fā)了阿里巴巴自己的NoSQL系統(tǒng)。

事物發(fā)展有自己的潮流和規(guī)律，當(dāng)你身處潮流之中的時候，要緊緊抓住潮流的機(jī)會，想辦法脫穎而出，即使沒有成功，也會更加洞悉時代的脈搏，收獲珍貴的知識和經(jīng)驗。而如果潮流已經(jīng)退去，這個時候再去往這個方向上努力，只會收獲迷茫與壓抑，對時代、對自己都沒有什么幫助。

但是時代的浪潮猶如海灘上的浪花，總是一浪接著一浪，只要你站在海邊，身處這個行業(yè)之中，下一個浪潮很快又會到來。你需要敏感而又深刻地去觀察，略去那些浮躁的泡沫，抓住真正潮流的機(jī)會，奮力一搏，不管成敗，都不會遺憾。

正所謂在歷史前進(jìn)的邏輯中前進(jìn)，在時代發(fā)展的潮流中發(fā)展。通俗的說，就是要在風(fēng)口中飛翔。

上面我講的這些基本上都可以歸類為大數(shù)據(jù)引擎或者大數(shù)據(jù)框架。而大數(shù)據(jù)處理的主要應(yīng)用場景包括數(shù)據(jù)分析、數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)。數(shù)據(jù)分析主要使用Hive、Spark SQL等SQL引擎完成；數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)則有專門的機(jī)器學(xué)習(xí)框架TensorFlow、Mahout以及MLlib等，內(nèi)置了主要的機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘算法。

此外，大數(shù)據(jù)要存入分布式文件系統(tǒng)（HDFS），要有序調(diào)度MapReduce和Spark作業(yè)執(zhí)行，并能把執(zhí)行結(jié)果寫入到各個應(yīng)用系統(tǒng)的數(shù)據(jù)庫中，還需要有一個大數(shù)據(jù)平臺整合所有這些大數(shù)據(jù)組件和企業(yè)應(yīng)用系統(tǒng)。

圖中的所有這些框架、平臺以及相關(guān)的算法共同構(gòu)成了大數(shù)據(jù)的技術(shù)體系，我將會在專欄后面逐個分析，幫你能夠?qū)Υ髷?shù)據(jù)技術(shù)原理和應(yīng)用算法構(gòu)建起完整的知識體系，進(jìn)可以專職從事大數(shù)據(jù)開發(fā)，退可以在自己的應(yīng)用開發(fā)中更好地和大數(shù)據(jù)集成，掌控自己的項目。

希望對您有所幫助！~

網(wǎng)站題目：nosql技術(shù)誕生的最初,請簡要總結(jié)一下nosql數(shù)據(jù)庫的技術(shù)特點
地址分享：http://chinadenli.net/article10/dsejjdo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供Google、做網(wǎng)站、網(wǎng)站制作、軟件開發(fā)、網(wǎng)站設(shè)計公司、移動網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)