【軟件架構(gòu)篇】互聯(lián)網(wǎng)架構(gòu)模板

架構(gòu)圖如下圖所示。這張圖基本涵蓋了互聯(lián)網(wǎng)技術(shù)公司的大部分技術(shù)點，不同公司只是在具體的技術(shù)實現(xiàn)上稍有差異，但不會跳出這個框架的范疇。

我們提供的服務(wù)有：成都做網(wǎng)站、網(wǎng)站設(shè)計、微信公眾號開發(fā)、網(wǎng)站優(yōu)化、網(wǎng)站認證、靈石ssl等。為上千余家企事業(yè)單位解決了網(wǎng)站和推廣的問題。提供周到的售前咨詢和貼心的售后服務(wù)，是有科學(xué)管理、有技術(shù)的靈石網(wǎng)站制作公司

SQL： 常用的有mysql，用于存儲業(yè)務(wù)數(shù)據(jù)。互聯(lián)網(wǎng)發(fā)展初期，各個業(yè)務(wù)一般都會獨立運營mysql集群，但隨著業(yè)務(wù)越來越多，mysql集群規(guī)模越來越大，那就有必要做成SQL平臺。

NoSQL: 翻譯為Not Only SQL，作為mysql的一種補充。Nosql一般本身就提供集群，且使用起來很方便，公司業(yè)務(wù)發(fā)展初期沒有必要。一般Nosql集群的數(shù)量越來越多，那就有必要做成Nosql平臺。

小文件： 互聯(lián)網(wǎng)中有很多小文件，比如商品圖片，F(xiàn)acebook的圖片。這類小文件具有數(shù)據(jù)小、數(shù)量巨大、訪問大的特點。如果每個業(yè)務(wù)都去考慮小文件存儲的話，就會出現(xiàn)重復(fù)造輪子現(xiàn)象，那就有必要做成小文件平臺了。

大文件： 互聯(lián)網(wǎng)的大文件主要分為兩類：一類是業(yè)務(wù)上的大數(shù)據(jù)，例如Youtube的視頻、電影網(wǎng)站的電影；另一類是海量的日志數(shù)據(jù)，例如各種訪問日志。實力雄厚的一些大公司會基于開源方案做成大數(shù)據(jù)平臺。

開發(fā)框架： 比如常見的Spring框架。

Web服務(wù)器： 常見的有tomcat、jetty等。

容器： Docker可以極大降低運維成本，以及在實現(xiàn)動態(tài)擴容上非常方便。

配置中心： 故名思義，配置中心就是集中管理各個系統(tǒng)的配置。

服務(wù)中心： 解決跨系統(tǒng)依賴的配置和調(diào)度問題。比如有10個系統(tǒng)依賴A系統(tǒng)的x接口，此時A系統(tǒng)實現(xiàn)了一個y接口可以更好地支持x接口，那么如果直接更新10個系統(tǒng)依賴的配置將會很麻煩。

消息隊列： 支持系統(tǒng)解耦。

負載均衡： 充當任務(wù)分配器的職責(zé)。

CDN： 可以對一些常用文件進行就近緩存，來提高訪問速度。

多機房： 多機房的主要目的是備災(zāi)，當機房故障時可以快速地將業(yè)務(wù)切換到另外一個機房，這種切換操作允許一定時間的中斷，比如10分鐘，1個小時。

多中心： 多中心的要求就更高了，要求同時對外提供服務(wù)，且業(yè)務(wù)能夠自動在多中心之間切換，故障后不需人工干預(yù)或者很少的人工干預(yù)就能自動恢復(fù)。

用戶管理： 對各個系統(tǒng)的用戶進行統(tǒng)一管理。

消息推送： 根據(jù)不同途徑分為短信、郵件、站內(nèi)信、App推送。

存儲云： 實現(xiàn)是CDN+小文件存儲。

圖片云： 實現(xiàn)也是CDN+小文件存儲。為何不與存儲云統(tǒng)一一套系統(tǒng)呢？這是因為圖片業(yè)務(wù)的復(fù)雜性導(dǎo)致的。圖片涉及的業(yè)務(wù)會更多，包括裁剪、壓縮、美化、審核、水印等。

業(yè)務(wù)千差萬別，各個互聯(lián)網(wǎng)業(yè)務(wù)面對的主要問題是復(fù)雜度越來越高。此時就要用到拆和合的技術(shù)。拆即將一個大系統(tǒng)拆分為多個子系統(tǒng)，降低復(fù)雜度。當子系統(tǒng)越來越多，有可能就需要采用合的技術(shù)。

測試平臺的核心目的是提升測試效率。

運維平臺的核心職責(zé)分為四大塊：配置、部署、監(jiān)控、應(yīng)急。

數(shù)據(jù)平臺的核心職責(zé)主要包含三部分：數(shù)據(jù)管理、數(shù)據(jù)分析和數(shù)據(jù)應(yīng)用。

管理平臺的核心職責(zé)就是權(quán)限管理。

nosql數(shù)據(jù)庫的四種類型

nosql數(shù)據(jù)庫的四種類型如下：

1.key-value鍵值存儲數(shù)據(jù)庫:

相關(guān)產(chǎn)品: Redis、Riak、SimpleDB、Chordless、Scalaris、Memcached.

主要應(yīng)用: 內(nèi)容緩存,處理大量數(shù)據(jù)的高負載訪問,也用于系統(tǒng)日志。

優(yōu)點:查找速度快,大量操作時性能高。

2.列存儲數(shù)據(jù)庫:

相關(guān)產(chǎn)品: BigTable、HBase、Cassandra、HadoopDB、GreenPlum、PNUTS.

主要應(yīng)用: 分布式數(shù)據(jù)的儲存與管理。

優(yōu)點:查找速度快,可擴展性強,容易進行分布式擴展。

缺點:功能相對局限。

3.文檔型數(shù)據(jù)庫

相關(guān)產(chǎn)品:MongoDB、CouchDB、ThruDB、CloudKit、Perservere、Jackrabbit.

主要應(yīng)用: web應(yīng)用,管理面向文檔的數(shù)據(jù)或者類似的半結(jié)構(gòu)化數(shù)據(jù)。

優(yōu)點:數(shù)據(jù)結(jié)構(gòu)靈活,表結(jié)構(gòu)可變,復(fù)雜性低。

缺點:查詢效率低,且缺乏統(tǒng)一的查詢語言。

4.Graph圖形數(shù)據(jù)庫

相關(guān)產(chǎn)品: Neo4J、OrientDB、InfoGrid、GraphDB.

主要應(yīng)用: 復(fù)雜,互連接,低結(jié)構(gòu)化的圖結(jié)構(gòu)場合, 專注構(gòu)建關(guān)系圖譜。

優(yōu)點: 利用圖結(jié)構(gòu)相關(guān)算法, 可用于構(gòu)建復(fù)雜的關(guān)系圖譜。

缺點: 復(fù)雜度高。

nosql數(shù)據(jù)庫的幾大類型

1. 鍵值數(shù)據(jù)庫

相關(guān)產(chǎn)品：Redis、Riak、SimpleDB、Chordless、Scalaris、Memcached

應(yīng)用：內(nèi)容緩存

優(yōu)點：擴展性好、靈活性好、大量寫操作時性能高

缺點：無法存儲結(jié)構(gòu)化信息、條件查詢效率較低

使用者：百度云（Redis）、GitHub（Riak）、BestBuy（Riak）、Twitter（Ridis和Memcached）

2. 列族數(shù)據(jù)庫

相關(guān)產(chǎn)品：BigTable、HBase、Cassandra、HadoopDB、GreenPlum、PNUTS

應(yīng)用：分布式數(shù)據(jù)存儲與管理

優(yōu)點：查找速度快、可擴展性強、容易進行分布式擴展、復(fù)雜性低

使用者：Ebay（Cassandra）、Instagram（Cassandra）、NASA（Cassandra）、Facebook（HBase）

3. 文檔數(shù)據(jù)庫

相關(guān)產(chǎn)品：MongoDB、CouchDB、ThruDB、CloudKit、Perservere、Jackrabbit

應(yīng)用：存儲、索引并管理面向文檔的數(shù)據(jù)或者類似的半結(jié)構(gòu)化數(shù)據(jù)

優(yōu)點：性能好、靈活性高、復(fù)雜性低、數(shù)據(jù)結(jié)構(gòu)靈活

缺點：缺乏統(tǒng)一的查詢語言

使用者：百度云數(shù)據(jù)庫（MongoDB）、SAP（MongoDB）

4. 圖形數(shù)據(jù)庫

圖形數(shù)據(jù)庫-使用圖作為數(shù)據(jù)模型來存儲數(shù)據(jù)。

相關(guān)產(chǎn)品：Neo4J、OrientDB、InfoGrid、GraphDB

應(yīng)用：大量復(fù)雜、互連接、低結(jié)構(gòu)化的圖結(jié)構(gòu)場合，如社交網(wǎng)絡(luò)、推薦系統(tǒng)等

優(yōu)點：靈活性高、支持復(fù)雜的圖形算法、可用于構(gòu)建復(fù)雜的關(guān)系圖譜

缺點：復(fù)雜性高、只能支持一定的數(shù)據(jù)規(guī)模

使用者：Adobe（Neo4J）、Cisco（Neo4J）、T-Mobile（Neo4J）

什么是NoSQL數(shù)據(jù)庫？

2. 什么是NoSQL？

2.1 NoSQL 概述

NoSQL(NoSQL = Not Only SQL )，意即“不僅僅是SQL”，

泛指非關(guān)系型的數(shù)據(jù)庫。隨著互聯(lián)網(wǎng)web2.0網(wǎng)站的興起，傳統(tǒng)的關(guān)系數(shù)據(jù)庫在應(yīng)付web2.0網(wǎng)站，特別是超大規(guī)模和高并發(fā)的SNS類型的web2.0純動態(tài)網(wǎng)站已經(jīng)顯得力不從心，暴露了很多難以克服的問題，而非關(guān)系型的數(shù)據(jù)庫則由于其本身的特點得到了非常迅速的發(fā)展。NoSQL數(shù)據(jù)庫的產(chǎn)生就是為了解決大規(guī)模數(shù)據(jù)集合多重數(shù)據(jù)種類帶來的挑戰(zhàn)，尤其是大數(shù)據(jù)應(yīng)用難題，包括超大規(guī)模數(shù)據(jù)的存儲。

（例如谷歌或Facebook每天為他們的用戶收集萬億比特的數(shù)據(jù)）。這些類型的數(shù)據(jù)存儲不需要固定的模式，無需多余操作就可以橫向擴展。

2.2 NoSQL代表

MongDB、 Redis、Memcache

3. 關(guān)系型數(shù)據(jù)庫與NoSQL的區(qū)別？

3.1 RDBMS

高度組織化結(jié)構(gòu)化數(shù)據(jù)

結(jié)構(gòu)化查詢語言（SQL）

數(shù)據(jù)和關(guān)系都存儲在單獨的表中。

數(shù)據(jù)操縱語言，數(shù)據(jù)定義語言

嚴格的一致性

基礎(chǔ)事務(wù)

ACID

關(guān)系型數(shù)據(jù)庫遵循ACID規(guī)則

事務(wù)在英文中是transaction，和現(xiàn)實世界中的交易很類似，它有如下四個特性：

A (Atomicity) 原子性

原子性很容易理解，也就是說事務(wù)里的所有操作要么全部做完，要么都不做，事務(wù)成功的條件是事務(wù)里的所有操作都成功，只要有一個操作失敗，整個事務(wù)就失敗，需要回滾。比如銀行轉(zhuǎn)賬，從A賬戶轉(zhuǎn)100元至B賬戶，分為兩個步驟：1）從A賬戶取100元；2）存入100元至B賬戶。這兩步要么一起完成，要么一起不完成，如果只完成第一步，第二步失敗，錢會莫名其妙少了100元。

C (Consistency) 一致性

一致性也比較容易理解，也就是說數(shù)據(jù)庫要一直處于一致的狀態(tài)，事務(wù)的運行不會改變數(shù)據(jù)庫原本的一致性約束。

I (Isolation) 獨立性

所謂的獨立性是指并發(fā)的事務(wù)之間不會互相影響，如果一個事務(wù)要訪問的數(shù)據(jù)正在被另外一個事務(wù)修改，只要另外一個事務(wù)未提交，它所訪問的數(shù)據(jù)就不受未提交事務(wù)的影響。比如現(xiàn)有有個交易是從A賬戶轉(zhuǎn)100元至B賬戶，在這個交易還未完成的情況下，如果此時B查詢自己的賬戶，是看不到新增加的100元的

D (Durability) 持久性

持久性是指一旦事務(wù)提交后，它所做的修改將會永久的保存在數(shù)據(jù)庫上，即使出現(xiàn)宕機也不會丟失。

3.2 NoSQL

代表著不僅僅是SQL

沒有聲明性查詢語言

沒有預(yù)定義的模式

鍵 - 值對存儲，列存儲，文檔存儲，圖形數(shù)據(jù)庫

最終一致性，而非ACID屬性

非結(jié)構(gòu)化和不可預(yù)知的數(shù)據(jù)

CAP定理

高性能，高可用性和可伸縮性

分布式數(shù)據(jù)庫中的CAP原理(了解)

CAP定理：

Consistency(一致性), 數(shù)據(jù)一致更新，所有數(shù)據(jù)變動都是同步的

Availability(可用性), 好的響應(yīng)性能

Partition tolerance(分區(qū)容錯性) 可靠性

P: 系統(tǒng)中任意信息的丟失或失敗不會影響系統(tǒng)的繼續(xù)運作。

定理：任何分布式系統(tǒng)只可同時滿足二點，沒法三者兼顧。

CAP理論的核心是：一個分布式系統(tǒng)不可能同時很好的滿足一致性，可用性和分區(qū)容錯性這三個需求，

因此，根據(jù) CAP 原理將 NoSQL 數(shù)據(jù)庫分成了滿足 CA 原則、滿足 CP 原則和滿足 AP 原則三 大類：

CA - 單點集群，滿足一致性，可用性的系統(tǒng)，通常在可擴展性上不太強大。

CP - 滿足一致性，分區(qū)容忍性的系統(tǒng)，通常性能不是特別高。

AP - 滿足可用性，分區(qū)容忍性的系統(tǒng)，通常可能對一致性要求低一些。

CAP理論就是說在分布式存儲系統(tǒng)中，最多只能實現(xiàn)上面的兩點。

而由于當前的網(wǎng)絡(luò)硬件肯定會出現(xiàn)延遲丟包等問題，所以分區(qū)容忍性是我們必須需要實現(xiàn)的。

所以我們只能在一致性和可用性之間進行權(quán)衡，沒有NoSQL系統(tǒng)能同時保證這三點。

說明：C：強一致性 A：高可用性 P：分布式容忍性

舉例：

CA：傳統(tǒng)Oracle數(shù)據(jù)庫

AP：大多數(shù)網(wǎng)站架構(gòu)的選擇

CP：Redis、Mongodb

注意：分布式架構(gòu)的時候必須做出取舍。

一致性和可用性之間取一個平衡。多余大多數(shù)web應(yīng)用，其實并不需要強一致性。

因此犧牲C換取P，這是目前分布式數(shù)據(jù)庫產(chǎn)品的方向。

4. 當下NoSQL的經(jīng)典應(yīng)用

當下的應(yīng)用是 SQL 與 NoSQL 一起使用的。

代表項目：阿里巴巴商品信息的存放。

去 IOE 化。

ps：I 是指 IBM 的小型機，很貴的，好像好幾萬一臺；O 是指 Oracle 數(shù)據(jù)庫，也很貴的，好幾萬呢；M 是指 EMC 的存儲設(shè)備，也很貴的。

難點：

數(shù)據(jù)類型多樣性。

數(shù)據(jù)源多樣性和變化重構(gòu)。

數(shù)據(jù)源改造而服務(wù)平臺不需要大面積重構(gòu)。

什么是NoSQL數(shù)據(jù)庫

什么是NoSQL數(shù)據(jù)庫？從名稱“非SQL”或“非關(guān)系型”衍生而來，這些數(shù)據(jù)庫不使用類似SQL的查詢語言，通常稱為結(jié)構(gòu)化存儲。這些數(shù)據(jù)庫自1960年就已經(jīng)存在，但是直到現(xiàn)在一些大公司（例如Google和Facebook）開始使用它們時，這些數(shù)據(jù)庫才流行起來。該數(shù)據(jù)庫最明顯的優(yōu)勢是擺脫了一組固定的列、連接和類似SQL的查詢語言的限制。有時，NoSQL這個名稱也可能表示“不僅僅SQL”，來確保它們可能支持SQL。 NoSQL數(shù)據(jù)庫使用諸如鍵值、寬列、圖形或文檔之類的數(shù)據(jù)結(jié)構(gòu)，并且可以如JSON之類的不同格式存儲。

網(wǎng)站欄目：nosql框架圖,nosql數(shù)據(jù)庫設(shè)計
分享地址：http://chinadenli.net/article25/dsiscji.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供軟件開發(fā)、標簽優(yōu)化、云服務(wù)器、自適應(yīng)網(wǎng)站、網(wǎng)站收錄、Google

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)