NoSQL-HDFS-基本概念

Hadoop

10年積累的網(wǎng)站設(shè)計(jì)制作、成都網(wǎng)站設(shè)計(jì)經(jīng)驗(yàn)，可以快速應(yīng)對(duì)客戶對(duì)網(wǎng)站的新想法和需求。提供各種問題對(duì)應(yīng)的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡(luò)服務(wù)。我雖然不認(rèn)識(shí)你，你也不認(rèn)識(shí)我。但先網(wǎng)站制作后付款的網(wǎng)站建設(shè)流程，更有辰溪免費(fèi)網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。

文件系統(tǒng)：文件系統(tǒng)是用來存儲(chǔ)和管理文件，并且提供文件的查詢、增加、刪除等操作。

直觀上的體驗(yàn)：在shell窗口輸入 ls 命令，就可以看到當(dāng)前目錄下的文件夾、文件。

文件存儲(chǔ)在哪里？硬盤

一臺(tái)只有250G硬盤的電腦，如果需要存儲(chǔ)500G的文件可以怎么辦？先將電腦硬盤擴(kuò)容至少250G，再將文件分割成多塊，放到多塊硬盤上儲(chǔ)存。

通過 hdfs dfs -ls 命令可以查看分布式文件系統(tǒng)中的文件，就像本地的ls命令一樣。

HDFS在客戶端上提供了查詢、新增和刪除的指令，可以實(shí)現(xiàn)將分布在多臺(tái)機(jī)器上的文件系統(tǒng)進(jìn)行統(tǒng)一的管理。

在分布式文件系統(tǒng)中，一個(gè)大文件會(huì)被切分成塊，分別存儲(chǔ)到幾臺(tái)機(jī)器上。結(jié)合上文中提到的那個(gè)存儲(chǔ)500G大文件的那個(gè)例子，這500G的文件會(huì)按照一定的大小被切分成若干塊，然后分別存儲(chǔ)在若干臺(tái)機(jī)器上，然后提供統(tǒng)一的操作接口。

看到這里，不少人可能會(huì)覺得，分布式文件系統(tǒng)不過如此，很簡(jiǎn)單嘛。事實(shí)真的是這樣的么？

潛在問題

假如我有一個(gè)1000臺(tái)機(jī)器組成的分布式系統(tǒng)，一臺(tái)機(jī)器每天出現(xiàn)故障的概率是0.1%，那么整個(gè)系統(tǒng)每天出現(xiàn)故障的概率是多大呢？答案是(1-0.1%)^1000=63%，因此需要提供一個(gè)容錯(cuò)機(jī)制來保證發(fā)生差錯(cuò)時(shí)文件依然可以讀出，這里暫時(shí)先不展開介紹。

如果要存儲(chǔ)PB級(jí)或者EB級(jí)的數(shù)據(jù)，成千上萬臺(tái)機(jī)器組成的集群是很常見的，所以說分布式系統(tǒng)比單機(jī)系統(tǒng)要復(fù)雜得多呀。

這是一張HDFS的架構(gòu)簡(jiǎn)圖：

client通過nameNode了解數(shù)據(jù)在哪些DataNode上，從而發(fā)起查詢。此外，不僅是查詢文件，寫入文件的時(shí)候也是先去請(qǐng)教N(yùn)ameNode，看看應(yīng)該往哪個(gè)DateNode中去寫。

為了某一份數(shù)據(jù)只寫入到一個(gè)Datanode中，而這個(gè)Datanode因?yàn)槟承┰虺鲥e(cuò)無法讀取的問題，需要通過冗余備份的方式來進(jìn)行容錯(cuò)處理。因此，HDFS在寫入一個(gè)數(shù)據(jù)塊的時(shí)候，不會(huì)僅僅寫入一個(gè)DataNode，而是會(huì)寫入到多個(gè)DataNode中，這樣，如果其中一個(gè)DataNode壞了，還可以從其余的DataNode中拿到數(shù)據(jù)，保證了數(shù)據(jù)不丟失。

實(shí)際上，每個(gè)數(shù)據(jù)塊在HDFS上都會(huì)保存多份，保存在不同的DataNode上。這種是犧牲一定存儲(chǔ)空間換取可靠性的做法。

接下來我們來看一下完整的文件寫入的流程：

大文件要寫入HDFS，client端根據(jù)配置將大文件分成固定大小的塊，然后再上傳到HDFS。

讀取文件的流程：

1、client詢問NameNode，我要讀取某個(gè)路徑下的文件，麻煩告訴我這個(gè)文件都在哪些DataNode上？

2、NameNode回復(fù)client，這個(gè)路徑下的文件被切成了3塊，分別在DataNode1、DataNode3和DataNode4上

3、client去找DataNode1、DataNode3和DataNode4，拿到3個(gè)文件塊，通過stream讀取并且整合起來

文件寫入的流程：

1、client先將文件分塊，然后詢問NameNode，我要寫入一個(gè)文件到某個(gè)路徑下，文件有3塊，應(yīng)該怎么寫？

2、NameNode回復(fù)client，可以分別寫到DataNode1、DataNode2、DataNode3、DataNode4上，記住，每個(gè)塊重復(fù)寫3份，總共是9份

3、client找到DataNode1、DataNode2、DataNode3、DataNode4，把數(shù)據(jù)寫到他們上面

出于容錯(cuò)的考慮，每個(gè)數(shù)據(jù)塊有3個(gè)備份，但是3個(gè)備份快都直接由client端直接寫入勢(shì)必會(huì)帶來client端過重的寫入壓力，這個(gè)點(diǎn)是否有更好的解決方案呢？回憶一下mysql主備之間是通過binlog文件進(jìn)行同步的，HDFS當(dāng)然也可以借鑒這個(gè)思想，數(shù)據(jù)其實(shí)只需要寫入到一個(gè)datanode上，然后由datanode之間相互進(jìn)行備份同步，減少了client端的寫入壓力，那么至于是一個(gè)datanode寫入成功即成功，還是需要所有的參與備份的datanode返回寫入成功才算成功，是可靠性配置的策略，當(dāng)然這個(gè)設(shè)置會(huì)影響到數(shù)據(jù)寫入的吞吐率，我們可以看到可靠性和效率永遠(yuǎn)是“魚和熊掌不可兼得”的。

潛在問題

NameNode確實(shí)會(huì)回放editlog，但是不是每次都從頭回放，它會(huì)先加載一個(gè)fsimage，這個(gè)文件是之前某一個(gè)時(shí)刻整個(gè)NameNode的文件元數(shù)據(jù)的內(nèi)存快照，然后再在這個(gè)基礎(chǔ)上回放editlog，完成后，會(huì)清空editlog，再把當(dāng)前文件元數(shù)據(jù)的內(nèi)存狀態(tài)寫入fsimage，方便下一次加載。

這樣，全量回放就變成了增量回放，但是如果NameNode長(zhǎng)時(shí)間未重啟過，editlog依然會(huì)比較大，恢復(fù)的時(shí)間依然比較長(zhǎng)，這個(gè)問題怎么解呢？

SecondNameNode是一個(gè)NameNode內(nèi)的定時(shí)任務(wù)線程，它會(huì)定期地將editlog寫入fsimage，然后情況原來的editlog，從而保證editlog的文件大小維持在一定大小。

NameNode掛了， SecondNameNode并不能替代NameNode，所以如果集群中只有一個(gè)NameNode，它掛了，整個(gè)系統(tǒng)就掛了。hadoop2.x之前，整個(gè)集群只能有一個(gè)NameNode，是有可能發(fā)生單點(diǎn)故障的，所以hadoop1.x有本身的不穩(wěn)定性。但是hadoop2.x之后，我們可以在集群中配置多個(gè)NameNode，就不會(huì)有這個(gè)問題了，但是配置多個(gè)NameNode，需要注意的地方就更多了，系統(tǒng)就更加復(fù)雜了。

俗話說“一山不容二虎”，兩個(gè)NameNode只能有一個(gè)是活躍狀態(tài)active，另一個(gè)是備份狀態(tài)standby，我們看一下兩個(gè)NameNode的架構(gòu)圖。

兩個(gè)NameNode通過JournalNode實(shí)現(xiàn)同步editlog，保持狀態(tài)一致可以相互替換。

因?yàn)閍ctive的NameNode掛了之后，standby的NameNode要馬上接替它，所以它們的數(shù)據(jù)要時(shí)刻保持一致，在寫入數(shù)據(jù)的時(shí)候，兩個(gè)NameNode內(nèi)存中都要記錄數(shù)據(jù)的元信息，并保持一致。這個(gè)JournalNode就是用來在兩個(gè)NameNode中同步數(shù)據(jù)的，并且standby NameNode實(shí)現(xiàn)了SecondNameNode的功能。

進(jìn)行數(shù)據(jù)同步操作的過程如下：

active NameNode有操作之后，它的editlog會(huì)被記錄到JournalNode中，standby NameNode會(huì)從JournalNode中讀取到變化并進(jìn)行同步，同時(shí)standby NameNode會(huì)監(jiān)聽記錄的變化。這樣做的話就是實(shí)時(shí)同步了，并且standby NameNode就實(shí)現(xiàn)了SecondNameNode的功能。

優(yōu)點(diǎn)：

缺點(diǎn)：

大數(shù)據(jù)專業(yè)課程設(shè)置有哪些？

1、大數(shù)據(jù)專業(yè)，一般是指大數(shù)據(jù)采集與管理專業(yè)；

2、課程設(shè)置，大數(shù)據(jù)專業(yè)將從大數(shù)據(jù)應(yīng)用的三個(gè)主要層面（即數(shù)據(jù)管理、系統(tǒng)開發(fā)、海量數(shù)據(jù)分析與挖掘）系統(tǒng)地幫助企業(yè)掌握大數(shù)據(jù)應(yīng)用中的各種典型問題的解決辦法，包括實(shí)現(xiàn)和分析協(xié)同過濾算法、運(yùn)行和學(xué)習(xí)分類算法、分布式Hadoop集群的搭建和基準(zhǔn)測(cè)試、分布式Hbase集群的搭建和基準(zhǔn)測(cè)試、實(shí)現(xiàn)一個(gè)基于、Mapreduce的并行算法、部署Hive并實(shí)現(xiàn)一個(gè)的數(shù)據(jù)操作等等，實(shí)際提升企業(yè)解決實(shí)際問題的能力。

3、核心技術(shù)，

（1）大數(shù)據(jù)與Hadoop生態(tài)系統(tǒng)。詳細(xì)介紹分析分布式文件系統(tǒng)HDFS、集群文件系統(tǒng)ClusterFS和NoSQL Database技術(shù)的原理與應(yīng)用；分布式計(jì)算框架Mapreduce、分布式數(shù)據(jù)庫(kù)HBase、分布式數(shù)據(jù)倉(cāng)庫(kù)Hive。

（2）關(guān)系型數(shù)據(jù)庫(kù)技術(shù)。詳細(xì)介紹關(guān)系型數(shù)據(jù)庫(kù)的原理，掌握典型企業(yè)級(jí)數(shù)據(jù)庫(kù)的構(gòu)建、管理、開發(fā)及應(yīng)用。

（3）分布式數(shù)據(jù)處理。詳細(xì)介紹分析Map/Reduce計(jì)算模型和Hadoop Map/Reduce技術(shù)的原理與應(yīng)用。

（4）海量數(shù)據(jù)分析與數(shù)據(jù)挖掘。詳細(xì)介紹數(shù)據(jù)挖掘技術(shù)、數(shù)據(jù)挖掘算法–Minhash, Jaccard and Cosine similarity，TF-IDF數(shù)據(jù)挖掘算法–聚類算法；以及數(shù)據(jù)挖掘技術(shù)在行業(yè)中的具體應(yīng)用。

（5）物聯(lián)網(wǎng)與大數(shù)據(jù)。詳細(xì)介紹物聯(lián)網(wǎng)中的大數(shù)據(jù)應(yīng)用、遙感圖像的自動(dòng)解譯、時(shí)間序列數(shù)據(jù)的查詢、分析和挖掘。

（6）文件系統(tǒng)（HDFS）。詳細(xì)介紹HDFS部署，基于HDFS的高性能提供高吞吐量的數(shù)據(jù)訪問。

（7）NoSQL。詳細(xì)介紹NoSQL非關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)的原理、架構(gòu)及典型應(yīng)用。

4、行業(yè)現(xiàn)狀，

今天，越來越多的行業(yè)對(duì)大數(shù)據(jù)應(yīng)用持樂觀的態(tài)度，大數(shù)據(jù)或者相關(guān)數(shù)據(jù)分析解決方案的使用在互聯(lián)網(wǎng)行業(yè)，比如百度、騰訊、淘寶、新浪等公司已經(jīng)成為標(biāo)準(zhǔn)。而像電信、金融、能源這些傳統(tǒng)行業(yè)，越來越多的用戶開始嘗試或者考慮怎么樣使用大數(shù)據(jù)解決方案，來提升自己的業(yè)務(wù)水平。

在“大數(shù)據(jù)”背景之下，精通“大數(shù)據(jù)”的專業(yè)人才將成為企業(yè)最重要的業(yè)務(wù)角色，“大數(shù)據(jù)”從業(yè)人員薪酬持續(xù)增長(zhǎng)，人才缺口巨大。

衡量數(shù)據(jù)庫(kù)性能的重要指標(biāo)

具體來說，本文包括以下內(nèi)容:

事務(wù)

查詢性能

用戶和查詢沖突

容量

配置

NoSQL 數(shù)據(jù)庫(kù)

事務(wù)

事務(wù)可以觀察真實(shí)用戶的行為：能夠在應(yīng)用交互時(shí)捕獲實(shí)時(shí)性能。眾所周知，測(cè)量事務(wù)的性能包括獲取整個(gè)事務(wù)的響應(yīng)時(shí)間和組成事務(wù)的各個(gè)部分的響應(yīng)時(shí)間。通常我們可以用這些響應(yīng)時(shí)間與滿足事務(wù)需求的基線對(duì)比，來確定當(dāng)前事務(wù)是否處于正常狀態(tài)。

如果你只想衡量應(yīng)用的某個(gè)方面，那么可以評(píng)估事務(wù)的行為。所以，盡管容器指標(biāo)能夠提供更豐富的信息，并且?guī)椭銢Q定何時(shí)對(duì)當(dāng)前環(huán)境進(jìn)行自動(dòng)測(cè)量，但你的事務(wù)就足以確定應(yīng)用性能。無需向應(yīng)用程序服務(wù)器獲取 CPU 的使用情況，你更應(yīng)該關(guān)心用戶是否完成了事務(wù)，以及該事務(wù)是否得到了優(yōu)化。

補(bǔ)充一個(gè)小知識(shí)點(diǎn)，事務(wù)是由入口點(diǎn)決定的，通過該入口點(diǎn)可以啟動(dòng)事務(wù)與應(yīng)用進(jìn)行交互。

一旦定義了事務(wù)，會(huì)在整個(gè)應(yīng)用生態(tài)系統(tǒng)中對(duì)其性能進(jìn)行測(cè)量，并將每個(gè)事務(wù)與基線進(jìn)行比對(duì)。例如，我們可能會(huì)決定當(dāng)事務(wù)的響應(yīng)時(shí)間與基線相比，一旦慢于平均響應(yīng)時(shí)間的兩個(gè)標(biāo)準(zhǔn)差是否就應(yīng)該判定為異常，如圖1所示。

圖1-基于基線評(píng)估當(dāng)前事務(wù)響應(yīng)時(shí)間

用于評(píng)估事務(wù)的基線與正在進(jìn)行的事務(wù)活動(dòng)在時(shí)間上是一致的，但事務(wù)會(huì)由每個(gè)事務(wù)執(zhí)行來完善。例如，當(dāng)你選定一個(gè)基線，在當(dāng)前事務(wù)結(jié)束之后，將事務(wù)與平均響應(yīng)時(shí)間按每天的小時(shí)數(shù)和每周的天數(shù)進(jìn)行對(duì)比，所有在那段時(shí)間內(nèi)執(zhí)行的事務(wù)都將會(huì)被納入下周的基線中。通過這種機(jī)制，應(yīng)用程序可以隨時(shí)間而變化，而無需每次都重建原始基線；你可以將其看作是一個(gè)隨時(shí)間移動(dòng)的窗口。

總之，事務(wù)最能反映用戶體驗(yàn)的測(cè)量方法，所以也是衡量性能狀況最重要的指標(biāo)。

查詢性能?

最容易檢測(cè)到查詢性能是否正常的指標(biāo)就是查詢本身。由查詢引起的問題可能會(huì)導(dǎo)致時(shí)間太長(zhǎng)而無法識(shí)別所需數(shù)據(jù)或返回?cái)?shù)據(jù)。所以不妨在查詢中排查以下問題。

1. 選擇過多冗余數(shù)據(jù)

編寫查詢語句來返回適當(dāng)?shù)臄?shù)據(jù)是遠(yuǎn)遠(yuǎn)不夠的，很可能你的查詢語句會(huì)返回太多列，從而導(dǎo)致選擇行和檢索數(shù)據(jù)變得異常緩慢。所以，最好是列出所需的列，而不是直接用 SELECT*。當(dāng)需要在特定字段中查詢時(shí)，該計(jì)劃可能會(huì)確定一個(gè)覆蓋索引從而加快結(jié)果返回。覆蓋索引通常會(huì)包含查詢中使用的所有字段。這意味著數(shù)據(jù)庫(kù)可以僅從索引中產(chǎn)生結(jié)果，而不需要通過底層表來構(gòu)建。

另外，列出結(jié)果中所需的列不僅可以減少傳輸?shù)臄?shù)據(jù)，還能進(jìn)一步提高性能。

2. 表之間的低效聯(lián)接

聯(lián)接會(huì)導(dǎo)致數(shù)據(jù)庫(kù)將多組數(shù)據(jù)帶到內(nèi)存中進(jìn)行比較，這會(huì)產(chǎn)生多個(gè)數(shù)據(jù)庫(kù)讀取和大量 CPU。根據(jù)表的索引，聯(lián)接還可能需要掃描兩個(gè)表的所有行。如果寫不好兩個(gè)大型表之間的聯(lián)接，就需要對(duì)每個(gè)表進(jìn)行完整掃描，這樣的計(jì)算量將會(huì)非常大。其他會(huì)拖慢聯(lián)接的因素包括聯(lián)接列之間存在不同的數(shù)據(jù)類型、需要轉(zhuǎn)換或加入包含 LIKE 的條件，這樣就會(huì)阻止使用索引。另外，還需注意避免使用全外聯(lián)接；在恰當(dāng)?shù)臅r(shí)候使用內(nèi)部聯(lián)接只返回所需數(shù)據(jù)。

3. 索引過多或過少

如果查詢優(yōu)化沒有可用的索引時(shí)，數(shù)據(jù)庫(kù)會(huì)重新掃描表來產(chǎn)生查詢結(jié)果，這個(gè)過程會(huì)生成大量的磁盤輸入/輸出（I/O）。適當(dāng)?shù)乃饕梢詼p少排序結(jié)果的需要。雖然非唯一值的索引在生成結(jié)果時(shí)，不能像唯一索引那樣方便。如果鍵越大，索引也會(huì)變大，并通過它們創(chuàng)建更多的磁盤 I/O。大多數(shù)索引是為了提高數(shù)據(jù)檢索的性能，但也需要明白索引本身也會(huì)影響數(shù)據(jù)的插入和更新，因?yàn)樗邢嚓P(guān)聯(lián)的指標(biāo)都必須更新。

4. 太多的SQL導(dǎo)致爭(zhēng)用解析資源

任何 SQL 查詢?cè)趫?zhí)行之前都必須被解析，在生成執(zhí)行計(jì)劃之前需要對(duì)語法和權(quán)限進(jìn)行檢查。由于解析非常耗時(shí)，數(shù)據(jù)庫(kù)會(huì)保存已解析的 SQL 來重復(fù)利用，從而減少解析的耗時(shí)。因?yàn)?WHERE 語句不同，所以使用文本值的查詢語句不能被共享。這將導(dǎo)致每個(gè)查詢都會(huì)被解析并添加到共享池中，由于池的空間有限，一些已保存的查詢會(huì)被舍棄。當(dāng)這些查詢?cè)俅纬霈F(xiàn)時(shí)，則需要重新解析。

用戶和查詢沖突?

數(shù)據(jù)庫(kù)支持多用戶，但多用戶活動(dòng)也可能造成沖突。

1. 由慢查詢導(dǎo)致的頁(yè)/行鎖定

為了確保查詢產(chǎn)生精確的結(jié)果，數(shù)據(jù)庫(kù)必須鎖定表以防止在運(yùn)行讀取查詢時(shí)再發(fā)生其他的插入和更新行為。如果報(bào)告或查詢相當(dāng)緩慢，需要修改值的用戶可能需要等待至更新完成。鎖提示能幫助數(shù)據(jù)庫(kù)使用最小破壞性的鎖。從事務(wù)數(shù)據(jù)庫(kù)中分離報(bào)表也是一種可靠的解決方法。

2. 事務(wù)鎖和死鎖

當(dāng)兩個(gè)事務(wù)被阻塞時(shí)會(huì)出現(xiàn)死鎖，因?yàn)槊恳粋€(gè)都需要使用被另一個(gè)占用的資源。當(dāng)出現(xiàn)一個(gè)普通鎖時(shí)，事務(wù)會(huì)被阻塞直到資源被釋放。但卻沒有解決死鎖的方案。數(shù)據(jù)庫(kù)會(huì)監(jiān)控死鎖并選擇終止其中一個(gè)事務(wù)，釋放資源并允許該事務(wù)繼續(xù)進(jìn)行，而另一個(gè)事務(wù)則回滾。

3. 批處理操作造成資源爭(zhēng)奪

批處理過程通常會(huì)執(zhí)行批量操作，如大量的數(shù)據(jù)加載或生成復(fù)雜的分析報(bào)告。這些操作是資源密集型的，但可能影響在線用戶的訪問應(yīng)用的性能。針對(duì)此問題最好的解決辦法是確保批處理在系統(tǒng)使用率較低時(shí)運(yùn)行，比如晚上，或用單獨(dú)的數(shù)據(jù)庫(kù)進(jìn)行事務(wù)處理和分析報(bào)告。

容量?

并不是所有的數(shù)據(jù)庫(kù)性能問題都是數(shù)據(jù)庫(kù)問題。有些問題也是硬件不合適造成的。

1. CPU 不足或 CPU 速度太慢

更多 CPU 可以分擔(dān)服務(wù)器負(fù)載，進(jìn)一步提高性能。數(shù)據(jù)庫(kù)的性能不僅是數(shù)據(jù)庫(kù)的原因，還受到服務(wù)器上運(yùn)行其他進(jìn)程的影響。因此，對(duì)數(shù)據(jù)庫(kù)負(fù)載及使用進(jìn)行審查也是必不可少的。由于 CPU 的利用率時(shí)時(shí)在變，在低使用率、平均使用率和峰值使用率的時(shí)間段分別檢查該指標(biāo)可以更好地評(píng)估增加額外的 CPU 資源是否有益。

2. IOPS 不足的慢磁盤

磁盤性能通常以每秒輸入/輸出操作（IOPS）來計(jì)。結(jié)合 I/O 大小，該指標(biāo)可以衡量每秒的磁盤吞吐量是多少兆。同時(shí)，吞吐量也受磁盤的延遲影響，比如需要多久才能完成請(qǐng)求，這些指標(biāo)主要是針對(duì)磁盤存儲(chǔ)技術(shù)而言。傳統(tǒng)的硬盤驅(qū)動(dòng)器（HDD）有一個(gè)旋轉(zhuǎn)磁盤，通常比固態(tài)硬盤（SSD）或閃存更慢。直到近期，SSD 雖然仍比 HDD 貴，但成本已經(jīng)降了下來，所以在市場(chǎng)上也更具競(jìng)爭(zhēng)力。

3. 全部或錯(cuò)誤配置的磁盤

眾所周知，數(shù)據(jù)庫(kù)會(huì)被大量磁盤訪問，所以不正確配置的磁盤可能帶來嚴(yán)重的性能缺陷。磁盤應(yīng)該適當(dāng)分區(qū)，將系統(tǒng)數(shù)據(jù)目錄和用戶數(shù)據(jù)日志分開。高度活躍的表應(yīng)該區(qū)分以避免爭(zhēng)用，通過在不同磁盤上存放數(shù)據(jù)庫(kù)和索引增加并行放置，但不要將操作系統(tǒng)和數(shù)據(jù)庫(kù)交換空間放置在同一磁盤上。

4. 內(nèi)存不足

有限或不恰當(dāng)?shù)奈锢韮?nèi)存分配會(huì)影響數(shù)據(jù)庫(kù)性能。通常我們認(rèn)為可用的內(nèi)存更多，性能就越好。監(jiān)控分頁(yè)和交換,在多個(gè)非繁忙磁盤中建立多頁(yè)面空間，進(jìn)一步確保分頁(yè)空間分配足夠滿足數(shù)據(jù)庫(kù)要求；每個(gè)數(shù)據(jù)庫(kù)供應(yīng)商也可以在這個(gè)問題上提供指導(dǎo)。

5. 網(wǎng)速慢

網(wǎng)絡(luò)速度會(huì)影響到如何快速檢索數(shù)據(jù)并返回給終端用戶或調(diào)用過程。使用寬帶連接到遠(yuǎn)程數(shù)據(jù)庫(kù)。在某些情況下，選擇 TCP/IP 協(xié)議而不是命名管道可顯著提高數(shù)據(jù)庫(kù)性能。

配置

每個(gè)數(shù)據(jù)庫(kù)都需設(shè)置大量的配置項(xiàng)。通常情況下，默認(rèn)值可能不足以滿足數(shù)據(jù)庫(kù)所需的性能。所以，檢查所有的參數(shù)設(shè)置，包括以下問題。

1. 緩沖區(qū)緩存太小

通過將數(shù)據(jù)存儲(chǔ)在內(nèi)核內(nèi)存，緩沖區(qū)緩存可以進(jìn)一步提高性能同時(shí)減少磁盤 I/O。當(dāng)緩存太小時(shí)，緩存中的數(shù)據(jù)會(huì)更頻繁地刷新。如果它再次被請(qǐng)求，就必須從磁盤重讀。除了磁盤讀取緩慢之外，還給 I/O 設(shè)備增添了負(fù)擔(dān)從而成為瓶頸。除了給緩沖區(qū)緩存分配足夠的空間，調(diào)優(yōu) SQL 查詢可以幫助其更有效地利用緩沖區(qū)緩存。

2. 沒有查詢緩存

查詢緩存會(huì)存儲(chǔ)數(shù)據(jù)庫(kù)查詢和結(jié)果集。當(dāng)執(zhí)行相同的查詢時(shí)，數(shù)據(jù)會(huì)在緩存中被迅速檢索，而不需要再次執(zhí)行查詢。數(shù)據(jù)會(huì)更新失效結(jié)果，所以查詢緩存是唯一有效的靜態(tài)數(shù)據(jù)。但在某些情況下，查詢緩存卻可能成為性能瓶頸。比如當(dāng)鎖定為更新時(shí)，巨大的緩存可能導(dǎo)致爭(zhēng)用沖突。

3. 磁盤上臨時(shí)表創(chuàng)建導(dǎo)致的 I/O 爭(zhēng)用

在執(zhí)行特定的查詢操作時(shí)，數(shù)據(jù)庫(kù)需要?jiǎng)?chuàng)建臨時(shí)表，如執(zhí)行一個(gè) GROUP BY 子句。如果可能，在內(nèi)存中創(chuàng)建臨時(shí)表。但是，在某些情況下，在內(nèi)存中創(chuàng)建臨時(shí)表并不可行，比如當(dāng)數(shù)據(jù)包含 BLOB 或 TEXT 對(duì)象時(shí)。在這些情況下，會(huì)在磁盤上創(chuàng)建臨時(shí)表。大量的磁盤 I / O 都需要?jiǎng)?chuàng)建臨時(shí)表、填充記錄、從表中選擇所需數(shù)據(jù)并在查詢完成后舍棄。為了避免影響性能，臨時(shí)數(shù)據(jù)庫(kù)應(yīng)該從主數(shù)據(jù)庫(kù)中分離出來。重寫查詢還可以通過創(chuàng)建派生表來減少對(duì)臨時(shí)表的需求。使用派生表直接從另一個(gè) SELECT 語句的結(jié)果中選擇，允許將數(shù)據(jù)加到內(nèi)存中而不是當(dāng)前磁盤上。

NoSQL 數(shù)據(jù)庫(kù)

NoSQL 的優(yōu)勢(shì)在于它處理大數(shù)據(jù)的能力非常迅速。但是在實(shí)際使用中，也應(yīng)該綜合參考 NoSQL 的缺點(diǎn)，從而決定是否適合你的用例場(chǎng)景。這就是為什么NoSQL通常被理解為 「不僅僅是 SQL」，說明了 NoSQL 并不總是正確的解決方案，也沒必要完全取代 SQL，以下分別列舉出五大主要原因。

1. 挑剔事務(wù)

難以保持 NoSQL 條目的一致性。當(dāng)訪問結(jié)構(gòu)化數(shù)據(jù)時(shí)，它并不能完全確保同一時(shí)間對(duì)不同表的更改都生效。如果某個(gè)過程發(fā)生崩潰，表可能會(huì)不一致。一致事務(wù)的典型代表是復(fù)式記賬法。相應(yīng)的信貸必須平衡每個(gè)借方，反之亦然。如果雙方數(shù)據(jù)不一致則不能輸入。NoSQL 則可能無法保證「收支平衡」。

2. 復(fù)雜數(shù)據(jù)庫(kù)

NoSQL 的支持者往往以高效代碼、簡(jiǎn)單性和 NoSQL 的速度為傲。當(dāng)數(shù)據(jù)庫(kù)任務(wù)很簡(jiǎn)單時(shí)，所有這些因素都是優(yōu)勢(shì)。但當(dāng)數(shù)據(jù)庫(kù)變得復(fù)雜，NoSQL 會(huì)開始分解。此時(shí)，SQL 則比 NoSQL 更好地處理復(fù)雜需求，因?yàn)?SQL 已經(jīng)成熟，有符合行業(yè)標(biāo)準(zhǔn)的接口。而每個(gè) NoSQL 設(shè)置都有一個(gè)唯一的接口。

3. 一致聯(lián)接

當(dāng)執(zhí)行 SQL 的聯(lián)接時(shí)，由于系統(tǒng)必須從不同的表中提取數(shù)據(jù)進(jìn)行鍵對(duì)齊，所以有一個(gè)巨大的開銷。而 NoSQL 似乎是一個(gè)空想，因?yàn)槿狈β?lián)接功能。所有的數(shù)據(jù)都在同一個(gè)表的一個(gè)地方。當(dāng)檢索數(shù)據(jù)時(shí)，它會(huì)同時(shí)提取所有的鍵值對(duì)。問題在于這會(huì)創(chuàng)建同一數(shù)據(jù)的多個(gè)副本。這些副本也必須更新，而這種情況下，NoSQL 沒有功能來確保更新。

4. Schema設(shè)計(jì)的靈活性

由于 NoSQL 不需要 schema，所以在某些情況下也是獨(dú)一無二的。在以前的數(shù)據(jù)庫(kù)模型中，程序員必須考慮所有需要的列能夠擴(kuò)展，能夠適應(yīng)每行的數(shù)據(jù)條目。在 NoSQL 下，條目可以有多種字符串或者完全沒有。這種靈活性允許程序員迅速增加數(shù)據(jù)。但是，也可能存在問題，比如當(dāng)有多個(gè)團(tuán)體在同一項(xiàng)目上工作時(shí)，或者新的開發(fā)團(tuán)隊(duì)接手一個(gè)項(xiàng)目時(shí)。開發(fā)人員能夠自由地修改數(shù)據(jù)庫(kù)，也可能會(huì)不斷實(shí)現(xiàn)各種各樣的密鑰對(duì)。

5. 資源密集型

NoSQL 數(shù)據(jù)庫(kù)通常比關(guān)系數(shù)據(jù)庫(kù)更加資源密集。他們需要更多的 CPU 儲(chǔ)備和 RAM 分配。出于這個(gè)原因，大多數(shù)共享主機(jī)公司都不提供 NoSQL。你必須注冊(cè)一個(gè) VPS 或運(yùn)行自己的專用服務(wù)器。另一方面，SQL 主要是在服務(wù)器上運(yùn)行。初期的工作都很順利，但隨著數(shù)據(jù)庫(kù)需求的增加，硬件必須擴(kuò)大。單個(gè)大型服務(wù)器比多個(gè)小型服務(wù)器昂貴得多，價(jià)格呈指數(shù)增長(zhǎng)。所以在這種企業(yè)計(jì)算場(chǎng)景下，使用 NoSQL 更為劃算，例如那些由谷歌和 Facebook 使用的服務(wù)器。

網(wǎng)頁(yè)名稱：nosql設(shè)置,nosql的定義
本文地址：http://chinadenli.net/article40/dsieseo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信公眾號(hào)、網(wǎng)站排名、建站公司、品牌網(wǎng)站制作、企業(yè)建站、外貿(mào)建站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)