這篇文章主要介紹MongoDB中參數(shù)限制與閥值的示例分析,文中介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們一定要看完!
一、BSON文檔
BSON文檔尺寸:一個(gè)document文檔大尺寸為16M;大于16M的文檔需要存儲(chǔ)在GridFS中。
文檔內(nèi)嵌深度:BSON文檔的結(jié)構(gòu)(tree)深度大為100。
二、Namespaces
collection命名空間:.,大長(zhǎng)度為120字節(jié)。這也限定了database和collection的名字不能太長(zhǎng)。
命名空間的個(gè)數(shù):對(duì)于MMAPV1引擎,個(gè)數(shù)大為大約為24000個(gè),每個(gè)collection以及index都是一個(gè)namespace;對(duì)于wiredTiger引擎則沒(méi)有這個(gè)限制。
namespace文件的大小:對(duì)于MMAPV1引擎而言,默認(rèn)大小為16M,可以通過(guò)在配置文件中修改。wiredTiger不受此限制。
三、indexes
index key:每條索引的key不得超過(guò)1024個(gè)字節(jié),如果index key的長(zhǎng)度超過(guò)此值,將會(huì)導(dǎo)致write操作失敗。
每個(gè)collection中索引的個(gè)數(shù)不得超過(guò)64個(gè)。
索引名稱:我們可以為index設(shè)定名稱,最終全名為..$,最長(zhǎng)不得超過(guò)128個(gè)字節(jié)。默認(rèn)情況下為filed名稱與index類型的組合,我們可以在創(chuàng)建索引時(shí)顯式的指定index名字,參見(jiàn)createIndex()方法。
組合索引最多能包含31個(gè)field。
四、Data
Capped Collection:如果你在創(chuàng)建“Capped”類型的collection時(shí)指定了文檔的大個(gè)數(shù),那么此個(gè)數(shù)不能超過(guò)2的32次方,如果沒(méi)有指定大個(gè)數(shù),則沒(méi)有限制。
Database Size:MMAPV1引擎而言,每個(gè)database不得持有超過(guò)16000個(gè)數(shù)據(jù)文件,即單個(gè)database的總數(shù)據(jù)量大為32TB,可以通過(guò)設(shè)置“smallFiles”來(lái)限定到8TB。
Data Size:對(duì)于MMAVPV1引擎而言,單個(gè)mongod不能管理超過(guò)大虛擬內(nèi)存地址空間的數(shù)據(jù)集,比如linux(64位)下每個(gè)mongod實(shí)例最多可以維護(hù)64T數(shù)據(jù)。wiredTiger引擎沒(méi)有此限制。
每個(gè)Database中collection個(gè)數(shù):對(duì)于MMAPV1引擎而然,每個(gè)database所能持有的collections個(gè)數(shù)取決于namespace文件大小(用來(lái)保存namespace)以及每個(gè)collection中indexes的個(gè)數(shù),最終總尺寸不超過(guò)namespace文件的大小(16M)。wiredTiger引擎不受到此限制。
五、Replica Sets
每個(gè)replica set中最多支持50個(gè)members。
replica set中最多可以有7個(gè)voting members。(投票者)
如果沒(méi)有顯式的指定oplog的尺寸,其大不會(huì)超過(guò)50G。
六、Sharded Clusters
group聚合函數(shù),在sharding模式下不可用。請(qǐng)使用mapreduce或者aggregate方法。
Coverd Queries:即查詢條件中的Fields必須是index的一部分,且返回結(jié)果只包含index中的fields;對(duì)于sharding集群,如果query中不包含shard key,索引則無(wú)法進(jìn)行覆蓋。雖然_id不是“shard key”,但是如果查詢條件中只包含_id,且返回的結(jié)果中也只需要_id字段值,則可以使用覆蓋查詢,不過(guò)這個(gè)查詢似乎并沒(méi)有什么意義(除非是檢測(cè)此_id的document是否存在)。
對(duì)于已經(jīng)存有數(shù)據(jù)的collections開(kāi)啟sharding(原來(lái)非sharding),則其大數(shù)據(jù)不得超過(guò)256G。當(dāng)collection被sharding之后,那么它可以存儲(chǔ)任意多的數(shù)據(jù)。
對(duì)于sharded collection,update、remove對(duì)單條數(shù)據(jù)操作(操作選項(xiàng)為multi:false或者justOne),必須指定shard key或者_(dá)id字段;否則將會(huì)拋出error。
唯一索引:shards之間不支持唯一索引,除非這個(gè)“shard key”是唯一索引的最左前綴。比如collection的shard key為{“zipcode”:1,”name”: 1},如果你想對(duì)collection創(chuàng)建唯一索引,那么唯一索引必須將zipcode和name作為索引的最左前綴,比如:collection.createIndex({“zipcode”:1,”name”:1,”company”:1},{unique:true})。
在chunk遷移時(shí)允許的大文檔個(gè)數(shù):如果一個(gè)chunk中documents的個(gè)數(shù)超過(guò)250000(默認(rèn)chunk大小為64M)時(shí),或者document個(gè)數(shù)大于 1.3 *(chunk大尺寸(有配置參數(shù)決定)/ document平均尺寸),此chunk將無(wú)法被“move”(無(wú)論是balancer還是人工干預(yù)),必須等待split之后才能被move。
七、shard key
shard key的長(zhǎng)度不得超過(guò)512個(gè)字節(jié)。
“shard key索引”可以為基于shard key的正序索引,或者以shard key開(kāi)頭的組合索引。shard key索引不能是multikey索引(基于數(shù)組的索引)、text索引或者geo索引。
Shard key是不可變的,無(wú)論何時(shí)都不能修改document中的shard key值。如果需要變更shard key,則需要手動(dòng)清洗數(shù)據(jù),即全量dump原始數(shù)據(jù),然后修改并保存在新的collection中。
單調(diào)遞增(遞減)的shard key會(huì)限制insert的吞吐量;如果_id是shard key,需要知道_id是ObjectId()生成,它也是自增值。對(duì)于單調(diào)遞增的shard key,collection上的所有insert操作都會(huì)在一個(gè)shard節(jié)點(diǎn)上進(jìn)行,那么此shard將會(huì)承載cluster的全部insert操作,因?yàn)閱蝹€(gè)shard節(jié)點(diǎn)的資源有限,因此整個(gè)cluster的insert量會(huì)因此受限。如果cluster主要是read、update操作,將不會(huì)有這方面的限制。為了避免這個(gè)問(wèn)題,可以考慮使用“hashed shard key”或者選擇一個(gè)非單調(diào)遞增key作為shard key。(rang shard key 和hashed shard key各有優(yōu)缺點(diǎn),需要根據(jù)query的情況而定)。
八、Operations
如果mongodb不能使用索引排序來(lái)獲取documents,那么參與排序的documents尺寸需要小于32M。
Aggregation Pileline操作。Pipeline stages限制在100M內(nèi)存,如果stage超過(guò)此限制將會(huì)發(fā)生錯(cuò)誤,為了能處理較大的數(shù)據(jù)集,請(qǐng)開(kāi)啟“allowDiskUse”選項(xiàng),即允許pipeline stages將額外的數(shù)據(jù)寫(xiě)入臨時(shí)文件。
九、命名規(guī)則
database的命名區(qū)分大小寫(xiě)。
database名稱中不要包含:/ .‘'$*<>:|?
database名稱長(zhǎng)度不能超過(guò)64個(gè)字符。
collection名稱可以以“_”或者字母字符開(kāi)頭,但是不能包含”$”符號(hào),不能為空字符或者null,不能以“system.”開(kāi)頭,因?yàn)檫@是系統(tǒng)保留字。
document字段名不能包含“.”或者null,且不能以“$”開(kāi)頭,因?yàn)?是一個(gè)“引用符號(hào)”。
最后記錄下json嵌套中含有列表的查詢方法,樣例數(shù)據(jù):
{ "_id" : ObjectId("5c6cc376a589c200018f7312"), "id" : "9472", "data" : { "name" : "測(cè)試", "publish_date" : "2009-05-15", "authors" : [ { "author_id" : 3053, "author_name" : "測(cè)試數(shù)據(jù)" } ], } }
我要查詢authors中的author_id,query可以這樣寫(xiě):
db.getCollection().find({'data.authors.0.author_id': 3053})
用0來(lái)代表第一個(gè)索引,點(diǎn)代表嵌套結(jié)構(gòu)。但是spark mongo中是不能這樣導(dǎo)入的,需要使用別的方法。
以上是“MongoDB中參數(shù)限制與閥值的示例分析”這篇文章的所有內(nèi)容,感謝各位的閱讀!希望分享的內(nèi)容對(duì)大家有幫助,更多相關(guān)知識(shí),歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道!
網(wǎng)站標(biāo)題:MongoDB中參數(shù)限制與閥值的示例分析-創(chuàng)新互聯(lián)
轉(zhuǎn)載源于:http://chinadenli.net/article42/dcjchc.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供App設(shè)計(jì)、企業(yè)建站、云服務(wù)器、營(yíng)銷型網(wǎng)站建設(shè)、網(wǎng)站內(nèi)鏈、網(wǎng)頁(yè)設(shè)計(jì)公司
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容