AWS推出了與SQL兼容的查詢語言PartiQL,只要數(shù)據(jù)庫查詢引擎提供PartiQL支持,使用者就能以PartiQL單一查詢關聯(lián)式數(shù)據(jù)庫的結(jié)構(gòu)化資料,以及開放資料格式中的巢狀資料或是半結(jié)構(gòu)化資料,甚至還能用來查詢NoSQL或是文件數(shù)據(jù)庫中無固定結(jié)構(gòu)(Schema-less)的資料。除了AWS自家的數(shù)據(jù)庫服務,NoSQL數(shù)據(jù)庫Couchbase Server也承諾將會支持PartiQL。

成都創(chuàng)新互聯(lián)公司是一家專業(yè)提供新興企業(yè)網(wǎng)站建設,專注與網(wǎng)站建設、做網(wǎng)站、H5建站、小程序制作等業(yè)務。10年已為新興眾多企業(yè)、政府機構(gòu)等服務。創(chuàng)新互聯(lián)專業(yè)網(wǎng)絡公司優(yōu)惠進行中。
企業(yè)資料分散在關聯(lián)式數(shù)據(jù)庫、非關聯(lián)式數(shù)據(jù)庫以及資料湖泊中。高度結(jié)構(gòu)化的資料,儲存在SQL數(shù)據(jù)庫或是資料倉儲;無固定結(jié)構(gòu)的資料則由鍵值儲存、圖形數(shù)據(jù)庫(Graph Database)、分類帳數(shù)據(jù)庫或是時間序列數(shù)據(jù)庫等NoSQL數(shù)據(jù)庫處理;而在資料湖泊中的資料,可能也有部分缺乏結(jié)構(gòu),或是可能為巢狀或是多值結(jié)構(gòu)。不同的資料類型適用于不同的使用案例,而每種類型的資料,可能都有自己的查詢語言。
不同的資料儲存對應不同的查詢語言,當企業(yè)更換資料格式或是數(shù)據(jù)庫引擎時,可能還需要跟著改變應用程式和查詢語法,AWS提到,這對于資料的應用,特別是使用資料湖泊的靈活性與效率,有著很大的阻礙。為了統(tǒng)一不同類型數(shù)據(jù)庫存取方法,AWS發(fā)布了查詢語言PartiQL,這是個與SQL兼容的查詢語言,可以用來查詢以各種格式儲存在各地的資料。
用戶可以使用PartiQL來查詢關聯(lián)式數(shù)據(jù)庫,像是在Redshift實作交易或是資料分析等應用,或?qū)τ贏mazon S3資料湖泊的開放資料格式,同樣能使用PartiQL對巢狀資料與半結(jié)構(gòu)化資料例如Amazon Ion格式進行查詢,另外,PartiQL也可用于文件數(shù)據(jù)庫等NoSQL數(shù)據(jù)庫,查詢無固定結(jié)構(gòu)的資料。
AWS表示,PartiQL的出現(xiàn),是為了滿足自家查詢和轉(zhuǎn)換大量資料的需求,其提供嚴格的SQL兼容性,可與標準SQL混合使用,執(zhí)行連接(Join)、過濾(Filtering)與聚合(Aggregation)操作,并以最小擴充支持巢狀和半結(jié)構(gòu)化資料,讓開發(fā)者以簡單且一致的方法,不需要更改查詢語言,就能查詢各種格式和服務的資料。
PartiQL具格式獨立性與儲存獨立性,PartiQL語法和語義不依賴任何資料格式,無論使用者是要查詢JSON、Parquet、ORC、CSV還是Ion等格式,查詢語句的寫法都相同,PartiQL的查詢在綜合邏輯類型系統(tǒng)上運作,才對應到不同底層的格式。而PartiQL也不相依于特定資料儲存,因此適用于不同的底層資料儲存。
雖然過去針對跨不同類型數(shù)據(jù)庫查詢的問題,已有不少解決方案,AWS指出,像是Postgres JSON同樣也兼容于SQL,但是卻無法良好地處理JSON巢狀資料;而半結(jié)構(gòu)化查詢語言,雖然能良好處理巢狀資料,但卻無法與SQL語言兼容。AWS提到,PartiQL是第一個能夠完全解決這些問題的查詢語言。
目前AWS已在自家多項服務支持PartiQL,包括Amazon S3 Select、Amazon Glacier Select、Amazon Redshift Spectrum、Amazon QLDB,接下來幾個月將會有更多的AWS服務支持PartiQL,Couchbase也公布將加入支持PartiQL的行列。現(xiàn)在PartiQL以Apache2.0授權(quán)許可開源,公開教學、規(guī)范以及參考實作,所有社群都能使用并參與貢獻。
NoSQL 數(shù)據(jù)庫因其功能性、易于開發(fā)性和可擴展性而廣受認可,它們越來越多地用于大數(shù)據(jù)和實時 Web 應用程序,在本文中,我們通過示例討論 NoSQL、何時使用 NoSQL 與 SQL 及其用例。
NoSQL是一種下一代數(shù)據(jù)庫管理系統(tǒng) (DBMS)。NoSQL 數(shù)據(jù)庫具有靈活的模式,可用于構(gòu)建具有大量數(shù)據(jù)和高負載的現(xiàn)代應用程序。
“NoSQL”一詞最初是由 Carlo Strozzi 在 1998 年創(chuàng)造的,盡管自 1960 年代后期以來就已經(jīng)存在類似的數(shù)據(jù)庫。然而,NoSQL 的發(fā)展始于 2009 年初,并且發(fā)展迅速。
在處理大量數(shù)據(jù)時,任何關系數(shù)據(jù)庫管理系統(tǒng) (RDBMS) 的響應時間都會變慢。為了解決這個問題,我們可以通過升級現(xiàn)有硬件來“擴大”信息系統(tǒng),這非常昂貴。但是,NoSQL 可以更好地橫向擴展并且更具成本效益。
NoSQL 對于非結(jié)構(gòu)化或非常大的數(shù)據(jù)對象(例如聊天日志數(shù)據(jù)、視頻或圖像)非常有用,這就是為什么 NoSQL 在微軟、谷歌、亞馬遜、Meta (Facebook) 等互聯(lián)網(wǎng)巨頭中特別受歡迎的原因。
一些流行的 NoSQL 數(shù)據(jù)庫包括:
隨著企業(yè)更快地積累更大的數(shù)據(jù)集,結(jié)構(gòu)化數(shù)據(jù)和關系模式并不總是適合。有必要使用非結(jié)構(gòu)化數(shù)據(jù)和大型對象來更好地捕獲這些信息。
傳統(tǒng)的 RDBMS 使用 SQL(結(jié)構(gòu)化查詢語言)語法來存儲和檢索結(jié)構(gòu)化數(shù)據(jù),相反,NoSQL 數(shù)據(jù)庫包含廣泛的功能,可以存儲和檢索結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化和多態(tài)數(shù)據(jù)。
有時,NoSQL 也被稱為“ 不僅僅是 SQL ”,強調(diào)它可能支持類似 SQL 的語言或與 SQL 數(shù)據(jù)庫并列。SQL 和 NoSQL DBMS 之間的一個區(qū)別是 JOIN 功能。SQL 數(shù)據(jù)庫使用 JOIN 子句來組合來自兩個或多個表的行,因為 NoSQL 數(shù)據(jù)庫本質(zhì)上不是表格的,所以這個功能并不總是可行或相關的。
但是,一些 NoSQL DBMS 可以執(zhí)行類似于 JOIN的操作——就像 MongoDB 一樣。這并不意味著不再需要 SQL DBMS,相反,NoSQL 和 SQL 數(shù)據(jù)庫傾向于以不同的方式解決類似的問題。
一般來說,在以下情況下,NoSQL 比 SQL 更可取:
許多行業(yè)都在采用 NoSQL,取代關系數(shù)據(jù)庫,從而為某些業(yè)務應用程序提供更高的靈活性和可擴展性,下面給出了 NoSQL 數(shù)據(jù)庫的一些企業(yè)用例。
內(nèi)容管理是一組用于收集、管理、傳遞、檢索和發(fā)布任何格式的信息的過程,包括文本、圖像、音頻和視頻。NoSQL 數(shù)據(jù)庫可以通過其靈活和開放的數(shù)據(jù)模型為存儲多媒體內(nèi)容提供更好的選擇。
例如,福布斯在短短幾個月內(nèi)就構(gòu)建了一個基于 MongoDB 的定制內(nèi)容管理系統(tǒng),以更低的成本為他們提供了更大的敏捷性。
大數(shù)據(jù)是指太大而無法通過傳統(tǒng)處理系統(tǒng)處理的數(shù)據(jù)集,實時存儲和檢索大數(shù)據(jù)的系統(tǒng)在分析 歷史 數(shù)據(jù)的同時使用流處理來攝取新數(shù)據(jù),這是一系列非常適合 NoSQL 數(shù)據(jù)庫的功能。
Zoom使用 DynamoDB(按需模式)使其數(shù)據(jù)能夠在沒有性能問題的情況下進行擴展,即使該服務在 COVID-19 大流行的早期使用量激增。
物聯(lián)網(wǎng)設備具有連接到互聯(lián)網(wǎng)或通信網(wǎng)絡的嵌入式軟件和傳感器,能夠在無需人工干預的情況下收集和共享數(shù)據(jù)。隨著數(shù)十億臺設備生成數(shù)不清的數(shù)據(jù),IoT NoSQL 數(shù)據(jù)庫為 IoT 服務提供商提供了可擴展性和更靈活的架構(gòu)。
Freshub就是這樣的一項服務,它從 MySQL 切換到 MongoDB,以更好地處理其大型、動態(tài)、非統(tǒng)一的數(shù)據(jù)集。
擁有數(shù)十億智能手機用戶,可擴展性正成為在移動設備上提供服務的企業(yè)面臨的最大挑戰(zhàn)。具有更靈活數(shù)據(jù)模型的 NoSQL DBMS 通常是完美的解決方案。
例如,The Weather Channel使用 MongoDB 數(shù)據(jù)庫每分鐘處理數(shù)百萬個請求,同時還處理用戶數(shù)據(jù)并提供天氣更新。
2. 什么是NoSQL?
2.1 NoSQL 概述
NoSQL(NoSQL = Not Only SQL ),意即“不僅僅是SQL”,
泛指非關系型的數(shù)據(jù)庫。隨著互聯(lián)網(wǎng)web2.0網(wǎng)站的興起,傳統(tǒng)的關系數(shù)據(jù)庫在應付web2.0網(wǎng)站,特別是超大規(guī)模和高并發(fā)的SNS類型的web2.0純動態(tài)網(wǎng)站已經(jīng)顯得力不從心,暴露了很多難以克服的問題,而非關系型的數(shù)據(jù)庫則由于其本身的特點得到了非常迅速的發(fā)展。NoSQL數(shù)據(jù)庫的產(chǎn)生就是為了解決大規(guī)模數(shù)據(jù)集合多重數(shù)據(jù)種類帶來的挑戰(zhàn),尤其是大數(shù)據(jù)應用難題,包括超大規(guī)模數(shù)據(jù)的存儲。
(例如谷歌或Facebook每天為他們的用戶收集萬億比特的數(shù)據(jù))。這些類型的數(shù)據(jù)存儲不需要固定的模式,無需多余操作就可以橫向擴展。
2.2 NoSQL代表
MongDB、 Redis、Memcache
3. 關系型數(shù)據(jù)庫與NoSQL的區(qū)別?
3.1 RDBMS
高度組織化結(jié)構(gòu)化數(shù)據(jù)
結(jié)構(gòu)化查詢語言(SQL)
數(shù)據(jù)和關系都存儲在單獨的表中。
數(shù)據(jù)操縱語言,數(shù)據(jù)定義語言
嚴格的一致性
基礎事務
ACID
關系型數(shù)據(jù)庫遵循ACID規(guī)則
事務在英文中是transaction,和現(xiàn)實世界中的交易很類似,它有如下四個特性:
A (Atomicity) 原子性
原子性很容易理解,也就是說事務里的所有操作要么全部做完,要么都不做,事務成功的條件是事務里的所有操作都成功,只要有一個操作失敗,整個事務就失敗,需要回滾。比如銀行轉(zhuǎn)賬,從A賬戶轉(zhuǎn)100元至B賬戶,分為兩個步驟:1)從A賬戶取100元;2)存入100元至B賬戶。這兩步要么一起完成,要么一起不完成,如果只完成第一步,第二步失敗,錢會莫名其妙少了100元。
C (Consistency) 一致性
一致性也比較容易理解,也就是說數(shù)據(jù)庫要一直處于一致的狀態(tài),事務的運行不會改變數(shù)據(jù)庫原本的一致性約束。
I (Isolation) 獨立性
所謂的獨立性是指并發(fā)的事務之間不會互相影響,如果一個事務要訪問的數(shù)據(jù)正在被另外一個事務修改,只要另外一個事務未提交,它所訪問的數(shù)據(jù)就不受未提交事務的影響。比如現(xiàn)有有個交易是從A賬戶轉(zhuǎn)100元至B賬戶,在這個交易還未完成的情況下,如果此時B查詢自己的賬戶,是看不到新增加的100元的
D (Durability) 持久性
持久性是指一旦事務提交后,它所做的修改將會永久的保存在數(shù)據(jù)庫上,即使出現(xiàn)宕機也不會丟失。
3.2 NoSQL
代表著不僅僅是SQL
沒有聲明性查詢語言
沒有預定義的模式
鍵 - 值對存儲,列存儲,文檔存儲,圖形數(shù)據(jù)庫
最終一致性,而非ACID屬性
非結(jié)構(gòu)化和不可預知的數(shù)據(jù)
CAP定理
高性能,高可用性和可伸縮性
分布式數(shù)據(jù)庫中的CAP原理(了解)
CAP定理:
Consistency(一致性), 數(shù)據(jù)一致更新,所有數(shù)據(jù)變動都是同步的
Availability(可用性), 好的響應性能
Partition tolerance(分區(qū)容錯性) 可靠性
P: 系統(tǒng)中任意信息的丟失或失敗不會影響系統(tǒng)的繼續(xù)運作。
定理:任何分布式系統(tǒng)只可同時滿足二點,沒法三者兼顧。
CAP理論的核心是:一個分布式系統(tǒng)不可能同時很好的滿足一致性,可用性和分區(qū)容錯性這三個需求,
因此,根據(jù) CAP 原理將 NoSQL 數(shù)據(jù)庫分成了滿足 CA 原則、滿足 CP 原則和滿足 AP 原則三 大類:
CA - 單點集群,滿足一致性,可用性的系統(tǒng),通常在可擴展性上不太強大。
CP - 滿足一致性,分區(qū)容忍性的系統(tǒng),通常性能不是特別高。
AP - 滿足可用性,分區(qū)容忍性的系統(tǒng),通常可能對一致性要求低一些。
CAP理論就是說在分布式存儲系統(tǒng)中,最多只能實現(xiàn)上面的兩點。
而由于當前的網(wǎng)絡硬件肯定會出現(xiàn)延遲丟包等問題,所以分區(qū)容忍性是我們必須需要實現(xiàn)的。
所以我們只能在一致性和可用性之間進行權(quán)衡,沒有NoSQL系統(tǒng)能同時保證這三點。
說明:C:強一致性 A:高可用性 P:分布式容忍性
舉例:
CA:傳統(tǒng)Oracle數(shù)據(jù)庫
AP:大多數(shù)網(wǎng)站架構(gòu)的選擇
CP:Redis、Mongodb
注意:分布式架構(gòu)的時候必須做出取舍。
一致性和可用性之間取一個平衡。多余大多數(shù)web應用,其實并不需要強一致性。
因此犧牲C換取P,這是目前分布式數(shù)據(jù)庫產(chǎn)品的方向。
4. 當下NoSQL的經(jīng)典應用
當下的應用是 SQL 與 NoSQL 一起使用的。
代表項目:阿里巴巴商品信息的存放。
去 IOE 化。
ps:I 是指 IBM 的小型機,很貴的,好像好幾萬一臺;O 是指 Oracle 數(shù)據(jù)庫,也很貴的,好幾萬呢;M 是指 EMC 的存儲設備,也很貴的。
難點:
數(shù)據(jù)類型多樣性。
數(shù)據(jù)源多樣性和變化重構(gòu)。
數(shù)據(jù)源改造而服務平臺不需要大面積重構(gòu)。
聯(lián)合查詢效率較高.以下例子來說明聯(lián)合查詢的好處
t1表結(jié)構(gòu)(用戶名,密碼) userid int username varchar(20) password varchar(20)
1 jack jackpwd
2 owen owenpwd
t3表結(jié)構(gòu)(用戶積分,等級) userid int jf int dj int
1 20 3
3 50 6
第一:內(nèi)聯(lián)(inner join)
如果想把用戶信息,積分,等級都列出來.那么一般會這樣寫
select * from t1 ,t3 where t1.userid = t3.userid 其實這樣的結(jié)果等同于select * from t1 inner join t3 on t1.userid=t3.userid
就是把兩個表中都存在userid的行拼成一行.這是內(nèi)聯(lián).但后者的效率會比前者高很多.建議用后者的寫法.
運行結(jié)果:userid username password userid jf dj
1 jack jacjpwd 1 20 3
第二:左聯(lián)(left outer join)顯示左表中的所有行
select * from t1 left outer join t3 on t1.userid=t3.userid
運行結(jié)果:userid username password userid jf dj
1 jack jackpwd 1 20 3
2 owen owenpwd NULL NULL NULL
第三:右聯(lián)(right outer join)顯示右表中的所有行
select * from t1 right outer join t3 on t1.userid=t3.userid
運行結(jié)果:userid username password userid jf dj
1 jack jackpwd 1 20 3
Null Null Null 3 50 6
第四:全聯(lián)(full outer join)顯示兩邊表中所有行
select * from t1 full outer join t3 on t1.userid=t3.userid
運行結(jié)果:userid username password userid jf dj
1 jack jackpwd 1 20 3
2 owen owenpwd NULL NULL NULL
Null Null Null 3 50 6
SQL使用(一)——聯(lián)合查詢
1.聯(lián)合查詢分類
內(nèi)連接(inner Join 或 Join)
外連接(outer Join)
左外連接(left outer Join 或 left Join)
右外連接(right outer Join 或 right Join)
全外連接(full outer Join 或 full Join)
交叉連接 (cross Join)
結(jié)果集鏈接 (union 和 union all)
2.聯(lián)合查詢介紹
相關數(shù)據(jù)表如下:
A表
B表
C表
2.1內(nèi)連接(Inner Join)
內(nèi)連接:僅顯示兩個表中匹配行,即兩表中都有才顯示。
SQL如下:
SELECT? A.id? AS? AID,? ? A.content? AS? AContent,? ? B.id? AS? BID,? ? B.content? AS? BContent? FROM? A? INNERJOIN? B? ON? (A.id = B.id);
1
2
3
4
5
6
7
8
查詢結(jié)果:
由查詢結(jié)果可以看出,內(nèi)連接根據(jù)連接條件(A.id=B.id)查詢出了A、B兩表中都存在的數(shù)據(jù)信息。2個表的聯(lián)合查詢結(jié)果如此,那么3個表甚至更多表聯(lián)合查詢的結(jié)果呢?
A、B、C三表聯(lián)合內(nèi)查詢SQL
SELECTA.idASAID,? ? A.contentASAContent,? ? B.idASBID,? ? B.contentASBContent,? ? C.idASCID,? ? C.contentASCContentFROMAINNERJOINBON(A.id = B.id)INNERJOINCON(A.id = C.id)
1
2
3
4
5
6
7
8
9
10
11
查詢結(jié)果:
啊?怎么多了一行數(shù)據(jù)?不用驚訝,其實C表中有2個id為1的記錄,然而我們怎么理解得到的查詢結(jié)果呢?
可以把A、B兩表的查詢結(jié)果作為T表(中間結(jié)果表),然后T表內(nèi)連接C表,連接條件為T.A.id=C.id。
簡單來說n(n=2)都可以看做兩張表的聯(lián)合查詢,后面的小節(jié)將只介紹兩個表的聯(lián)合查詢。
2.2外連接(Outer Join)
2.2.1左外連接(Left outer Join)
左外連接:左表有就顯示,不論右表。
SQL:
SELECTA.idASAID,? ? A.contentASAContent,? ? B.idASBID,? ? B.contentASBContentFROMALEFTJOINBON(A.id = B.id);
1
2
3
4
5
6
7
8
查詢結(jié)果:
左連接并不是把B表左連接到A表上,而是把A表作為基準表。由查詢結(jié)果可以看出,A、B兩表左連接,只要A中有結(jié)果,無論B表中有無結(jié)果,都會被查詢出來。
2.2.2右外連接(Right outer Join)
右外連接:右表有就顯示,不論左表。
SQL:
SELECTA.idASAID,? ? A.contentASAContent,? ? B.idASBID,? ? B.contentASBContentFROMARIGHTJOINBON(A.id = B.id);
1
2
3
4
5
6
7
8
9
查詢結(jié)果:
右連接和左連接類似,只是把B表(連接的表)作為基準表。由查詢結(jié)果可以看出,無論A表是否存在其他數(shù)據(jù),只要B表數(shù)據(jù)存在就會被查詢出來。
2.2.3全外連接(Full outer Join)
全外連接:左表/右表,有一個有就顯示。
SQL:
SELECTA.idASAID,? ? A.contentASAContent,? ? B.idASBID,? ? B.contentASBContentFROMAFULLOUTERJOINBON(A.id = B.id);
1
2
3
4
5
6
7
8
9
查詢結(jié)果:
全外連接查詢就字面意思也不難看出是查詢出兩表(A、B)中的所有記錄信息。
注:MySQL中不支持全外連接(但是可以union來實現(xiàn),后面會介紹)。
2.2交叉連接(Cross Join)
SQL:
SELECTA.idASAID,? ? A.contentASAContent,? ? B.idASBID,? ? B.contentASBContentFROMACROSSJOINB;
1
2
3
4
5
6
7
8
9
查詢結(jié)果:
由結(jié)果可以看出,交叉連接是對A、B量表進行笛卡爾積的結(jié)果查詢出來。即A的每條記錄都有和B中所有記錄相對應的信息。
2.3 SQL Union
SQL Union用于將多個select結(jié)果集進行合并。值得注意的是,UNION 內(nèi)部的 SELECT 語句必須擁有相同數(shù)量的列。列也必須擁有相似的數(shù)據(jù)類型。同時,每條 SELECT 語句中的列的順序必須相同。
SQL:
SELECT*FROMAUNIONSELECT*fromB;
1
查詢結(jié)果:
Union是把2個Select結(jié)果集進行合并,由查詢結(jié)果也不難看出,A、B兩表的結(jié)果數(shù)據(jù)進行了合并,并且都被查詢出來了。
如果2個Select結(jié)果集中存在相同的結(jié)果,用Union則會把相同的記錄進行合并,查詢結(jié)果中僅僅會顯示一條。那么如果想都顯示出來,把Union換成Union All 即可。
Union實現(xiàn)Full outer Join:
1.首先獲取A、B表中id的不同組合。
SQL:
CREATEVIEWvasSELECTA.idfromAUNIONSELECTB.idfromB;
1
視圖內(nèi)存如下:
2.以視圖V為基本表,Left Join A、B表即可。
SQL:
SELECTA.id,? ? A.content,? ? B.id,? ? B.contentFROMvLEFTJOINAON(A.id = v.id)LEFTJOINBON(B.id = v.id);
1
2
3
4
5
6
7
8
9
查詢結(jié)果如下:
網(wǎng)站名稱:nosql數(shù)據(jù)庫聯(lián)合查詢,nosql 關系型數(shù)據(jù)庫
網(wǎng)站地址:http://chinadenli.net/article39/dsiggsh.html
成都網(wǎng)站建設公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站制作、云服務器、自適應網(wǎng)站、品牌網(wǎng)站設計、品牌網(wǎng)站制作、網(wǎng)站設計公司
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)