用 MySQL 實(shí)現(xiàn)分布式鎖，你聽(tīng)過(guò)嗎？

以前參加過(guò)一個(gè)庫(kù)存系統(tǒng)，由于其業(yè)務(wù)復(fù)雜性，搞了很多個(gè)應(yīng)用來(lái)支撐。這樣的話一份庫(kù)存數(shù)據(jù)就有可能同時(shí)有多個(gè)應(yīng)用來(lái)修改庫(kù)存數(shù)據(jù)。

讓客戶滿意是我們工作的目標(biāo)，不斷超越客戶的期望值來(lái)自于我們對(duì)這個(gè)行業(yè)的熱愛(ài)。我們立志把好的技術(shù)通過(guò)有效、簡(jiǎn)單的方式提供給客戶，將通過(guò)不懈努力成為客戶在信息化領(lǐng)域值得信任、有價(jià)值的長(zhǎng)期合作伙伴，公司提供的服務(wù)項(xiàng)目有：域名與空間、網(wǎng)絡(luò)空間、營(yíng)銷軟件、網(wǎng)站建設(shè)、廬江網(wǎng)站維護(hù)、網(wǎng)站推廣。

比如說(shuō)，有定時(shí)任務(wù)域xx.cron，和SystemA域和SystemB域這幾個(gè)JAVA應(yīng)用，可能同時(shí)修改同一份庫(kù)存數(shù)據(jù)。如果不做協(xié)調(diào)的話，就會(huì)有臟數(shù)據(jù)出現(xiàn)。

對(duì)于跨JAVA進(jìn)程的線程協(xié)調(diào)，可以借助外部環(huán)境，例如DB或者Redis。下文介紹一下如何使用DB來(lái)實(shí)現(xiàn)分布式鎖。

本文設(shè)計(jì)的分布式鎖的交互方式如下：

在使用synchronized關(guān)鍵字的時(shí)候，必須指定一個(gè)鎖對(duì)象。

進(jìn)程內(nèi)的線程可以基于obj來(lái)實(shí)現(xiàn)同步。obj在這里可以理解為一個(gè)鎖對(duì)象。如果線程要進(jìn)入synchronized代碼塊里，必須先持有obj對(duì)象上的鎖。這種鎖是JAVA里面的內(nèi)置鎖，創(chuàng)建的過(guò)程是線程安全的。那么借助DB，如何保證創(chuàng)建鎖的過(guò)程是線程安全的呢？

可以利用DB中的UNIQUE KEY特性，一旦出現(xiàn)了重復(fù)的key，由于UNIQUE KEY的唯一性，會(huì)拋出異常的。在JAVA里面，是 SQLIntegrityConstraintViolationException 異常。

transaction_id是事務(wù)Id，比如說(shuō)，可以用

來(lái)組裝一個(gè)transaction_id，表示某倉(cāng)庫(kù)某銷售模式下的某個(gè)條碼資源。不同條碼，當(dāng)然就有不同的transaction_id。如果有兩個(gè)應(yīng)用，拿著相同的transaction_id來(lái)創(chuàng)建鎖資源的時(shí)候，只能有一個(gè)應(yīng)用創(chuàng)建成功。

在寫操作頻繁的業(yè)務(wù)系統(tǒng)中，通常會(huì)進(jìn)行分庫(kù)，以降低單數(shù)據(jù)庫(kù)寫入的壓力，并提高寫操作的吞吐量。如果使用了分庫(kù)，那么業(yè)務(wù)數(shù)據(jù)自然也都分配到各個(gè)數(shù)據(jù)庫(kù)上了。

在這種水平切分的多數(shù)據(jù)庫(kù)上使用DB分布式鎖，可以自定義一個(gè)DataSouce列表。并暴露一個(gè) getConnection(String transactionId) 方法，按照transactionId找到對(duì)應(yīng)的Connection。

實(shí)現(xiàn)代碼如下：

首先編寫一個(gè)initDataSourceList方法，并利用Spring的PostConstruct注解初始化一個(gè)DataSource 列表。相關(guān)的DB配置從db.properties讀取。

DataSource使用阿里的DruidDataSource。

接著最重要的一個(gè)實(shí)現(xiàn)getConnection(String transactionId)方法。實(shí)現(xiàn)原理很簡(jiǎn)單，獲取transactionId的hashcode，并對(duì)DataSource的長(zhǎng)度取模即可。

連接池列表設(shè)計(jì)好后，就可以實(shí)現(xiàn)往distributed_lock表插入數(shù)據(jù)了。

接下來(lái)利用DB的 select for update 特性來(lái)鎖住線程。當(dāng)多個(gè)線程根據(jù)相同的transactionId并發(fā)同時(shí)操作 select for update 的時(shí)候，只有一個(gè)線程能成功，其他線程都block住，直到 select for update 成功的線程使用commit操作后，block住的所有線程的其中一個(gè)線程才能開(kāi)始干活。

我們?cè)谏厦娴腄istributedLock類中創(chuàng)建一個(gè)lock方法。

當(dāng)線程執(zhí)行完任務(wù)后，必須手動(dòng)的執(zhí)行解鎖操作，之前被鎖住的線程才能繼續(xù)干活。在我們上面的實(shí)現(xiàn)中，其實(shí)就是獲取到當(dāng)時(shí) select for update 成功的線程對(duì)應(yīng)的Connection，并實(shí)行commit操作即可。

那么如何獲取到呢？我們可以利用ThreadLocal。首先在DistributedLock類中定義

每次調(diào)用lock方法的時(shí)候，把Connection放置到ThreadLocal里面。我們修改lock方法。

這樣子，當(dāng)獲取到Connection后，將其設(shè)置到ThreadLocal中，如果lock方法出現(xiàn)異常，則將其從ThreadLocal中移除掉。

有了這幾步后，我們可以來(lái)實(shí)現(xiàn)解鎖操作了。我們?cè)贒istributedLock添加一個(gè)unlock方法。

畢竟是利用DB來(lái)實(shí)現(xiàn)分布式鎖，對(duì)DB還是造成一定的壓力。當(dāng)時(shí)考慮使用DB做分布式的一個(gè)重要原因是，我們的應(yīng)用是后端應(yīng)用，平時(shí)流量不大的，反而關(guān)鍵的是要保證庫(kù)存數(shù)據(jù)的正確性。對(duì)于像前端庫(kù)存系統(tǒng)，比如添加購(gòu)物車占用庫(kù)存等操作，最好別使用DB來(lái)實(shí)現(xiàn)分布式鎖了。

如果想鎖住多份數(shù)據(jù)該怎么實(shí)現(xiàn)？比如說(shuō)，某個(gè)庫(kù)存操作，既要修改物理庫(kù)存，又要修改虛擬庫(kù)存，想鎖住物理庫(kù)存的同時(shí)，又鎖住虛擬庫(kù)存。其實(shí)也不是很難，參考lock方法，寫一個(gè)multiLock方法，提供多個(gè)transactionId的入?yún)ⅲ琭or循環(huán)處理就可以了。這個(gè)后續(xù)有時(shí)間再補(bǔ)上。

MySQL從入門到精通(九) MySQL鎖，各種鎖

鎖是計(jì)算機(jī)協(xié)調(diào)多個(gè)進(jìn)程或線程并發(fā)訪問(wèn)某一資源的機(jī)制，在數(shù)據(jù)庫(kù)中，除傳統(tǒng)的計(jì)算資源（CPU、RAM、I/O）爭(zhēng)用外，數(shù)據(jù)也是一種供許多用戶共享的資源，如何保證數(shù)據(jù)并發(fā)訪問(wèn)的一致性，有效性是所有數(shù)據(jù)庫(kù)必須解決的一個(gè)問(wèn)題，鎖沖突也是影響數(shù)據(jù)庫(kù)并發(fā)訪問(wèn)性能的一個(gè)重要因素，從這個(gè)角度來(lái)說(shuō)，鎖對(duì)數(shù)據(jù)庫(kù)而言是尤其重要，也更加復(fù)雜。MySQL中的鎖，按照鎖的粒度分為:1、全局鎖，就鎖定數(shù)據(jù)庫(kù)中的所有表。2、表級(jí)鎖，每次操作鎖住整張表。3、行級(jí)鎖，每次操作鎖住對(duì)應(yīng)的行數(shù)據(jù)。

全局鎖就是對(duì)整個(gè)數(shù)據(jù)庫(kù)實(shí)例加鎖，加鎖后整個(gè)實(shí)例就處于只讀狀態(tài)，后續(xù)的DML的寫語(yǔ)句，DDL語(yǔ)句，已經(jīng)更新操作的事務(wù)提交語(yǔ)句都將阻塞。其典型的使用場(chǎng)景就是做全庫(kù)的邏輯備份，對(duì)所有的表進(jìn)行鎖定，從而獲取一致性視圖，保證數(shù)據(jù)的完整性。但是對(duì)數(shù)據(jù)庫(kù)加全局鎖是有弊端的，如在主庫(kù)上備份，那么在備份期間都不能執(zhí)行更新，業(yè)務(wù)會(huì)受影響，第二如果是在從庫(kù)上備份，那么在備份期間從庫(kù)不能執(zhí)行主庫(kù)同步過(guò)來(lái)的二進(jìn)制日志，會(huì)導(dǎo)致主從延遲。

解決辦法是在innodb引擎中，備份時(shí)加上--single-transaction參數(shù)來(lái)完成不加鎖的一致性數(shù)據(jù)備份。

添加全局鎖: flush tables with read lock; 解鎖 unlock tables。

表級(jí)鎖,每次操作會(huì)鎖住整張表.鎖定粒度大,發(fā)送鎖沖突的概率最高,并發(fā)讀最低,應(yīng)用在myisam、innodb、BOB等存儲(chǔ)引擎中。表級(jí)鎖分為: 表鎖、元數(shù)據(jù)鎖(meta data lock, MDL)和意向鎖。

表鎖又分為: 表共享讀鎖 read lock、表獨(dú)占寫鎖write lock

語(yǔ)法: 1、加鎖 lock tables 表名 ... read/write

2、釋放鎖 unlock tables 或者關(guān)閉客戶端連接

注意: 讀鎖不會(huì)阻塞其它客戶端的讀，但是會(huì)阻塞其它客戶端的寫，寫鎖既會(huì)阻塞其它客戶端的讀，又會(huì)阻塞其它客戶端的寫。大家可以拿一張表來(lái)測(cè)試看看。

元數(shù)據(jù)鎖,在加鎖過(guò)程中是系統(tǒng)自動(dòng)控制的，無(wú)需顯示使用，在訪問(wèn)一張表的時(shí)候會(huì)自動(dòng)加上，MDL鎖主要作用是維護(hù)表元數(shù)據(jù)的數(shù)據(jù)一致性，在表上有活動(dòng)事務(wù)的時(shí)候，不可以對(duì)元數(shù)據(jù)進(jìn)行寫入操作。為了避免DML和DDL沖突，保證讀寫的正確性。

在MySQL5.5中引入了MDL，當(dāng)對(duì)一張表進(jìn)行增刪改查的時(shí)候，加MDL讀鎖(共享)；當(dāng)對(duì)表結(jié)構(gòu)進(jìn)行變更操作時(shí)，加MDL寫鎖(排他).

查看元數(shù)據(jù)鎖:

select object_type,object_schema,object_name,lock_type,lock_duration from performance_schema_metadata_locks;

意向鎖，為了避免DML在執(zhí)行時(shí)，加的行鎖與表鎖的沖突，在innodb中引入了意向鎖，使得表鎖不用檢查每行數(shù)據(jù)是否加鎖，使用意向鎖來(lái)減少表鎖的檢查。意向鎖分為,意向共享鎖is由語(yǔ)句select ... lock in share mode添加。意向排他鎖ix,由insert，update，delete，select。。。for update 添加。

select object_schema,object_name,index_name,lock_type,lock_mode,lock_data from performance_schema.data_lock;

行級(jí)鎖，每次操作鎖住對(duì)應(yīng)的行數(shù)據(jù)，鎖定粒度最小，發(fā)生鎖沖突的概率最高，并發(fā)讀最高，應(yīng)用在innodb存儲(chǔ)引擎中。

innodb的數(shù)據(jù)是基于索引組織的，行鎖是通過(guò)對(duì)索引上的索引項(xiàng)加鎖來(lái)實(shí)現(xiàn)的，而不是對(duì)記錄加的鎖，對(duì)于行級(jí)鎖，主要分為以下三類:

1、行鎖或者叫record lock記錄鎖，鎖定單個(gè)行記錄的鎖，防止其他事物對(duì)次行進(jìn)行update和delete操作，在RC,RR隔離級(jí)別下都支持。

2、間隙鎖Gap lock,鎖定索引記錄間隙(不含該記錄)，確保索引記錄間隙不變，防止其他事物在這個(gè)間隙進(jìn)行insert操作，產(chǎn)生幻讀，在RR隔離級(jí)別下都支持。

3、臨鍵鎖Next-key-lock,行鎖和間隙鎖組合，同時(shí)鎖住數(shù)據(jù)，并鎖住數(shù)據(jù)前面的間隙Gap,在RR隔離級(jí)別下支持。

innodb實(shí)現(xiàn)了以下兩種類型的行鎖

1、共享鎖 S: 允許一個(gè)事務(wù)去讀一行，阻止其他事務(wù)獲得相同數(shù)據(jù)集的排他鎖。

2、排他鎖 X: 允許獲取排他鎖的事務(wù)更新數(shù)據(jù)，阻止其他事務(wù)獲得相同數(shù)據(jù)集的共享鎖和排他鎖。

insert 語(yǔ)句 排他鎖 自動(dòng)添加的

update語(yǔ)句 排他鎖 自動(dòng)添加

delete 語(yǔ)句 排他鎖 自動(dòng)添加

select 正常查詢語(yǔ)句 不加鎖 。。。

select 。。。lock in share mode 共享鎖 需要手動(dòng)在select 之后加lock in share mode

select 。。。for update 排他鎖 需要手動(dòng)在select之后添加for update

默認(rèn)情況下，innodb在repeatable read事務(wù)隔離級(jí)別運(yùn)行，innodb使用next-key鎖進(jìn)行搜索和索引掃描，以防止幻讀。

間隙鎖唯一目的是防止其它事務(wù)插入間隙，間隙鎖可以共存，一個(gè)事務(wù)采用的間隙鎖不會(huì)阻止另一個(gè)事務(wù)在同一間隙上采用的間隙鎖。

輕松掌握MySQL數(shù)據(jù)庫(kù)鎖機(jī)制的相關(guān)原理[1]

在一個(gè)update和insert操作頻繁的表中 少量數(shù)據(jù)測(cè)試的時(shí)候運(yùn)行良好 在實(shí)際運(yùn)營(yíng)中 因數(shù)據(jù)量比較大( 萬(wàn)條記錄) 會(huì)出現(xiàn)死鎖現(xiàn)象 用show processlist查看 可以看到一個(gè)update語(yǔ)句狀態(tài)是Locked 一個(gè)delete語(yǔ)句狀態(tài)是Sending data 查看了一下參考手冊(cè) 把鎖定相關(guān)的資料整理下來(lái) 以便自己記錄和追蹤該問(wèn)題的解決情況

MySQL 支持對(duì)MyISAM和MEMORY表進(jìn)行表級(jí)鎖定 對(duì)BDB表進(jìn)行頁(yè)級(jí)鎖定 對(duì)InnoDB 表進(jìn)行行級(jí)鎖定 在許多情況下 可以根據(jù)培訓(xùn)猜測(cè)應(yīng)用程序使用哪類鎖定類型最好 但一般很難說(shuō)出某個(gè)給出的鎖類型就比另一個(gè)好 一切取決于應(yīng)用程序 應(yīng)用程序的不同部分可能需要不同的鎖類型 為了確定是否想要使用行級(jí)鎖定的存儲(chǔ)引擎 應(yīng)看看應(yīng)用程序做什么并且混合使用什么樣的選擇和更新語(yǔ)句 例如 大多數(shù)Web應(yīng)用程序執(zhí)行許多選擇 而很少進(jìn)行刪除 只對(duì)關(guān)鍵字的值進(jìn)行更新 并且只插入少量具體的表 基本MySQL MyISAM設(shè)置已經(jīng)調(diào)節(jié)得很好

在MySQL中對(duì)于使用表級(jí)鎖定的存儲(chǔ)引擎 表鎖定時(shí)不會(huì)死鎖的 這通過(guò)總是在一個(gè)查詢開(kāi)始時(shí)立即請(qǐng)求所有必要的鎖定并且總是以同樣的順序鎖定表來(lái)管理

對(duì)WRITE MySQL使用的表鎖定方法原理如下

◆ 如果在表上沒(méi)有鎖 在它上面放一個(gè)寫鎖

◆否則 把鎖定請(qǐng)求放在寫鎖定隊(duì)列中

對(duì)READ MySQL使用的鎖定方法原理如下

◆如果在表上沒(méi)有寫鎖定 把一個(gè)讀鎖定放在它上面

◆否則 把鎖請(qǐng)求放在讀鎖定隊(duì)列中

當(dāng)一個(gè)鎖定被釋放時(shí) 鎖定可被寫鎖定隊(duì)列中的線程得到 然后是讀鎖定隊(duì)列中的線程

這意味著 如果你在一個(gè)表上有許多更新 SELECT語(yǔ)句將等待直到?jīng)]有更多的更新

如果INSERT 語(yǔ)句不沖突 可以自由為MyISAM 表混合并行的INSERT 和SELECT 語(yǔ)句而不需要鎖定

InnoDB 使用行鎖定 BDB 使用頁(yè)鎖定 對(duì)于這兩種存儲(chǔ)引擎 都可能存在死鎖 這是因?yàn)?在SQL語(yǔ)句處理期間 InnoDB 自動(dòng)獲得行鎖定 BDB 獲得頁(yè)鎖定 而不是在事務(wù)啟動(dòng)時(shí)獲得

行級(jí)鎖定的優(yōu)點(diǎn)

· 當(dāng)在許多線程中訪問(wèn)不同的行時(shí)只存在少量鎖定沖突

· 回滾時(shí)只有少量的更改

· 可以長(zhǎng)時(shí)間鎖定單一的行

行級(jí)鎖定的缺點(diǎn)

· 比頁(yè)級(jí)或表級(jí)鎖定占用更多的內(nèi)存

· 當(dāng)在表的大部分中使用時(shí) 比頁(yè)級(jí)或表級(jí)鎖定速度慢 因?yàn)槟惚仨毇@取更多的鎖

· 如果你在大部分?jǐn)?shù)據(jù)上經(jīng)常進(jìn)行 GROUP BY 操作或者必須經(jīng)常掃描整個(gè)表 比其它鎖定明顯慢很多

· 用高級(jí)別鎖定 通過(guò)支持不同的類型鎖定 你也可以很容易地調(diào)節(jié)應(yīng)用程序 因?yàn)槠滏i成本小于行級(jí)鎖定

在以下情況下 表鎖定優(yōu)先于頁(yè)級(jí)或行級(jí)鎖定

· 表的大部分語(yǔ)句用于讀取

· 對(duì)嚴(yán)格的關(guān)鍵字進(jìn)行讀取和更新 你可以更新或刪除可以用單一的讀取的關(guān)鍵字來(lái)提取的一行

# ; UPDATE tbl_name SET column = value WHERE unique_key_col = key_value ;

# ; DELETE FROM tbl_name WHERE unique_key_col = key_value ;

· SELECT 結(jié)合并行的INSERT 語(yǔ)句 并且只有很少的UPDATE或 DELETE 語(yǔ)句

· 在整個(gè)表上有許多掃描或 GROUP BY 操作 沒(méi)有任何寫操作

lishixinzhi/Article/program/MySQL/201311/29594

mysql 的鎖以及間隙鎖

mysql 為并發(fā)事務(wù)同時(shí)對(duì)一條記錄進(jìn)行讀寫時(shí)，提出了兩種解決方案：

1）使用 mvcc 的方法，實(shí)現(xiàn)多事務(wù)的并發(fā)讀寫，但是這種讀只是“快照讀”，一般讀的是歷史版本數(shù)據(jù)，還有一種是“當(dāng)前讀”，一般加鎖實(shí)現(xiàn)“當(dāng)前讀”，或者 insert、update、delete 也是當(dāng)前讀。

2）使用加鎖的方法，鎖分為共享鎖（讀鎖），排他鎖（寫鎖）

快照讀：就是select

當(dāng)前讀：特殊的讀操作，插入/更新/刪除操作，屬于當(dāng)前讀，處理的都是當(dāng)前的數(shù)據(jù)，需要加鎖。

mysql 在 RR 級(jí)別怎么處理幻讀的呢？一般來(lái)說(shuō)，RR 級(jí)別通過(guò) mvcc 機(jī)制，保證讀到低于后面事務(wù)的數(shù)據(jù)。但是 select for update 不會(huì)觸發(fā) mvcc，它是當(dāng)前讀。如果后面事務(wù)插入數(shù)據(jù)并提交，那么在 RR 級(jí)別就會(huì)讀到插入的數(shù)據(jù)。所以，mysql 使用 行鎖 + gap 鎖（簡(jiǎn)稱 next-key 鎖）來(lái)防止當(dāng)前讀的時(shí)候插入。

Gap Lock在InnoDB的唯一作用就是防止其他事務(wù)的插入操作，以此防止幻讀的發(fā)生。

Innodb自動(dòng)使用間隙鎖的條件：

網(wǎng)頁(yè)標(biāo)題：mysql鎖怎么實(shí)現(xiàn)的 mysql鎖的實(shí)現(xiàn)原理
文章URL：http://chinadenli.net/article8/dohgsip.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供企業(yè)網(wǎng)站制作、定制網(wǎng)站、標(biāo)簽優(yōu)化、靜態(tài)網(wǎng)站、域名注冊(cè)、小程序開(kāi)發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)