什么是分布式SnowFlakeID?如何優(yōu)化SnowFlakeID?這些問題可能是我們?nèi)粘9ぷ鲿?huì)見到的。通過這些問題,希望你能收獲更多。下面是揭開這些問題的詳細(xì)內(nèi)容。
SnowFlake是twitter公司內(nèi)部分布式項(xiàng)目采用的ID生成算法,開源后廣受國(guó)內(nèi)大廠的好評(píng)。由這種算法生成的ID,我們就叫做SnowFlakeID
SnowFlakeID的大的特性就是天然去中心化,通過時(shí)間戳、工作機(jī)器編號(hào)兩個(gè)變量進(jìn)行配置后,通過SnowFlake算法會(huì)生成唯一的遞增ID。在任何機(jī)器上,只要保證工作機(jī)器編號(hào)不同,就可以確保生成的ID唯一,且整體趨勢(shì)是遞增的
Snowflake的結(jié)構(gòu)如下(每部分用-分開):
0 - 0000000000 0000000000 0000000000 0000000000 0 - 0000000000 - 000000000000
第一段1位為未使用,永遠(yuǎn)固定為0
第二段41位為毫秒級(jí)時(shí)間(41位的長(zhǎng)度可以使用69年)
第三段10位為workerId(10位的長(zhǎng)度最多支持部署1024個(gè)節(jié)點(diǎn))
第三段12位為毫秒內(nèi)的計(jì)數(shù)(12位的計(jì)數(shù)順序號(hào)支持每個(gè)節(jié)點(diǎn)每毫秒產(chǎn)生4096個(gè)ID序號(hào))
如果按照1024的滿節(jié)點(diǎn)(1個(gè)節(jié)點(diǎn)就是1個(gè)部署的服務(wù))計(jì)算,每毫秒可生成的ID序號(hào)有1024*4096=4194304個(gè),足以滿足現(xiàn)在絕大多數(shù)的業(yè)務(wù)情況
算法的核心如下
((當(dāng)前時(shí)間 - 服務(wù)時(shí)間) << timestampLeftShift)
| (機(jī)器ID << workerIdShift)
| sequence;
服務(wù)時(shí)間指的是服務(wù)的開發(fā)時(shí)間,即第一個(gè)正式ID產(chǎn)生的時(shí)間。由于SnowFlakeID最長(zhǎng)可用69年(因?yàn)橹挥?1個(gè)bit,41個(gè)bit的大值換算成年就是69年)。所以服務(wù)時(shí)間越貼近上線時(shí)間,則該算法可用時(shí)間越長(zhǎng)。
其中sequence為遞增序列,當(dāng)前時(shí)間戳和上一ID生成時(shí)間戳一致時(shí),sequence就遞增1,直到4096為止。
SnowFlake很好,分布式、去中心化、無(wú)第三方依賴。但它并不是完美的,由于SnowFlake強(qiáng)依賴時(shí)間戳,所以時(shí)間的變動(dòng)會(huì)造成SnowFlake的算法產(chǎn)生錯(cuò)誤。
時(shí)鐘回?fù)?/strong>:最常見的問題就是時(shí)鐘回?fù)軐?dǎo)致的ID重復(fù)問題,在SnowFlake算法中并沒有什么有效的解法,僅是拋出異常。時(shí)鐘回?fù)苌婕皟煞N情況①實(shí)例停機(jī)→時(shí)鐘回?fù)堋鷮?shí)例重啟→計(jì)算ID ②實(shí)例運(yùn)行中→時(shí)鐘回?fù)堋?jì)算ID
手動(dòng)配置:另一個(gè)就是workerId(機(jī)器ID)是需要部署時(shí)手動(dòng)配置,而workerId又不能重復(fù)。幾臺(tái)實(shí)例還好,一旦實(shí)例達(dá)到一定量級(jí),管理workerId將是一個(gè)復(fù)雜的操作。
ID生成器一旦不可用,可能造成所有數(shù)據(jù)庫(kù)相關(guān)新增業(yè)務(wù)都不可用,影響太大。所以時(shí)鐘回?fù)艿膯栴}必須解決。
造成時(shí)鐘回?fù)艿脑蚨喾N多樣,可能是閏秒回?fù)?,可能是NTP同步,還可能是服務(wù)器時(shí)間手動(dòng)調(diào)整??傊褪菚r(shí)間回到了過去。針對(duì)回退時(shí)間的多少可以進(jìn)行不同的策略改進(jìn)。一般有以下幾種方案:
if (refusedSeconds <= 5) {
try {
//時(shí)間偏差大小小于5ms,則等待兩倍時(shí)間
wait(refusedSeconds << 1);//wait
} catch (InterruptedException e) {
e.printStackTrace();
}
currentSecond = getCurrentSecond();
}else {//時(shí)鐘回?fù)茌^大
//用其他策略修復(fù)時(shí)鐘問題
}
List<Long> uidList = uidProvider.provide(lastSecond.incrementAndGet());
實(shí)例運(yùn)行中→時(shí)鐘回?fù)堋?jì)算ID
的情況。而實(shí)例停機(jī)→時(shí)鐘回?fù)堋鷮?shí)例重啟→計(jì)算ID
的情況,可以通過實(shí)例啟動(dòng)的時(shí)候,采用未使用過的workerId來(lái)完成。只要workerId和此前生成ID的workerId不一致,即便時(shí)間戳有誤,所生成的ID也不會(huì)重復(fù)。UidGenerator采取的就是這種方案,但這種方案又必須依賴一個(gè)存儲(chǔ)中心,不管是redis、mysql、zookeeper都可以,但必須存儲(chǔ)著此前使用過的workerId,不能重復(fù)。尤其是在分布式部署Id生成器的情況下,更要注意用一個(gè)存儲(chǔ)中心解決此問題。另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn,海內(nèi)外云服務(wù)器15元起步,三天無(wú)理由+7*72小時(shí)售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì),專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。
網(wǎng)頁(yè)標(biāo)題:什么是分布式SnowFlakeID?如何優(yōu)化SnowFlakeID?-創(chuàng)新互聯(lián)
分享鏈接:http://chinadenli.net/article42/dephec.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供移動(dòng)網(wǎng)站建設(shè)、用戶體驗(yàn)、企業(yè)建站、標(biāo)簽優(yōu)化、ChatGPT、外貿(mào)建站
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容