這篇文章給大家分享的是有關(guān)redis刪除數(shù)據(jù)的方法的內(nèi)容。小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考。一起跟隨小編過來看看吧。

創(chuàng)新互聯(lián)一直通過網(wǎng)站建設(shè)和網(wǎng)站營銷幫助企業(yè)獲得更多客戶資源。 以"深度挖掘，量身打造，注重實(shí)效"的一站式服務(wù)，以網(wǎng)站建設(shè)、成都網(wǎng)站建設(shè)、移動互聯(lián)產(chǎn)品、營銷型網(wǎng)站服務(wù)為核心業(yè)務(wù)。十余年網(wǎng)站制作的經(jīng)驗(yàn)，使用新網(wǎng)站建設(shè)技術(shù)，全新開發(fā)出的標(biāo)準(zhǔn)網(wǎng)站，不但價(jià)格便宜而且實(shí)用、靈活，特別適合中小公司網(wǎng)站制作。網(wǎng)站管理系統(tǒng)簡單易用，維護(hù)方便，您可以完全操作網(wǎng)站資料，是中小公司快速網(wǎng)站建設(shè)的選擇。

 由于需求的更改，之前做的一個(gè)項(xiàng)目需要對redis中存儲的數(shù)據(jù)格式進(jìn)行修改。為防止新包發(fā)布后，老數(shù)據(jù)會導(dǎo)致新數(shù)據(jù)無法插入。所以，必須在發(fā)布前刪除掉所有的老數(shù)據(jù)。當(dāng)前redis是一個(gè)公用的集群，里面涉及好幾個(gè)業(yè)務(wù)。那么問題來了，如何刪除大量的老數(shù)據(jù)（目前庫中的key總數(shù)為1200w）,而又不影響其他業(yè)務(wù)的使用。

###常見批量刪除redis數(shù)據(jù)的方法：

如果待刪除數(shù)據(jù)的key是已知的，可以使用redis-cli的del命令 /usr/local/redis/bin/redis-cli del key 或者也可以使用其他高級語言對應(yīng)的redis包或庫。如java下的jedis，python下的redis庫

java:   jdeis.del(key)
python: redis.delete(key)

如果待刪除數(shù)據(jù)的key是未知的，只知道滿足特定模式的key。 這種情況下，就需要使用redis的keys 命令找出滿足特定模式的key

找到滿足前綴是video的所有key

/usr/local/redis/bin/redis-cli keys video_*

可以使用linux的xargs來完成批量刪除 /usr/local/redis/bin/redis-cli keys video* | xargs /usr/local/redis/bin/redis-cli del 3. 如果待刪除的數(shù)據(jù)是庫中所有的數(shù)據(jù)，可以使用flushdb清除整個(gè)庫 /usr/local/redis/bin/redis-cli flushdb

###幾種方法的說明

第一種方法需要明確知道特定的key

使用keys命令，當(dāng)庫中數(shù)據(jù)量過大，keys命令會阻塞redis的其他所有請求。無疑，這種方式對公用redis集群是不可取的。當(dāng)然，具體還得考慮業(yè)務(wù)的需要。實(shí)在不行，也可以把刪除腳本放到業(yè)務(wù)訪問量比較小的時(shí)間點(diǎn)上執(zhí)行。

使用flushdb這種方式，會對整個(gè)庫中的數(shù)據(jù)進(jìn)行清理。

###我的解決方法 線上redis集群使用的是matser-slave的結(jié)構(gòu)。所以可以把阻塞請求的keys命令放到slave節(jié)點(diǎn)上執(zhí)行，找出所有滿足特定前綴的key。然后使用shell腳本或高級語言在master節(jié)點(diǎn)上刪除數(shù)據(jù)。

#獲取前綴是video,album,actor所有的key,并把這些key追加導(dǎo)出到文件/data/keys.txt中

#!/bin/bash

keys=('video' 'album' 'actor');
host='localhost';
port='6378';
for key in ${keys[@]};
do
  cmd="/usr/local/redis/bin/redis-cli -h ${host} -p ${port} keys gal.video.${key}*  >> /data/keys.txt";
  echo ${cmd}; 
  eval ${cmd};
done;
# 根據(jù)前面生成的key，刪除數(shù)據(jù)
#!/bin/bash
host='localhost';
port='6378';
file="/data/keys.txt";
i=0;
cat ${file} | while read key;
do
  let i=i+1;
  cmd="/usr/local/redis/bin/redis-cli -h ${host} -p ${port} del ${key}";
  echo "line:"${i}",cmd:"${cmd};
  eval ${cmd}; 
done;

腳本2由于是逐條發(fā)送del命令，執(zhí)行效率相當(dāng)?shù)牡汀y試中大概是1小時(shí)刪除120w條數(shù)據(jù)。1200w條需要?jiǎng)h除10小時(shí)！！！ 考慮到每次發(fā)送請求的耗時(shí)，想到可以使用redis的pipeline來實(shí)現(xiàn)批量提交。

__author__ = 'litao'
from redis import Redis
host="127.0.0.1"
port=6379
db=0
r =Redis(host,port,db)
pl=r.pipeline()
per_pipe_size=10000
count=0
file = open("/data/keys.txt")
print "start del all keys in "+file.name
while 1:
    lines = file.readlines(10000)
    if not lines:
        break
    for key in lines:
        key=key.strip('\n')
        pl.delete(key)
        count=count+1
        if(count==per_pipe_size):
            count=0
            pl.execute()
pl.execute()
file.close()
print 'finish del all keys'

改進(jìn)后的腳本2在線上執(zhí)行時(shí)間僅需要2min左右！！

感謝各位的閱讀！關(guān)于redis刪除數(shù)據(jù)的方法就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，讓大家可以學(xué)到更多知識。如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到吧！

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

分享名稱：redis刪除數(shù)據(jù)的方法-創(chuàng)新互聯(lián)
網(wǎng)頁鏈接：http://chinadenli.net/article28/gcscp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供虛擬主機(jī)、服務(wù)器托管、App開發(fā)、移動網(wǎng)站建設(shè)、網(wǎng)站導(dǎo)航、網(wǎng)站設(shè)計(jì)公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)