java爬蟲如何去重

用

成都創(chuàng)新互聯(lián)公司堅(jiān)持“要么做到，要么別承諾”的工作理念，服務(wù)領(lǐng)域包括：成都網(wǎng)站設(shè)計(jì)、成都網(wǎng)站制作、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣等服務(wù)，滿足客戶于互聯(lián)網(wǎng)時(shí)代的突泉網(wǎng)站設(shè)計(jì)、移動(dòng)媒體設(shè)計(jì)的需求，幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴！

requests+Selenium+PhantomJs

多線程爬蟲的時(shí)候用的是滾態(tài)

mp.manager.dict()

來存儲(chǔ)已經(jīng)訪問過的網(wǎng)站，如果發(fā)現(xiàn)再次訪問就直接跳過

我能想到的就是

Bloom

Filter

，按照上面所說用

redis

來去重應(yīng)該也隱備型可以！灶猜

java中，從鍵盤上讀入一個(gè)字符串，如何刪除此字符串中所有相同的字母。如讀入的字符串為good,得到gd

這是去重的完整代碼

public?static?void?main(String[]?args)?{

? Scanner?input?=?new?Scanner(System.in);

? System.out.print("請輸入(連續(xù)相同數(shù)字將去重):"尺液純);

? String?temp=input.next();

? show(temp);

}

//去重方法

public?static?void?show(String?str){

? char[]?tempList=str.toCharArray();? ?//將得到的String型字符串轉(zhuǎn)變?yōu)镃har型字符

? for?(int?i?=?0;?i??tempList.length-1;?i++)?{? ? ?//循環(huán)埋滲數(shù)組

? ? ? ?if?(tempList[i]==tempList[i+1])?{? ? ? ? ? ? ? ?//判斷兩個(gè)數(shù)是否相等，如果相等則去掉

? ? ?陵咐 ? ? tempList[i]=0;? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?//如果相鄰兩數(shù)重復(fù)了? 則為0?由于char是基本

? ? ? ? ? tempList[i+1]=0;? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?//類型，所以初始值為0，不過并不影響效果

? ? ? }

? }

? for?(int?i?=?0;?i??tempList.length;?i++)?{?

? ? ? if?(tempList[i]!=0)?{? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? //如果兩數(shù)都不為0? 則輸出

? ? ? ? ? System.out.print(tempList[i]);

? ? ? }

? }

}

令附上效果：

java中去除集合重復(fù)元素問題

你把o.equals(list)那句換成list.contains(o)試試。現(xiàn)在你的代碼里o是個(gè)Object（拆好沖其實(shí)是String），list是個(gè)List，根本不可能equal的

哦下面那個(gè)li.remove(o)也換成list.remove(o)

________________________________

哦不對。。。你下面的iterator循環(huán)里面其實(shí)把每一個(gè)都刪掉了。。。

------------------------------------

我加了一些我的改動(dòng)代碼，不過如另一旅殲個(gè)人所說，一般我們都是在添加的時(shí)候去重的，你這種方式我也第一次遇到，不過就你給出來的這些條襪薯件，我覺得這樣改就可以了。

網(wǎng)站名稱：java去重代碼 java 去重
本文鏈接：http://chinadenli.net/article37/dspjhpj.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供軟件開發(fā)、動(dòng)態(tài)網(wǎng)站、服務(wù)器托管、App開發(fā)、域名注冊、網(wǎng)站設(shè)計(jì)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)