今天小編給大家分享一下python批量抓取的方法的相關(guān)知識點(diǎn)，內(nèi)容詳細(xì)，邏輯清晰，相信大部分人都還太了解這方面的知識，所以分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后有所收獲，下面我們一起來了解一下吧。

創(chuàng)新互聯(lián)專注于樺南網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗(yàn)。 熱誠為您提供樺南營銷型網(wǎng)站建設(shè)，樺南網(wǎng)站制作、樺南網(wǎng)頁設(shè)計(jì)、樺南網(wǎng)站官網(wǎng)定制、重慶小程序開發(fā)公司服務(wù)，打造樺南網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供樺南網(wǎng)站排名全網(wǎng)營銷落地服務(wù)。

其中用到urllib2模塊和正則表達(dá)式模塊。下面直接上代碼：

 1 用python批量抓取

 2  

 3 #!/usr/bin/env python

 4 #-*- coding: utf-8 -*-

 5 #通過urllib(2)模塊下載網(wǎng)絡(luò)內(nèi)容

 6 import urllib,urllib2,gevent

 7 #引入正則表達(dá)式模塊，時(shí)間模塊

 8 import re,time

 9 from gevent import monkey

15 monkey.patch_all()

16  

17 def geturllist(url):

18     url_list=[]

19     print url       

20     s = urllib2.urlopen(url)

21     text = s.read()

22     #正則匹配，匹配其中的圖片

23     html = re.search(r'<ol.*</ol>', text, re.S)

24     urls = re.finditer(r'<p><img src="(.+?)jpg" /></p>',html.group(),re.I)

25     for i in urls:

26         url=i.group(1).strip()+str("jpg")

27         url_list.append(url)

28     return url_list

29  

30 def download(down_url):

31     name=str(time.time())[:-3]+"_"+re.sub('.+?/','',down_url)

32     print name

33     urllib.urlretrieve(down_url, "D:\\TEMP\\"+name)

34  

35 def getpageurl():

36     page_list = []

37     #進(jìn)行列表頁循環(huán)

38     for page in range(1,700):

39         url="http://jandan.net/ooxx/page-"+str(page)+"#comments"

40         #把生成的url加入到page_list中

41         page_list.append(url)

42     print page_list

43     return page_list

44 if __name__ == '__main__':

45     jobs = []

46     pageurl = getpageurl()[::-1]

47     #進(jìn)行圖片下載

48     for i in pageurl:

49         for (downurl) in geturllist(i):

50             jobs.append(gevent.spawn(download, downurl))

51     gevent.joinall(jobs)

以上就是“python批量抓取的方法”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家閱讀完這篇文章都有很大的收獲，小編每天都會(huì)為大家更新不同的知識，如果還想學(xué)習(xí)更多的知識，請關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

網(wǎng)站名稱：python批量抓取的方法
網(wǎng)址分享：http://chinadenli.net/article26/gisecg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供App開發(fā)、標(biāo)簽優(yōu)化、關(guān)鍵詞優(yōu)化、品牌網(wǎng)站制作、外貿(mào)網(wǎng)站建設(shè)、品牌網(wǎng)站設(shè)計(jì)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)