Python如何爬取百度圖片？

幾乎所有的網(wǎng)站都會有反爬機制，這就需要在爬取網(wǎng)頁時攜帶一些特殊參數(shù)，比如：user-agent、Cookie等等，可以在寫代碼的時候用工具將所有參數(shù)都帶上。

創(chuàng)新互聯(lián)致力于互聯(lián)網(wǎng)網(wǎng)站建設(shè)與網(wǎng)站營銷，提供成都網(wǎng)站建設(shè)、成都網(wǎng)站制作、網(wǎng)站開發(fā)、seo優(yōu)化、網(wǎng)站排名、互聯(lián)網(wǎng)營銷、微信小程序、公眾號商城、等建站開發(fā)，創(chuàng)新互聯(lián)網(wǎng)站建設(shè)策劃專家，為不同類型的客戶提供良好的互聯(lián)網(wǎng)應(yīng)用定制解決方案，幫助客戶在新的全球化互聯(lián)網(wǎng)環(huán)境中保持優(yōu)勢。

linux下python怎么寫爬蟲獲取圖片

跟linux有什么關(guān)系，python是跨平臺的，爬取圖片的代碼如下：

import urllib.requestimport osimport randomdef url_open(url):

req=urllib.request.Request(url) ? ?#為請求設(shè)置user-agent,使得程序看起來更像一個人類

req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0') ? ?#代理IP，使用戶能以不同IP訪問，從而防止被服務(wù)器發(fā)現(xiàn)

'''iplist=['1.193.162.123:8000','1.193.162.91:8000','1.193.163.32:8000']

proxy_support=urllib.request.ProxyHandler({'http':random.choice(iplist)})

opener=urllib.request.build_opener(proxy_support)

opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.154 Safari/537.36 LBBROWSER')]

urllib.request.install_opener(opener)'''

response=urllib.request.urlopen(req)

html=response.read() ? ?return htmldef get_page(url):

html=url_open(url).decode('utf-8')

a=html.find('current-comment-page')+23

b=html.find(']',a) ? ?#print(html[a:b])

return html[a:b]def find_imgs(url):

html=url_open(url).decode('utf-8')

img_addrs=[]

a=html.find('img src=') ? ?while a!=-1:

b=html.find('.jpg',a,a+140) ? ? ? ?if b!=-1: ? ? ? ? ? ?if html[a+9]!='h':

img_addrs.append('http:'+html[a+9:b+4]) ? ? ? ? ? ?else:

img_addrs.append(html[a+9:b+4]) ? ? ? ?else:

b=a+9

a=html.find('img src=',b) ? ?for each in img_addrs:

print(each+'我的打印') ? ?return img_addrsdef save_imgs(folder,img_addrs):

for each in img_addrs: ? ? ? ?#print('one was saved')

filename=each.split('/')[-1] ? ? ? ?with open(filename,'wb') as f:

img=url_open(each)

f.write(img)def download_mm(folder='ooxx',pages=10):

os.mkdir(folder)

os.chdir(folder)

url=""

page_num=int(get_page(url)) ? ?for i in range(pages):

page_num=page_num-1

page_url=url+'page-'+str(page_num)+'#comments'

img_addrs=find_imgs(page_url)

save_imgs(folder,img_addrs)if __name__=='__main__':

download_mm()1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071727374

完成

運行結(jié)果

如何用python實現(xiàn)爬取微博相冊所有圖片？

三種方案:

1.直接用Python的requests庫直接爬取，不過這個需要手動做的事情就比較多了，基本上就看你的Python功力了

2.使用scrapy爬蟲框架，這個框架如果不熟悉的話只能自己先去了解下這個框架怎么用

3.使用自動測試框架selemium模擬登錄操作，及圖片爬取，這個對于大多數(shù)會點Python編碼的人來說是最好的選擇了，他比較直觀的能看到怎么去獲取數(shù)據(jù)

每種方案的前提都是你必須有一定基礎(chǔ)的編碼能力才行，不是隨便一個人就能用的

當(dāng)前文章：python爬取圖片函數(shù),python 爬取圖片
網(wǎng)站網(wǎng)址：http://chinadenli.net/article27/dsgsejj.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信公眾號、微信小程序、網(wǎng)站導(dǎo)航、網(wǎng)站營銷、做網(wǎng)站、域名注冊

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)