1. 背景

創(chuàng)新互聯(lián)公司網(wǎng)站建設(shè)十年堅持，服務(wù)企業(yè)網(wǎng)站設(shè)計、響應(yīng)式網(wǎng)站建設(shè)等網(wǎng)站建設(shè)服務(wù)。上1000+企業(yè)的合作經(jīng)驗，幫助我們?yōu)榉?wù)企業(yè)不斷提升價值。為企業(yè)建設(shè)開發(fā)網(wǎng)站和維護，主推個性化定制型網(wǎng)站設(shè)計

在使用selenium瀏覽器渲染技術(shù)，爬取網(wǎng)站信息時，一般來說，速度是很慢的。而且一般需要用到這種技術(shù)爬取的網(wǎng)站，反爬技術(shù)都比較厲害，對IP的訪問頻率應(yīng)該有相當(dāng)?shù)南拗啤Ｋ裕绻胩嵘齭elenium抓取數(shù)據(jù)的速度，可以從兩個方面出發(fā)：

第一，提高抓取頻率，出現(xiàn)驗證信息時進行破解，一般是驗證碼或者用戶登錄。

第二，使用多線程 + 代理IP， 這種方式，需要電腦有足夠的內(nèi)存和充足穩(wěn)定的代理IP 。

2. 為chrome設(shè)置代理IP

from selenium import webdriver
chromeOptions = webdriver.ChromeOptions()

# 設(shè)置代理
chromeOptions.add_argument("--proxy-server=http://202.20.16.82:10152")
# 一定要注意，=兩邊不能有空格，不能是這樣--proxy-server = http://202.20.16.82:10152
browser = webdriver.Chrome(chrome_options = chromeOptions)

# 查看本機ip，查看代理是否起作用
browser.get("http://httpbin.org/ip")
print(browser.page_source)

# 退出，清除瀏覽器緩存
browser.quit()

本文題目：selenium+python設(shè)置爬蟲代理IP的方法-創(chuàng)新互聯(lián)
網(wǎng)頁網(wǎng)址：http://chinadenli.net/article10/epego.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信小程序、網(wǎng)頁設(shè)計公司、企業(yè)建站、網(wǎng)站內(nèi)鏈、全網(wǎng)營銷推廣、建站公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)