這篇文章給大家介紹Python爬蟲如何使用瀏覽器的cookies browsercookie，內(nèi)容非常詳細，感興趣的小伙伴們可以參考借鑒，希望對大家能有所幫助。

成都創(chuàng)新互聯(lián)公司長期為數(shù)千家客戶提供的網(wǎng)站建設(shè)服務，團隊從業(yè)經(jīng)驗10年，關(guān)注不同地域、不同群體，并針對不同對象提供差異化的產(chǎn)品和服務；打造開放共贏平臺，與合作伙伴共同營造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為烏蘭企業(yè)提供專業(yè)的網(wǎng)站制作、做網(wǎng)站，烏蘭網(wǎng)站改版等技術(shù)服務。擁有十載豐富建站經(jīng)驗和眾多成功案例,為您定制開發(fā)。

很多用Python的人可能都寫過網(wǎng)絡(luò)爬蟲，自動化獲取網(wǎng)絡(luò)數(shù)據(jù)確實是一件令人愉悅的事情，而Python很好的幫助我們達到這種愉悅。然而，爬蟲經(jīng)常要碰到各種登錄、驗證的阻撓，讓人灰心喪氣（網(wǎng)站：天天碰到各種各樣的爬蟲抓我們網(wǎng)站，也很讓人灰心喪氣～）。爬蟲和反爬蟲就是一個貓和老鼠的游戲，道高一尺魔高一丈，兩者反復糾纏。

由于http協(xié)議的無狀態(tài)性，登錄驗證都是通過傳遞cookies來實現(xiàn)的。通過瀏覽器登錄一次，登錄信息的cookie是就會被瀏覽器保存下來。下次再打開該網(wǎng)站時，瀏覽器自動帶上保存的cookies，只有cookies還未過期，對于網(wǎng)站來說你就還是登錄狀態(tài)的。

browsercookie模塊就是這樣一個從瀏覽器提取保存的cookies的工具。它是一個很有用的爬蟲工具，通過加載你瀏覽器的cookies到一個cookiejar對象里面，讓你輕松下載需要登錄的網(wǎng)頁內(nèi)容。

安裝

pip install browsercookie

在Windows系統(tǒng)中，內(nèi)置的sqlite模塊在加載FireFox數(shù)據(jù)庫時會拋出錯誤。需要更新sqlite的版本：
pip install pysqlite

使用方法

下面是從網(wǎng)頁提取標題的例子：

>>> import re>>> get_title = lambda html: re.findall('<title>(.*?)</title>', html, flags=re.DOTALL)[0].strip()

下面是未登錄狀況下下載得到的標題：

>>> import urllib2>>> url = 'https://bitbucket.org/'>>> public_html = urllib2.urlopen(url).read()>>> get_title(public_html)'Git and Mercurial code management for teams'

接下來使用browsercookie從登錄過Bitbucket的FireFox里面獲取cookie再下載：

>>> import browsercookie>>> cj = browsercookie.firefox()>>> opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))>>> login_html = opener.open(url).read()>>> get_title(login_html)'richardpenman / home — Bitbucket'

上面是Python2的代碼，再試試 Python3:

>>> import urllib.request>>> public_html = urllib.request.urlopen(url).read()>>> opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))

你可以看到你的用戶名出現(xiàn)在title里面了，說明browsercookie模塊成功從FireFox加載了cookies。

下面是使用requests的例子，這次我們從Chrome里面加載cookies，當然你需要事先用Chrome登錄Bitbucket：

>>> import requests>>> cj = browsercookie.chrome()>>> r = requests.get(url, cookies=cj)>>> get_title(r.content)'richardpenman / home — Bitbucket'

如果你不知道或不關(guān)心那個瀏覽器有你需要的cookies，你可以這樣操作：

>>> cj = browsercookie.load()>>> r = requests.get(url, cookies=cj)>>> get_title(r.content)'richardpenman / home — Bitbucket'

支持

目前，該模塊支持以下平臺：

Chrome: Linux, OSX, Windows
Firefox: Linux, OSX, Windows

關(guān)于Python爬蟲如何使用瀏覽器的cookies browsercookie就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。

本文標題：Python爬蟲如何使用瀏覽器的cookiesbrowsercookie
分享網(wǎng)址：http://chinadenli.net/article11/pgoogd.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供電子商務、營銷型網(wǎng)站建設(shè)、關(guān)鍵詞優(yōu)化、網(wǎng)站內(nèi)鏈、虛擬主機、品牌網(wǎng)站設(shè)計

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)