python爬蟲(chóng)用什么庫(kù)

以下是爬蟲(chóng)經(jīng)常用到的庫(kù)

創(chuàng)新互聯(lián)長(zhǎng)期為成百上千客戶提供的網(wǎng)站建設(shè)服務(wù)，團(tuán)隊(duì)從業(yè)經(jīng)驗(yàn)10年，關(guān)注不同地域、不同群體，并針對(duì)不同對(duì)象提供差異化的產(chǎn)品和服務(wù)；打造開(kāi)放共贏平臺(tái)，與合作伙伴共同營(yíng)造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為清水河企業(yè)提供專業(yè)的成都網(wǎng)站建設(shè)、成都網(wǎng)站制作，清水河網(wǎng)站改版等技術(shù)服務(wù)。擁有10余年豐富建站經(jīng)驗(yàn)和眾多成功案例,為您定制開(kāi)發(fā)。

請(qǐng)求庫(kù)

1. requests

requests庫(kù)應(yīng)該是現(xiàn)在做爬蟲(chóng)最火最實(shí)用的庫(kù)了，非常的人性化。有關(guān)于它的使用我之前也寫(xiě)過(guò)一篇文章 一起看看Python之Requests庫(kù) ，大家可以去看一下。

2.urllib3

urllib3是一個(gè)非常強(qiáng)大的http請(qǐng)求庫(kù)，提供一系列的操作URL的功能。

3.selenium

自動(dòng)化測(cè)試工具。一個(gè)調(diào)用瀏覽器的 driver，通過(guò)這個(gè)庫(kù)你可以直接調(diào)用瀏覽器完成某些操作，比如輸入驗(yàn)證碼。

對(duì)于這個(gè)庫(kù)并非只是Python才能用，像JAVA、Python、C#等都能夠使用selenium這個(gè)庫(kù)

4.aiohttp

基于 asyncio 實(shí)現(xiàn)的 HTTP 框架。異步操作借助于 async/await 關(guān)鍵字，使用異步庫(kù)進(jìn)行數(shù)據(jù)抓取，可以大大提高效率。

這個(gè)屬于進(jìn)階爬蟲(chóng)時(shí)候必須掌握的異步庫(kù)。有關(guān)于aiohttp的詳細(xì)操作，可以去官方文檔：

Python學(xué)習(xí)網(wǎng)- 專業(yè)的python自學(xué)、交流公益平臺(tái)！

解析庫(kù)

1、beautifulsoup

html 和 XML 的解析,從網(wǎng)頁(yè)中提取信息，同時(shí)擁有強(qiáng)大的API和多樣解析方式。一個(gè)我經(jīng)常使用的解析庫(kù)，對(duì)于html的解析是非常的好用。對(duì)于寫(xiě)爬蟲(chóng)的人來(lái)說(shuō)這也是必須掌握的庫(kù)。

2、lxml

支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高。

3、pyquery

jQuery 的 Python 實(shí)現(xiàn)，能夠以 jQuery 的語(yǔ)法來(lái)操作解析 HTML 文檔，易用性和解析速度都很好。

數(shù)據(jù)存儲(chǔ)

1、pymysql

官方文檔：

一個(gè)純 Python 實(shí)現(xiàn)的 MySQL 客戶端操作庫(kù)。非常的實(shí)用、非常的簡(jiǎn)單。

2、pymongo

官方文檔：

顧名思義，一個(gè)用于直接連接 mongodb 數(shù)據(jù)庫(kù)進(jìn)行查詢操作的庫(kù)。

3、redisdump

redis-dump是將redis和json互轉(zhuǎn)的工具；redis-dump是基于ruby開(kāi)發(fā)，需要ruby環(huán)境，而且新版本的redis-dump要求2.2.2以上的ruby版本，centos中yum只能安裝2.0版本的ruby。需要先安裝ruby的管理工具rvm安裝高版本的ruby。

怎么在node中使用jquery

jquery 源碼 其實(shí)已經(jīng)支持識(shí)別 exports了，也就意味著你直接require(‘jquery.js’) 是可以得到j(luò)query對(duì)象的

至于jquery依賴的 window, dom，xhr, cookie, location… 等等browser hosted object， 就需要去模擬了

jsdom，xhr 等等，都有， 拼接一下，就可以大致模擬出一個(gè)瀏覽器環(huán)境了。

分析html頁(yè)面的爬蟲(chóng)，測(cè)試case的運(yùn)行環(huán)境，都是它的用戶之地

python爬蟲(chóng)需要安裝哪些庫(kù)

一、 請(qǐng)求庫(kù)

1. requests

requests 類庫(kù)是第三方庫(kù)，比 Python 自帶的 urllib 類庫(kù)使用方便和

2. selenium

利用它執(zhí)行瀏覽器動(dòng)作，模擬操作。

3. chromedriver

安裝chromedriver來(lái)驅(qū)動(dòng)chrome。

4. aiohttp

aiohttp是異步請(qǐng)求庫(kù)，抓取數(shù)據(jù)時(shí)可以提升效率。

二、 解析庫(kù)

1. lxml

lxml是Python的一個(gè)解析庫(kù)，支持解析HTML和XML，支持XPath的解析方式，而且解析效率非常高。

2. beautifulsoup4

Beautiful Soup可以使用它更方便的從 HTML 文檔中提取數(shù)據(jù)。

3. pyquery

pyquery是一個(gè)網(wǎng)頁(yè)解析庫(kù)，采用類似jquery的語(yǔ)法來(lái)解析HTML文檔。

三、 存儲(chǔ)庫(kù)

1. mysql

2. mongodb

3. redis

四、 爬蟲(chóng)框架scrapy

Scrapy 是一套異步處理框架，純python實(shí)現(xiàn)的爬蟲(chóng)框架，用來(lái)抓取網(wǎng)頁(yè)內(nèi)容以及各種圖片

需要先安裝scrapy基本依賴庫(kù)，比如lxml、pyOpenSSL、Twisted

如何使用爬蟲(chóng)做一個(gè)網(wǎng)站？

做法：傳統(tǒng)爬蟲(chóng)從一個(gè)或若干初始網(wǎng)頁(yè)的URL開(kāi)始，獲得初始網(wǎng)頁(yè)上的URL，在抓取網(wǎng)頁(yè)的過(guò)程中，不斷從當(dāng)前頁(yè)面上抽取新的URL放入隊(duì)列,直到滿足系統(tǒng)的一定停止條件。聚焦爬蟲(chóng)的工作流程較為復(fù)雜，需要根據(jù)一定的網(wǎng)頁(yè)分析算法過(guò)濾與主題無(wú)關(guān)的鏈接，保留有用的鏈接并將其放入等待抓取的URL隊(duì)列。

然后，它將根據(jù)一定的搜索策略從隊(duì)列中選擇下一步要抓取的網(wǎng)頁(yè)URL，并重復(fù)上述過(guò)程，直到達(dá)到系統(tǒng)的某一條件時(shí)停止。另外，所有被爬蟲(chóng)抓取的網(wǎng)頁(yè)將會(huì)被系統(tǒng)存貯，進(jìn)行一定的分析、過(guò)濾，并建立索引，以便之后的查詢和檢索；對(duì)于聚焦爬蟲(chóng)來(lái)說(shuō)，這一過(guò)程所得到的分析結(jié)果還可能對(duì)以后的抓取過(guò)程給出反饋和指導(dǎo)。

網(wǎng)絡(luò)爬蟲(chóng)（又被稱為網(wǎng)頁(yè)蜘蛛，網(wǎng)絡(luò)機(jī)器人，在FOAF社區(qū)中間，更經(jīng)常被稱為網(wǎng)頁(yè)追逐者），是一種按照一定的規(guī)則，自動(dòng)的抓取萬(wàn)維網(wǎng)信息的程序或者腳本，已被廣泛應(yīng)用于互聯(lián)網(wǎng)領(lǐng)域。搜索引擎使用網(wǎng)絡(luò)爬蟲(chóng)抓取Web網(wǎng)頁(yè)、文檔甚至圖片、音頻、視頻等資源，通過(guò)相應(yīng)的索引技術(shù)組織這些信息，提供給搜索用戶進(jìn)行查詢。

如何防止重復(fù)爬蟲(chóng)

1.基于程序本身去防止爬取：作為爬蟲(chóng)程序，爬取行為是對(duì)頁(yè)面的源文件爬取，如爬取靜態(tài)頁(yè)面的html代碼，可以用jquery去模仿寫(xiě)html，這種方法偽裝的頁(yè)面就很難被爬取了，不過(guò)這種方法對(duì)程序員的要求很高。

2.基于iptables和shell腳本：可以對(duì)nginx的access.log進(jìn)行策略定義，例如定義在1分鐘內(nèi)并發(fā)連接數(shù)超過(guò)30個(gè)ip為非法，如ip不在白名單內(nèi)，則加入iptables策略封掉，當(dāng)然這種的缺點(diǎn)是會(huì)有“誤傷”，策略細(xì)粒度越小就會(huì)有更多的“誤傷”，細(xì)粒度大就會(huì)使效果變差，另外還有類似的第三方工具fail2ban，利用做filter和actor對(duì)一些有危害的操作記錄或是封ip。但是對(duì)于某個(gè)特定的爬蟲(chóng)地址（例如網(wǎng)易、有道）的爬取行為拒絕也很難準(zhǔn)確做到，因?yàn)槟銦o(wú)法準(zhǔn)確知道這些特定的爬蟲(chóng)ip地址（例如網(wǎng)易、有道），以下是我的定位方式，不過(guò)發(fā)現(xiàn)由于ip庫(kù)不準(zhǔn)確造成錯(cuò)誤的屏蔽。注意：建議不要用封ip條目的方式,iptables列表長(zhǎng)度是65535時(shí)就會(huì)封滿，服務(wù)器也就會(huì)死機(jī)。

如何防止網(wǎng)站被爬蟲(chóng)爬取的幾種辦法

相較于爬蟲(chóng)技術(shù)，反爬蟲(chóng)實(shí)際上更復(fù)雜。目前許多互聯(lián)網(wǎng)企業(yè)都會(huì)花大力氣進(jìn)行“反爬蟲(chóng)”，網(wǎng)絡(luò)爬蟲(chóng)不但會(huì)占據(jù)過(guò)多的網(wǎng)站流量，導(dǎo)致有真正需求的用戶沒(méi)法進(jìn)入網(wǎng)站，另外也有可能會(huì)導(dǎo)致網(wǎng)站關(guān)鍵數(shù)據(jù)的外泄等現(xiàn)象。網(wǎng)絡(luò)爬蟲(chóng)遍布互聯(lián)網(wǎng)的各個(gè)角落，因此網(wǎng)絡(luò)爬蟲(chóng)有好處也有壞處，接下來(lái)介紹一下和網(wǎng)絡(luò)爬蟲(chóng)一同誕生的反爬蟲(chóng)技術(shù)，如何才能防止別人爬取自己的網(wǎng)站？

1、基于程序本身去防止爬取：作為爬蟲(chóng)程序，爬取行為是對(duì)頁(yè)面的源文件爬取，如爬取靜態(tài)頁(yè)面的html代碼，可以用jquery去模仿寫(xiě)html，這種方法偽裝的頁(yè)面就很難被爬取了，不過(guò)這種方法對(duì)程序員的要求很高。

2、基于iptables和shell腳本：可以對(duì)nginx的access.log進(jìn)行策略定義，例如定義在1分鐘內(nèi)并發(fā)連接數(shù)超過(guò)30個(gè)ip為非法，如ip不在白名單內(nèi)，則加入iptables策略封掉，當(dāng)然這種的缺點(diǎn)是會(huì)有“誤傷”，策略細(xì)粒度越小就會(huì)有更多的“誤傷”，細(xì)粒度大就會(huì)使效果變差，另外還有類似的第三方工具fail2ban，利用做filter和actor對(duì)一些有危害的操作記錄或是封ip。但是對(duì)于某個(gè)特定的爬蟲(chóng)地址（例如網(wǎng)易、有道）的爬取行為拒絕也很難準(zhǔn)確做到，因?yàn)槟銦o(wú)法準(zhǔn)確知道這些特定的爬蟲(chóng)ip地址。注意：建議不要用封ip條目的方式,iptables列表長(zhǎng)度是65535時(shí)就會(huì)封滿，服務(wù)器也就會(huì)死機(jī)。

3.使用robots.txt文件：例如阻止所有的爬蟲(chóng)爬取，但是這種效果不是很明顯。

User-agent: *

Disallow: /

4.使用nginx的自帶功能：通過(guò)對(duì)httpuseragent阻塞來(lái)實(shí)現(xiàn)，包括GET/POST方式的請(qǐng)求，以nginx為例，具體步驟如下：

編輯nginx.conf

拒絕以wget方式的httpuseragent，增加如下內(nèi)容

## Block http user agent - wget ##

if ($http_user_agent ~* (Wget) ) {

return 403;

}

## Block Software download user agents ##

if ($http_user_agent ~* LWP::Simple|BBBike|wget) {

return 403;

平滑啟動(dòng)

# /usr/local/nginx/sbin/nginx -s reload

如何拒絕多種httpuseragent，內(nèi)容如下：

if ($http_user_agent ~ (agent1|agent2|Foo|Wget|Catall Spider|AcoiRobot) ) {

return 403;

}

大小寫(xiě)敏感匹配

### 大小寫(xiě)敏感http user agent拒絕###

if ($http_user_agent ~ (Catall Spider|AcoiRobot) ) {

return 403;

}

### 大小寫(xiě)不敏感http user agent拒絕###

if ($http_user_agent ~* (foo|bar) ) {

return 403;

}

注意語(yǔ)法：~*表示是大小寫(xiě)不敏感，~表示是大小寫(xiě)敏感

}

以上就是預(yù)防網(wǎng)站信息被別人爬取的一些方法，大量的爬取行為會(huì)對(duì)web服務(wù)器的性能有影響，所以一定要注重反爬蟲(chóng)措施。

當(dāng)前題目：jquery爬蟲(chóng),js爬蟲(chóng)代碼
當(dāng)前網(wǎng)址：http://chinadenli.net/article16/dsdshgg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站改版、電子商務(wù)、ChatGPT、關(guān)鍵詞優(yōu)化、網(wǎng)站制作、軟件開(kāi)發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)