欧美一区二区三区老妇人-欧美做爰猛烈大尺度电-99久久夜色精品国产亚洲a-亚洲福利视频一区二区

python爬蟲(chóng)相關(guān)庫(kù)的安裝配置

這篇文章給大家分享的是python爬蟲(chóng)相關(guān)庫(kù)的詳細(xì)安裝教程，相信大部分人都還不知道怎么安裝，為了讓大家學(xué)會(huì)，給大家總結(jié)了以下內(nèi)容，話(huà)不多說(shuō)，一起往下看吧。

創(chuàng)新互聯(lián)專(zhuān)注于網(wǎng)站建設(shè)|網(wǎng)站維護(hù)|優(yōu)化|托管以及網(wǎng)絡(luò)推廣，積累了大量的網(wǎng)站設(shè)計(jì)與制作經(jīng)驗(yàn)，為許多企業(yè)提供了網(wǎng)站定制設(shè)計(jì)服務(wù)，案例作品覆蓋成都衛(wèi)生間隔斷等行業(yè)。能根據(jù)企業(yè)所處的行業(yè)與銷(xiāo)售的產(chǎn)品，結(jié)合品牌形象的塑造，量身策劃品質(zhì)網(wǎng)站。

世界上80%的爬蟲(chóng)是基于Python開(kāi)發(fā)的，學(xué)好爬蟲(chóng)技能，可為后續(xù)的大數(shù)據(jù)分析、挖掘、機(jī)器學(xué)習(xí)等提供重要的數(shù)據(jù)源。

python爬蟲(chóng)需要安裝相關(guān)庫(kù)：

python爬蟲(chóng)涉及的庫(kù)：

請(qǐng)求庫(kù)，解析庫(kù)，存儲(chǔ)庫(kù)，工具庫(kù)

1. 請(qǐng)求庫(kù)：urllib/re/requests

（1） urllib/re是python默認(rèn)自帶的庫(kù)，可以通過(guò)以下命令進(jìn)行驗(yàn)證：

python爬蟲(chóng)相關(guān)庫(kù)的安裝配置

沒(méi)有報(bào)錯(cuò)信息輸出，說(shuō)明環(huán)境正常

（2） requests安裝

2.1 打開(kāi)CMD，輸入

pip3 install requests

2.2 等待安裝后，驗(yàn)證

python爬蟲(chóng)相關(guān)庫(kù)的安裝配置

（3） selenium安裝（驅(qū)動(dòng)瀏覽器進(jìn)行網(wǎng)站訪(fǎng)問(wèn)行為）

3.1 打開(kāi)CMD，輸入

pip3 install selenium

3.2 安裝chromedriver

網(wǎng)址：https://npm.taobao.org/

把下載完成后的壓縮包解壓，把exe放到D:\Python3.6.0\Scripts\

這個(gè)路徑只要在PATH變量中就可以

3.3 等待安裝完成后，驗(yàn)證

python爬蟲(chóng)相關(guān)庫(kù)的安裝配置

回車(chē)后彈出chrome瀏覽器界面

3.4 安裝其他瀏覽器

無(wú)界面瀏覽器phantomjs

下載網(wǎng)址：http://phantomjs.org/

下載完成后解壓，把整個(gè)目錄放到D:\Python3.6.0\Scripts\，把bin目錄的路徑添加到PATH變量

驗(yàn)證：

打開(kāi)CMD

phantomjs
console.log('phantomjs')

CTRL+C

python
from selenium import webdriver
driver = webdriver.PhantomJS()
dirver.get('http://www.baidu.com')
driver.page_source

2. 解析庫(kù)：

2.1 lxml (XPATH)

打開(kāi)CMD

pip3 install lxml

或者從https://pypi.python.org下載，例如，lxml-4.1.1-cp36-cp36m-win_amd64.whl (md5) ,先下載whl文件

pip3 install 文件名.whl

2.2 beautifulsoup

打開(kāi)CMD，需要先安裝好lxml

pip3 install beautifulsoup4

驗(yàn)證

python
from bs4 import BeautifulSoup
soup = BeautifulSoup('<html></html>','lxml')

2.3 pyquery（類(lèi)似jquery語(yǔ)法）

打開(kāi)CMD

pip3 install pyquery

驗(yàn)證安裝結(jié)果

python
from pyquery import PyQuery as pq
doc = pq('<html>hi</html>')
result = doc('html').text()
result

python爬蟲(chóng)相關(guān)庫(kù)的安裝配置

3. 存儲(chǔ)庫(kù)

3.1 pyMySQL（操作MySQL，關(guān)系型數(shù)據(jù)庫(kù)）

安裝：

pip3 install pymysql

安裝后測(cè)試：

python爬蟲(chóng)相關(guān)庫(kù)的安裝配置

python爬蟲(chóng)相關(guān)庫(kù)的安裝配置

3.2 pymongo（操作MongoDB，key-value）

安裝

pip3 install pymongo

驗(yàn)證

python
import pymongo
client = pymongo.MongoClient('localhost')
db = client['testdb']
db['table'].insert({'name':'bob'})
db['table'].find_one({'name':'bob'})

python爬蟲(chóng)相關(guān)庫(kù)的安裝配置

3.3 redis（分布式爬蟲(chóng)，維護(hù)爬取隊(duì)列）

安裝：

pip3 install redis

驗(yàn)證：

python爬蟲(chóng)相關(guān)庫(kù)的安裝配置

4.工具庫(kù)

4.1 flask（WEB庫(kù)）

pip3 install flask

python爬蟲(chóng)相關(guān)庫(kù)的安裝配置

4.2 Django（分布式爬蟲(chóng)維護(hù)系統(tǒng)）

pip3 install django

4.3 jupyter（運(yùn)行在網(wǎng)頁(yè)端的記事本，支持markdown，可以在網(wǎng)頁(yè)上運(yùn)行代碼）

pip3 install jupyter

驗(yàn)證：

打開(kāi)CMD

jupyter notebook

之后就可以在網(wǎng)頁(yè)直接創(chuàng)建記事本，代碼塊和Markdown塊，支持打印

以上就是python爬蟲(chóng)相關(guān)庫(kù)安裝配置的詳細(xì)內(nèi)容了，看完之后是否有所收獲呢？如果想了解更多相關(guān)內(nèi)容，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊！

網(wǎng)站名稱(chēng)：python爬蟲(chóng)相關(guān)庫(kù)的安裝配置
本文鏈接：http://chinadenli.net/article4/pipsie.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站制作、用戶(hù)體驗(yàn)、微信小程序、軟件開(kāi)發(fā)、網(wǎng)站設(shè)計(jì)、網(wǎng)站營(yíng)銷(xiāo)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀(guān)點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)

成都seo排名網(wǎng)站優(yōu)化