這篇文章將為大家詳細(xì)講解有關(guān)如何安裝Python3爬蟲利器pyspider的，小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

成都創(chuàng)新互聯(lián)是專業(yè)的長(zhǎng)陽(yáng)網(wǎng)站建設(shè)公司，長(zhǎng)陽(yáng)接單;提供網(wǎng)站設(shè)計(jì)制作、網(wǎng)站設(shè)計(jì),網(wǎng)頁(yè)設(shè)計(jì),網(wǎng)站設(shè)計(jì),建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進(jìn)行長(zhǎng)陽(yáng)網(wǎng)站開發(fā)網(wǎng)頁(yè)制作和功能擴(kuò)展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團(tuán)隊(duì),希望更多企業(yè)前來合作!

pyspider是國(guó)人binux編寫的強(qiáng)大的網(wǎng)絡(luò)爬蟲框架，它帶有強(qiáng)大的WebUI、腳本編輯器、任務(wù)監(jiān)控器、項(xiàng)目管理器以及結(jié)果處理器，同時(shí)支持多種數(shù)據(jù)庫(kù)后端、多種消息隊(duì)列，另外還支持JavaScript渲染頁(yè)面的爬取，使用起來非常方便，本節(jié)介紹一下它的安裝過程。

1. 相關(guān)鏈接

官方文檔：http://docs.pyspider.org/

PyPI：https://pypi.python.org/pypi/pyspider

GitHub：https://github.com/binux/pyspider

官方教程：http://docs.pyspider.org/en/latest/tutorial

在線實(shí)例：http://demo.pyspider.org

2. 準(zhǔn)備工作

pyspider是支持JavaScript渲染的，而這個(gè)過程是依賴于PhantomJS的，所以還需要安裝PhantomJS（具體的安裝過程詳見1.2.5節(jié)）。

3. pip安裝

這里推薦使用pip安裝，命令如下：

pip3 install pyspider

命令執(zhí)行完畢即可完成安裝。

4. 常見錯(cuò)誤

Windows下可能會(huì)出現(xiàn)這樣的錯(cuò)誤提示：

Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build-vXo1W3/pycurl

這是PyCurl安裝錯(cuò)誤，此時(shí)需要安裝PyCurl庫(kù)。從http://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl找到對(duì)應(yīng)的Python版本，然后下載相應(yīng)的wheel文件即可。比如Windows 64位、Python 3.6，則需要下載pycurl?7.43.0?cp36?cp36m?win_amd64.whl，隨后用pip安裝即可，命令如下：

pip3 install pycurl?7.43.0?cp36?cp36m?win_amd64.whl

如果在Linux下遇到PyCurl的錯(cuò)誤，可以參考本文：https://imlonghao.com/19.html。

5. 驗(yàn)證安裝

安裝完成之后，可以直接在命令行下啟動(dòng)pyspider：

pyspider all

此時(shí)控制臺(tái)會(huì)有類似如圖1-74所示的輸出。

圖1-74 控制臺(tái)

這時(shí)pyspider的Web服務(wù)就會(huì)在本地5000端口運(yùn)行。直接在瀏覽器中打開http://localhost:5000/，即可進(jìn)入pyspider的WebUI管理頁(yè)面，如圖1-75所示，這證明pyspider已經(jīng)安裝成功了。

圖1-75 管理頁(yè)面

關(guān)于如何安裝Python3爬蟲利器pyspider的就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到。

名稱欄目：如何安裝Python3爬蟲利器pyspider的
網(wǎng)頁(yè)路徑：http://chinadenli.net/article4/ggjpoe.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站設(shè)計(jì)、全網(wǎng)營(yíng)銷推廣、云服務(wù)器、企業(yè)建站、網(wǎng)站導(dǎo)航、

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)