一、開發(fā)環(huán)境

創(chuàng)新互聯(lián)建站十余年專注成都高端網(wǎng)站建設(shè)按需規(guī)劃網(wǎng)站服務(wù),為客戶提供專業(yè)的成都網(wǎng)站制作,成都網(wǎng)頁設(shè)計,成都網(wǎng)站設(shè)計服務(wù);創(chuàng)新互聯(lián)建站服務(wù)內(nèi)容包含成都網(wǎng)站建設(shè),重慶小程序開發(fā),軟件開發(fā),網(wǎng)絡(luò)營銷推廣,網(wǎng)絡(luò)運營服務(wù)及企業(yè)形象設(shè)計;創(chuàng)新互聯(lián)建站擁有眾多專業(yè)的高端網(wǎng)站制作開發(fā)團(tuán)隊,資深的高端網(wǎng)頁設(shè)計團(tuán)隊及經(jīng)驗豐富的架構(gòu)師高端網(wǎng)站策劃團(tuán)隊;我們始終堅持從客戶的角度出發(fā),為客戶量身訂造網(wǎng)絡(luò)營銷方案，解決網(wǎng)絡(luò)營銷疑問。

Centos6.0

Scrapy1.5

Python3.6

MongoDB3.6

Pycharm

二、Scrapy1.5安裝

pip install scrapy

如果Python3.6時通過編譯安裝的，先進(jìn)行如下設(shè)置，設(shè)置環(huán)境變量，設(shè)置別名。

                

安裝遇到的問題：

pip無法請求HTTPS類型的網(wǎng)站，原因是缺少SSL模塊。解決辦法安裝openssl-devel。命令是 sudo yum install -y openssl-devel

SSL安裝成功

現(xiàn)在執(zhí)行pip3 install scrapy 還是報錯，這是因為我們的Python3.6是通過編譯安裝的，所以要重新編譯Python以兼容SSL模塊。

編譯安裝執(zhí)行make && make install完畢后，再執(zhí)行pip3 install scrapy又報了一個錯誤，找不到twisted大于13.1.0的版本。

打開瀏覽器，輸入https://pypi.org/ 搜索twisted并下載。完成后通過rz命令導(dǎo)入到服務(wù)器中，移動到soft文件中。使用tar -xvjf 進(jìn)行解壓縮，進(jìn)入到解壓后的twisted文件中，使用Python3 setup.py install安裝。

再次pip3 install scrapy，成功。安裝位置在python安裝文件的bin目錄下，編輯.bashrc，設(shè)置別名。使用source .bashrc編譯。在命令行輸入scrapy即可。

分享標(biāo)題：Python爬蟲框架開發(fā)環(huán)境簡介和Scrapy安裝
文章來源：http://chinadenli.net/article28/ggpdcp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供Google、全網(wǎng)營銷推廣、關(guān)鍵詞優(yōu)化、軟件開發(fā)、企業(yè)建站、品牌網(wǎng)站設(shè)計

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)