這篇文章給大家分享的是有關python3爬蟲中怎么搭建多線程環(huán)境的內容。小編覺得挺實用的,因此分享給大家做個參考。一起跟隨小編過來看看吧。
開發(fā)環(huán)境:
ubuntu16.04,python3.6,bs4,virtualenv(虛擬環(huán)境)
創(chuàng)建虛擬環(huán)境:
創(chuàng)建項目文件夾,并為項目創(chuàng)建虛擬環(huán)境,利用pip安裝相關包
mkdir mutiThreadCrawier cd mutiThreadCrawier mkdir content #存爬下來的頁面 virtualenv env --python =python3.6 #創(chuàng)建虛擬環(huán)境 source env/bin/activate #使虛擬環(huán)境生效
導包:
import time import re import threading import urllib import requests from bs4 import BeautifulSoup
感謝各位的閱讀!關于python3爬蟲中怎么搭建多線程環(huán)境就分享到這里了,希望以上內容可以對大家有一定的幫助,讓大家可以學到更多知識。如果覺得文章不錯,可以把它分享出去讓更多的人看到吧!
文章標題:python3爬蟲中怎么搭建多線程環(huán)境-創(chuàng)新互聯(lián)
網(wǎng)站地址:http://chinadenli.net/article44/ghjee.html
成都網(wǎng)站建設公司_創(chuàng)新互聯(lián),為您提供品牌網(wǎng)站設計、云服務器、定制開發(fā)、網(wǎng)站改版、App開發(fā)、品牌網(wǎng)站制作
聲明:本網(wǎng)站發(fā)布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經(jīng)允許不得轉載,或轉載時需注明來源: 創(chuàng)新互聯(lián)