這篇文章主要介紹了python爬蟲中怎么創(chuàng)建任務(wù)進(jìn)程，具有一定借鑒價(jià)值，需要的朋友可以參考下。希望大家閱讀完這篇文章后大有收獲。下面讓小編帶著大家一起了解一下。

成都創(chuàng)新互聯(lián)十年專注成都高端網(wǎng)站建設(shè)定制開發(fā)服務(wù),為客戶提供專業(yè)的成都網(wǎng)站制作,成都網(wǎng)頁設(shè)計(jì),成都網(wǎng)站設(shè)計(jì)服務(wù);成都創(chuàng)新互聯(lián)服務(wù)內(nèi)容包含成都網(wǎng)站建設(shè),微信小程序定制開發(fā),軟件開發(fā),網(wǎng)絡(luò)營(yíng)銷推廣,網(wǎng)絡(luò)運(yùn)營(yíng)服務(wù)及企業(yè)形象設(shè)計(jì);成都創(chuàng)新互聯(lián)擁有眾多專業(yè)的高端網(wǎng)站制作開發(fā)團(tuán)隊(duì),資深的高端網(wǎng)頁設(shè)計(jì)團(tuán)隊(duì)及經(jīng)驗(yàn)豐富的架構(gòu)師高端網(wǎng)站策劃團(tuán)隊(duì);我們始終堅(jiān)持從客戶的角度出發(fā),為客戶量身訂造網(wǎng)絡(luò)營(yíng)銷方案，解決網(wǎng)絡(luò)營(yíng)銷疑問。

創(chuàng)建任務(wù)進(jìn)程也比較簡(jiǎn)單，只有簡(jiǎn)單的四步：

1. 創(chuàng)建一個(gè)類似的QueueManager對(duì)象，使用QueueManager注冊(cè)用于獲取queue的方法名稱，任務(wù)進(jìn)程只能通過名稱來在網(wǎng)絡(luò)上獲取queue，所以這里一定要注意服務(wù)端和任務(wù)端的名稱要相同。

2. 鏈接服務(wù)器，端口和指令一定要與服務(wù)端相同。

3. 從網(wǎng)絡(luò)上獲取queue，并且將其本地化。

4. 從task對(duì)列中獲取任務(wù)，并且把結(jié)果寫入result對(duì)列。

import time
from multiprocessing.managers import BaseManager
# 創(chuàng)建類似的QueueManager
class QueueManager(BaseManager):
    pass
# 第一步：使用QueueManager注冊(cè)用于獲取Queue的方法名稱
QueueManager.register('get_task_queue')
QueueManager.register('get_result_queue')
# 第二步：鏈接到服務(wù)器
server_addr = '127.0.0.1'
print('Connect to server %s' %server_addr)
# 端口和驗(yàn)證的口令一定要保證相同
m = QueueManager(address = (server_addr, 8001), authkey='jap'.encode('utf-8'))
# 從網(wǎng)絡(luò)連接:
m.connect()
# 第三步：獲取queue的對(duì)象
task = m.get_task_queue()
result = m.get_result_queue()
# 第四部：從task隊(duì)列中獲取任務(wù)，并把結(jié)果寫入result隊(duì)列
while(not task.empty()):
    url = task.get(True, timeout = 5)
    print("run task download %s" %url)
    time.sleep(1)
    # 將結(jié)果寫入result隊(duì)列
    result.put("%s --->success" %url)
print("exit")

詳細(xì)的步驟也寫在里面了，當(dāng)然這個(gè)任務(wù)隊(duì)列，我們是可以創(chuàng)建多個(gè)的，每個(gè)任務(wù)進(jìn)程都會(huì)完成自己的事，而不會(huì)干擾其他的任務(wù)進(jìn)程，這也就讓我們的url不會(huì)重復(fù)的去爬取，從而完美的實(shí)現(xiàn)了多個(gè)進(jìn)程來爬取我們的任務(wù)。

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享python爬蟲中怎么創(chuàng)建任務(wù)進(jìn)程內(nèi)容對(duì)大家有幫助，同時(shí)也希望大家多多支持創(chuàng)新互聯(lián)，關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，遇到問題就找創(chuàng)新互聯(lián)，詳細(xì)的解決方法等著你來學(xué)習(xí)!

分享名稱：python爬蟲中怎么創(chuàng)建任務(wù)進(jìn)程
本文地址：http://chinadenli.net/article18/ppsddp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站導(dǎo)航、手機(jī)網(wǎng)站建設(shè)、服務(wù)器托管、網(wǎng)站收錄、域名注冊(cè)、網(wǎng)站維護(hù)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)