Python中多線程和多處理的指南是怎樣的,相信很多沒有經(jīng)驗的人對此束手無策,為此本文總結(jié)了問題出現(xiàn)的原因和解決方法,通過這篇文章希望你能解決這個問題。

| 使用Python分析數(shù)據(jù),如果使用了正確的數(shù)據(jù)結(jié)構(gòu)和算法,有時可以大量提高程序的速度。實現(xiàn)此目的的一種方法是使用Muiltithreading(多線程)或Multiprocessing(多重處理)。 |
使用Python分析數(shù)據(jù),如果使用了正確的數(shù)據(jù)結(jié)構(gòu)和算法,有時可以大量提高程序的速度。實現(xiàn)此目的的一種方法是使用Muiltithreading(多線程)或Multiprocessing(多重處理)。
我們舉一個例子,編寫一個小的Python 腳本從Unsplash下載圖像。我們將從一次下載一個圖像的版本開始。接下來,我們使用線程來提高執(zhí)行速度。
Python中多線程和多處理
多線程
簡單地說,線程允許您并行地運行程序。花費大量時間等待外部事件的任務(wù)通常適合線程化。它們也稱為I/O Bound任務(wù)例如從文件中讀寫,網(wǎng)絡(luò)操作或使用API在線下載。讓我們來看一個示例,它展示了使用線程的好處。
1. 沒有線程
在本例中,我們希望通過順序運行程序來查看從Unsplash API下載15張圖像需要多長時間:
import requests
import time
img_urls = [
'https://images.unsplash.com/photo-1516117172878-fd2c41f4a759',
'https://images.unsplash.com/photo-1532009324734-20a7a5813719',
'https://images.unsplash.com/photo-1524429656589-6633a470097c',
'https://images.unsplash.com/photo-1530224264768-7ff8c1789d79',
'https://images.unsplash.com/photo-1564135624576-c5c88640f235',
'https://images.unsplash.com/photo-1541698444083-023c97d3f4b6',
'https://images.unsplash.com/photo-1522364723953-452d3431c267',
'https://images.unsplash.com/photo-1513938709626-033611b8cc03',
'https://images.unsplash.com/photo-1507143550189-fed454f93097',
'https://images.unsplash.com/photo-1493976040374-85c8e12f0c0e',
'https://images.unsplash.com/photo-1504198453319-5ce911bafcde',
'https://images.unsplash.com/photo-1530122037265-a5f1f91d3b99',
'https://images.unsplash.com/photo-1516972810927-80185027ca84',
'https://images.unsplash.com/photo-1550439062-609e1531270e',
'https://images.unsplash.com/photo-1549692520-acc6669e2f0c'
]
start = time.perf_counter() #start timer
for img_url in img_urls:
img_name = img_url.split('/')[3] #get image name from url
img_bytes = requests.get(img_url).content
with open(img_name, 'wb') as img_file:
img_file.write(img_bytes) #save image to disk
finish = time.perf_counter() #end timer
print(f"Finished in {round(finish-start,2)} seconds")
#results
Finished in 23.101926751 seconds一共用時23秒。
2. 多線程
讓我們看看Pyhton中的線程模塊如何顯著地改進我們的程序執(zhí)行:
import time
from concurrent.futures import ThreadPoolExecutor
def download_images(url):
img_name = img_url.split('/')[3]
img_bytes = requests.get(img_url).content
with open(img_name, 'wb') as img_file:
img_file.write(img_bytes)
print(f"{img_name} was downloaded")
start = time.perf_counter() #start timer
with ThreadPoolExecutor() as executor:
results = executor.map(download_images,img_urls) #this is Similar to map(func, *iterables)
finish = time.perf_counter() #end timer
print(f"Finished in {round(finish-start,2)} seconds")
#results
Finished in 5.544147536 seconds我們可以看到,與不使用線程代碼相比,使用線程代碼可以顯著提高速度。從23秒到5秒。
對于本例,請注意在創(chuàng)建線程時存在開銷,因此將線程用于多個API調(diào)用是有意義的,而不僅僅是單個調(diào)用。
此外,對于密集的計算,如數(shù)據(jù)處理,圖像處理多處理比線程執(zhí)行得更好。
看完上述內(nèi)容,你們掌握Python中多線程和多處理的指南是怎樣的的方法了嗎?如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容,歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道,感謝各位的閱讀!
分享題目:Python中多線程和多處理的指南是怎樣的-創(chuàng)新互聯(lián)
URL分享:http://chinadenli.net/article26/cohccg.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站維護、定制開發(fā)、服務(wù)器托管、全網(wǎng)營銷推廣、網(wǎng)站收錄、網(wǎng)站內(nèi)鏈
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容