Python怎么實現(xiàn)父子進(jìn)程共享文件對象-創(chuàng)新互聯(lián)

這篇文章主要介紹了Python怎么實現(xiàn)父子進(jìn)程共享文件對象的相關(guān)知識，內(nèi)容詳細(xì)易懂，操作簡單快捷，具有一定借鑒價值，相信大家閱讀完這篇Python怎么實現(xiàn)父子進(jìn)程共享文件對象文章都會有所收獲，下面我們一起來看看吧。

創(chuàng)新互聯(lián)建站-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價比雨花臺網(wǎng)站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫,直接使用。一站式雨花臺網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設(shè)找我們，業(yè)務(wù)覆蓋雨花臺地區(qū)。費用合理售后完善，十多年實體公司更值得信賴。

直接上代碼:

from multiprocessing import Process, Lock

err_file = 'error1.log'

err_fd = open(err_file, 'w')

def put(fd):

print "PUT"

fd.write("hello, func put writen")

print "END"

if __name__=='__main__':

p_list=[]

for i in range(1):

p_list.append(Process(target=put, args=(err_fd,)))

for p in p_list:

p.start()

for p in p_list:

p.join()

上面的代碼意圖很清晰: 通過multiprocessing.Process派生一個進(jìn)程, 去執(zhí)行put函數(shù), put函數(shù)的作用也是很清楚, 輸出PUT和END, 并且將”hello, func put write” 寫到文件error1.log中.

那么按理說, 輸出應(yīng)該如同上面說的那樣, PUT和END,然后error1.log將有那句話”hello, func put write”, 然而, 世事總有那么點難料的, 代碼執(zhí)行結(jié)果是:

[root@iZ23pynfq19Z ~]# py27 2.py ; cat error1.log

PUT

END

[root@iZ23pynfq19Z ~]#

what??？　為什么error1.log沒東西　!?

讓我們稍微調(diào)整下代碼, 再見證神奇的事情:

from multiprocessing import Process, Lock

err_file = 'error1.log'

err_fd = open(err_file, 'w')

def put(fd):

print "PUT"

fd.write("hello, func put writen")

fd.write("o" * 4075) # 神奇的一行

print "END"

if __name__=='__main__':

p_list=[]

for i in range(1):

p_list.append(Process(target=put, args=(err_fd,))) for p in p_list:

p.start()

for p in p_list:

p.join()

輸出結(jié)果:

[root@iZ23pynfq19Z ~]# py27 2.py ; cat error1.log

PUT

END

hello, func put write

o....(有4075個)

[root@iZ23pynfq19Z ~]#

有沒有覺得一種懵逼的感覺!?

如今, 心中涌現(xiàn)兩個問題:

為什么第一個程序無法寫入那句話 , 但是第二個卻可以?
那個4075是什么鬼?

在解釋這些問題之前, 我們需要清楚標(biāo)準(zhǔn)IO庫所具有的特點: 全緩沖, 行緩沖, 不緩沖

具體可以看之前博文:/tupian/20230522/LinBigR 因為現(xiàn)在是寫入文件, 所以系統(tǒng)IO將采用全緩沖的方式, 也就是說, 會將緩沖區(qū)填滿才刷入系統(tǒng)寫隊列.

所以上面的問題就一下子全解決了, 正因為那些迷一般的 ‘o’,填滿了整個緩沖區(qū), 所以系統(tǒng)將我們的內(nèi)容刷進(jìn)去寫隊列,所以4075怎么來, 就是用4096-sizeof(“hello, func put writen”)+1, 為什么要+1, 因為緩沖區(qū)滿還不行, 要大于才能觸發(fā)寫動作.

所以我們現(xiàn)在已經(jīng)能夠得出答案, 如果我們想要在multiprcessing.Process中, 用上面類似的方式去寫文件時,有三種方法去實現(xiàn):

寫滿緩沖區(qū)
手動調(diào)用flush()
將文件對象設(shè)置成不緩沖

第一第二種在上面已經(jīng)闡述, 那我們簡單講下第三種:

取自Python官網(wǎng)Document:

open(name[, mode[, buffering]])

...

The optional buffering argument specifies the file’s desired buffer size: 0 means unbuffered,

1 means line buffered, any other positive value means use a buffer of (approximately) that

size (in bytes). A negative buffering means to use the system default, which is usually line

buffered for tty devices and fully buffered for other files. If omitted, the system default is

used. [2]

上圖說明就是, 允許我們在open的時候, 設(shè)置buffering為0, 那么就是unbuffered模式, 那么在每次寫, 就是直接寫入寫隊列,而不是寫到緩沖區(qū).(性能最低的方式)

————————————————我是切割線———————————————-

談?wù)撏戡F(xiàn)象和處理的方法, 我們應(yīng)該來點深入的;

相信我們曾經(jīng)試過, 在沒有顯示關(guān)閉文件對象或者顯示調(diào)用flush時, 文件依舊能夠正常寫入,那么又是怎么一回事呢?

其實,在我們正常關(guān)閉程序時, 進(jìn)程在退出將會為我們做一些”手尾”, 例如關(guān)閉打開的文件描述符, 清理臨時文件,清理內(nèi)存等等.正是因為系統(tǒng)的這種”好習(xí)慣”, 所以我們的數(shù)據(jù)在文件描述符關(guān)閉時,就能刷入寫隊列,文件內(nèi)容也不會丟失.

那么基于這種認(rèn)識,我們再回首剛才的問題, 在子進(jìn)程調(diào)用put的時候, 理論上在程序退出時, 并沒顯示關(guān)閉文件描述符, 所以數(shù)據(jù)在緩沖區(qū)就丟失了.

讓我們在順藤摸瓜,看Process的實現(xiàn)

multiprocessing/Processing.py

def start(self):

'''

Start child process

'''

assert self._popen is None, 'cannot start a process twice'

assert self._parent_pid == os.getpid(),

'can only start a process object created by current process'

assert not _current_process._daemonic,

'daemonic processes are not allowed to have children'

_cleanup()

if self._Popen is not None:

Popen = self._Popen

else:

from .forking import Popen

self._popen = Popen(self)

_current_process._children.add(self)

再看下Popn是怎么做?

multiprocessing/forking.py

class Popen(object):

def __init__(self, process_obj):

sys.stdout.flush()

sys.stderr.flush()

self.returncode = None

self.pid = os.fork()

if self.pid == 0:

if 'random' in sys.modules:

import random

random.seed()

code = process_obj._bootstrap()

sys.stdout.flush()

sys.stderr.flush()

os._exit(code)

關(guān)鍵地方就是最后的 os._exit(code), 為什么說最關(guān)鍵? 因為這部分的退出, 將決定進(jìn)程會處理什么”手尾”,

os._exit是什么鬼? 其實就是標(biāo)準(zhǔn)庫的_eixt, 于是我們又能簡單學(xué)習(xí)這東西了

/tupian/20230522/LinBigR 在上面的鏈接, 我們能夠比較清楚看到 _exit() 和exit() 是比較不同的兩個東西, _exit() 簡單暴力, 直接丟棄用戶態(tài)的內(nèi)容,進(jìn)入內(nèi)核, 而exit()則比較耐心地為我們清理

那么我們是否能夠假設(shè): 如果Popen的退出不是os._exit() 會是怎樣的效果呢?廈門叉車租賃公司

很幸運的是, sys.exit() 就是我們先要的exit(), 事不宜遲, 趕緊試下!

multiprocessing/forking.py

class Popen(object):

def __init__(self, process_obj):

sys.stdout.flush()

sys.stderr.flush()

self.returncode = None

self.pid = os.fork()

if self.pid == 0:

if 'random' in sys.modules:

import random

random.seed()

code = process_obj._bootstrap()

sys.stdout.flush()

sys.stderr.flush()

#os._exit(code)

sys.exit(code)

測試代碼, 返回最原始那個沒有’o’填充的版本

[root@iZ23pynfq19Z ~]# python 2.py ; cat error1.log

PUT

END

hello, func put write

我們可以看到, 確實是可以寫進(jìn)去, 這樣就證明上面的說法是站得住腳步的

關(guān)于“Python怎么實現(xiàn)父子進(jìn)程共享文件對象”這篇文章的內(nèi)容就介紹到這里，感謝各位的閱讀！相信大家對“Python怎么實現(xiàn)父子進(jìn)程共享文件對象”知識都有一定的了解，大家如果還想學(xué)習(xí)更多知識，歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道。

當(dāng)前名稱：Python怎么實現(xiàn)父子進(jìn)程共享文件對象-創(chuàng)新互聯(lián)
標(biāo)題網(wǎng)址：http://chinadenli.net/article2/pedic.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站制作、移動網(wǎng)站建設(shè)、域名注冊、定制開發(fā)、服務(wù)器托管、網(wǎng)站改版

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容

欧美一区二区三区老妇人-欧美做爰猛烈大尺度电-99久久夜色精品国产亚洲a-亚洲福利视频一区二区

Python怎么實現(xiàn)父子進(jìn)程共享文件對象-創(chuàng)新互聯(lián)