欧美一区二区三区老妇人-欧美做爰猛烈大尺度电-99久久夜色精品国产亚洲a-亚洲福利视频一区二区

python怎么實(shí)現(xiàn)單機(jī)處理大文件

本篇內(nèi)容介紹了“python怎么實(shí)現(xiàn)單機(jī)處理大文件”的有關(guān)知識(shí),在實(shí)際案例的操作過(guò)程中,不少人都會(huì)遇到這樣的困境,接下來(lái)就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧!希望大家仔細(xì)閱讀,能夠?qū)W有所成!

站在用戶的角度思考問(wèn)題,與客戶深入溝通,找到邛崍網(wǎng)站設(shè)計(jì)與邛崍網(wǎng)站推廣的解決方案,憑借多年的經(jīng)驗(yàn),讓設(shè)計(jì)與互聯(lián)網(wǎng)技術(shù)結(jié)合,創(chuàng)造個(gè)性化、用戶體驗(yàn)好的作品,建站類型包括:成都網(wǎng)站制作、做網(wǎng)站、外貿(mào)營(yíng)銷網(wǎng)站建設(shè)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣、域名注冊(cè)雅安服務(wù)器托管、企業(yè)郵箱。業(yè)務(wù)覆蓋邛崍地區(qū)。

下面的討論基于的假定:可以單獨(dú)處理一行數(shù)據(jù),行間數(shù)據(jù)相關(guān)性為零。

方法一:

僅使用 Python 內(nèi)置模板,逐行讀取到內(nèi)存。

使用 yield,好處是解耦讀取操作和處理操作:

def python_read(filename):
   with open(filename,'r',encoding='utf-8') as f:
       while  True:
           line = f.readline()
           if not line:
               return
           yield line
 

以上每次讀取一行,逐行迭代,逐行處理數(shù)據(jù)

if __name__ == '__main__':
   g = python_read('./data/movies.dat')
   for c in g:
       print(c)
       # process c
 

方法二:

方法一有缺點(diǎn),逐行讀入,頻繁的 IO 操作拖累處理效率。是否有一次 IO ,讀取多行的方法?

pandasread_csv 函數(shù),參數(shù)有 38 個(gè)之多,功能非常強(qiáng)大。

關(guān)于單機(jī)處理大文件,read_csvchunksize 參數(shù)能做到,它被設(shè)置為 5, 意味著一次讀取 5 行。

def pandas_read(filename,sep=',',chunksize=5):
   reader = pd.read_csv(filename,sep,chunksize=chunksize)
   while  True:
       try:
           yield reader.get_chunk()
       except StopIteration:
           print('---Done---')
           break
 

使用如同方法一:

if __name__ == '__main__':
   g = pandas_read('./data/movies.dat',sep="::")
   for c in g:
       print(c)
       # process c

“python怎么實(shí)現(xiàn)單機(jī)處理大文件”的內(nèi)容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站,小編將為大家輸出更多高質(zhì)量的實(shí)用文章!

網(wǎng)頁(yè)標(biāo)題:python怎么實(shí)現(xiàn)單機(jī)處理大文件
文章URL:http://chinadenli.net/article4/gdssie.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供App開(kāi)發(fā)微信公眾號(hào)定制開(kāi)發(fā)外貿(mào)網(wǎng)站建設(shè)商城網(wǎng)站App設(shè)計(jì)

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)

成都網(wǎng)站建設(shè)公司