本篇文章為大家展示了awk腳本怎么移植到Python，內(nèi)容簡明扼要并且容易理解，絕對(duì)能使你眼前一亮，通過這篇文章的詳細(xì)介紹希望你能有所收獲。

成都創(chuàng)新互聯(lián)公司長期為上1000家客戶提供的網(wǎng)站建設(shè)服務(wù)，團(tuán)隊(duì)從業(yè)經(jīng)驗(yàn)10年，關(guān)注不同地域、不同群體，并針對(duì)不同對(duì)象提供差異化的產(chǎn)品和服務(wù)；打造開放共贏平臺(tái)，與合作伙伴共同營造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為橫縣企業(yè)提供專業(yè)的成都網(wǎng)站制作、網(wǎng)站設(shè)計(jì)，橫縣網(wǎng)站改版等技術(shù)服務(wù)。擁有十余年豐富建站經(jīng)驗(yàn)和眾多成功案例,為您定制開發(fā)。

何時(shí)從 awk 轉(zhuǎn)向 Python

但是在某些方面，awk 的限制開始顯現(xiàn)出來。它沒有將文件分解為模塊的真正概念，它缺乏質(zhì)量錯(cuò)誤報(bào)告，并且缺少了現(xiàn)在被認(rèn)為是編程語言工作原理的其他內(nèi)容。當(dāng)編程語言的這些豐富功能有助于維護(hù)關(guān)鍵腳本時(shí)，移植將是一個(gè)不錯(cuò)的選擇。

我最喜歡的完美移植 awk 的現(xiàn)代編程語言是 Python。

在將 awk 腳本移植到 Python 之前，通常值得考慮一下其原始使用場景。例如，由于 awk 的局限性，通常從 Bash 腳本調(diào)用 awk 代碼，其中包括一些對(duì) sed、sort 之類的其它命令行常見工具的調(diào)用。 最好將所有內(nèi)容轉(zhuǎn)換為一個(gè)一致的 Python 程序。有時(shí)，腳本會(huì)做出過于寬泛的假設(shè)，例如，即使實(shí)際上只運(yùn)行一個(gè)文件，該代碼也可能允許任意數(shù)量的文件。

在仔細(xì)考慮了上下文并確定了要用 Python 替代的東西之后，該編寫代碼了。

標(biāo)準(zhǔn) awk 到 Python 功能

以下 Python 功能是有用的，需要記?。?/p>

with open(some_file_name) as fpin:    for line in fpin:        pass # do something with line

此代碼將逐行循環(huán)遍歷文件并處理這些行。

如果要訪問行號(hào)（相當(dāng)于 awk 的 NR），則可以使用以下代碼：

with open(some_file_name) as fpin:    for nr, line in enumerate(fpin):        pass # do something with line

在 Python 中實(shí)現(xiàn)多文件的 awk 式行為

如果你需要能夠遍歷任意數(shù)量的文件同時(shí)保持行數(shù)的持續(xù)計(jì)數(shù)（類似 awk 的 FNR），則此循環(huán)可以做到這一點(diǎn)：

def awk_like_lines(list_of_file_names):    def _all_lines():        for filename in list_of_file_names:            with open(filename) as fpin:                yield from fpin    yield from enumerate(_all_lines())

此語法使用 Python 的生成器和 yield from 來構(gòu)建迭代器，該迭代器將遍歷所有行并保持一個(gè)持久計(jì)數(shù)。

如果你需要同時(shí)使用 FNR 和 NR，這是一個(gè)更復(fù)雜的循環(huán)：

def awk_like_lines(list_of_file_names):    def _all_lines():        for filename in list_of_file_names:            with open(filename) as fpin:                yield from enumerate(fpin)    for nr, (fnr, line) in _all_lines:        yield nr, fnr, line

更復(fù)雜的 FNR、NR 和行數(shù)的 awk 行為

如果 FNR、NR 和行數(shù)這三個(gè)你全都需要，仍然會(huì)有一些問題。如果確實(shí)如此，則使用三元組（其中兩個(gè)項(xiàng)目是數(shù)字）會(huì)導(dǎo)致混淆。命名參數(shù)可使該代碼更易于閱讀，因此最好使用 dataclass：

import dataclass @dataclass.dataclass(frozen=True)class AwkLikeLine:    content: str    fnr: int    nr: int def awk_like_lines(list_of_file_names):    def _all_lines():        for filename in list_of_file_names:            with open(filename) as fpin:                yield from enumerate(fpin)    for nr, (fnr, line) in _all_lines:        yield AwkLikeLine(nr=nr, fnr=fnr, line=line)

你可能想知道，為什么不一直用這種方法呢？使用其它方式的的原因是總用這種方法太復(fù)雜了。如果你的目標(biāo)是把一個(gè)通用庫更容易地從 awk 移植到  Python，請(qǐng)考慮這樣做。但是編寫一個(gè)可以使你確切地了解特定情況所需的循環(huán)的方法通常更容易實(shí)現(xiàn)，也更容易理解（因而易于維護(hù)）。

理解 awk 字段

一旦有了與一行相對(duì)應(yīng)的字符串，如果要轉(zhuǎn)換 awk 程序，則通常需要將其分解為字段。Python 有幾種方法可以做到這一點(diǎn)。這將把行按任意數(shù)量的連續(xù)空格拆分，返回一個(gè)字符串列表：

line.split()

如果需要另一個(gè)字段分隔符，比如以 : 分隔行，則需要 rstrip 方法來刪除最后一個(gè)換行符：

line.rstrip("\n").split(":")

完成以下操作后，列表 parts 將存有分解的字符串：

parts = line.rstrip("\n").split(":")

這種拆分非常適合用來處理參數(shù)，但是我們處于偏差一個(gè)的錯(cuò)誤場景中?，F(xiàn)在 parts[0] 將對(duì)應(yīng)于 awk 的 $1，parts[1] 將對(duì)應(yīng)于 awk 的 $2，依此類推。之所以偏差一個(gè)，是因?yàn)?awk 計(jì)數(shù)“字段”從 1 開始，而 Python 從 0 開始計(jì)數(shù)。在 awk 中，$0 是整個(gè)行 —— 等同于 line.rstrip("\n")，而 awk 的 NF（字段數(shù)）更容易以 len(parts) 的形式得到。

移植 awk 字段到 Python

例如，讓我們將這個(gè)單行代碼“如何使用 awk 從文件中刪除重復(fù)行”轉(zhuǎn)換為 Python。

awk 中的原始代碼是：

awk '!visited[$0]++' your_file > deduplicated_file

“真實(shí)的” Python 轉(zhuǎn)換將是：

import collectionsimport sys visited = collections.defaultdict(int)for line in open("your_file"):    did_visit = visited[line]    visited[line] += 1    if not did_visit:        sys.stdout.write(line)

但是，Python 比 awk 具有更多的數(shù)據(jù)結(jié)構(gòu)。與其計(jì)數(shù)訪問次數(shù)（除了知道是否看到一行，我們不使用它），為什么不記錄訪問的行呢？

import sys visited = set()for line in open("your_file"):    if line in visited:        continue    visited.add(line)    sys.stdout.write(line)

編寫 Python 化的 awk 代碼

Python 社區(qū)提倡編寫 Python 化的代碼，這意味著它要遵循公認(rèn)的代碼風(fēng)格。更加 Python 化的方法將區(qū)分唯一性和輸入/輸出的關(guān)注點(diǎn)。此更改將使對(duì)代碼進(jìn)行單元測(cè)試更加容易：

def unique_generator(things):    visited = set()    for thing in things:        if thing in visited:            continue        visited.add(things)        yield thing import sys   for line in unique_generator(open("your_file")):    sys.stdout.write(line)

將所有邏輯置于輸入/輸出代碼之外，可以更好地分離問題，并提高代碼的可用性和可測(cè)試性。

上述內(nèi)容就是awk腳本怎么移植到Python，你們學(xué)到知識(shí)或技能了嗎？如果還想學(xué)到更多技能或者豐富自己的知識(shí)儲(chǔ)備，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

網(wǎng)站欄目：awk腳本怎么移植到Python
標(biāo)題網(wǎng)址：http://chinadenli.net/article20/pdscjo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供自適應(yīng)網(wǎng)站、App開發(fā)、用戶體驗(yàn)、定制開發(fā)、服務(wù)器托管、建站公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)