Python Generator(生成器)

什么是Python Generator(生成器) ？

我們提供的服務有：成都做網站、成都網站設計、微信公眾號開發(fā)、網站優(yōu)化、網站認證、雙塔ssl等。為成百上千家企事業(yè)單位解決了網站和推廣的問題。提供周到的售前咨詢和貼心的售后服務，是有科學管理、有技術的雙塔網站制作公司

Python Generator(生成器)用于在內存資源有限的情況下，把處理大數(shù)據的任務，分解為一段一段可以管理和處理的數(shù)據塊(chunk)，建立起數(shù)據流(data pipeline)，從而一步一步的解決完大數(shù)據任務的技術。例如，假設有500G的數(shù)據待處理，內存只有32G，我們可以把數(shù)據分為200M的數(shù)據塊，然后借助Python Generator技術，實現(xiàn)一邊加載數(shù)據一邊進行數(shù)據處理的效果。

生成器關鍵字yield 與 函數(shù)返回語句return的區(qū)別 ：

return語句 終止函數(shù)運行并返回return語句后面的變量值；return語句后面的語句不執(zhí)行。

Python生成器可以由以下兩種方式創(chuàng)建：

python 生成器是函數(shù)嗎

對于程序而言，內存也是很重要的，因為程序中很多數(shù)據都是保存在內存中的，如果內存中存儲的數(shù)據過多，那么系統(tǒng)就會崩潰，這是人們不希望發(fā)生的。

可以采用生成器推導式來解決內存不足的問題。例如，利用生成器推導式創(chuàng)建一個生成器n，數(shù)據為1~33數(shù)字，可以寫成n = (i for i in range(1, 34))。這樣當程序需要一個數(shù)時，程序才生成數(shù)據，可以節(jié)省內存。然而生成器推導式太過簡單，只能用一行代碼的形式實現(xiàn)，如果要創(chuàng)建復雜的生成器，如創(chuàng)建一個生成器f，生成前10個斐波那契數(shù)字，生成器推導式已經不能滿足需求了，因為斐波那契數(shù)列最開始的兩個數(shù)都無法賦值。

函數(shù)可以實現(xiàn)復雜的功能，然而要節(jié)省內存，就需要使用生成器函數(shù)。生成器函數(shù)與普通函數(shù)的區(qū)別是函數(shù)中包含關鍵字yield。實際上只要含有yield關鍵字的函數(shù)就是生成器函數(shù)。

生成器函數(shù)是用函數(shù)實現(xiàn)生成器。定義生成器函數(shù)的語法格式如下：

def?fib():???#?定義生成器函數(shù)

...?????a,?b?=?1,?1???#?定義初始值

...?????while?True:

...?????????yield?a???#?暫停執(zhí)行，返回一個新變量值

...?????????a,?b?=?b,?a+b

...

a=?fib()???#?調用生成器函數(shù)

for?i?in?range(10):

...?????print(next(a))???#?調用生成器函數(shù)的yield生成值

...

1

1

2

3

5

8

13

21

34

55

def 函數(shù)名(參數(shù)):

函數(shù)體

yield 變量名

函數(shù)體

由語法格式可知，生成器函數(shù)與普通函數(shù)的區(qū)別在于函數(shù)體部分，生成器函數(shù)的函數(shù)體含有“yield 變量名”語句。yield的功能類似于return，return是函數(shù)返回值，yield的功能也是返回變量，但是它僅返回變量而不退出函數(shù)，因此，yield可以看作是多次返回變量且不會退出函數(shù)的return。

在調用生成器函數(shù)時，寫上函數(shù)名與參數(shù)，并通過一個變量接收返回值，語法格式如下：

變量名 = 函數(shù)名(參數(shù))

調用生成器函數(shù)的yield生成值的第一種方法如下：

next(變量名)

第二種方法如下：

變量名.__next__()

在掌握了生成器函數(shù)的定義和調用之后，就可以使用生成器函數(shù)實現(xiàn)生成前10個斐波那契數(shù)字的案例了。這個案例主要分為三步，第一步是定義生成器函數(shù)，第二步是調用并賦值，第三步是打印結果，代碼如下：

在上述程序中，首先定義生成器函數(shù)fib()，函數(shù)內先定義斐波那契數(shù)列的兩個初始值，再寫一個while True死循環(huán)。這個死循環(huán)有些特別，先是用yield生成待使用的數(shù)字，再通過賦值語句“a, b = b, a+b”將b的值賦給a，將a+b的值賦給b，每次循環(huán)都是如此。然后調用生成器函數(shù)fib()，再調用生成器函數(shù)的yield生成值，最后打印結果。由于需要生成前10個斐波那契數(shù)字，因此可以采用for循環(huán)，每循環(huán)一次生成并打印一個斐波那契數(shù)字，共循環(huán)10次。第一次循環(huán)時，調用yield生成值a，即1;第二次循環(huán)時，調用yield生成值a，a被賦值成b的值，即1，而b被賦值成a+b的值，即2;第三次循環(huán)時，調用yield生成值a，a被賦值成b的值，而此時b的值是上次賦值的a+b的值，即2……以此類推，就得到了整個斐波那契數(shù)列。

Python 函數(shù) - 返回生成器

如果函數(shù)要返回一系列結果，我們常見的方法就是將結果放到一份列表中，然后返回給調用者。比如下面的函數(shù)，返回字符串中每個單詞的首字母在真?zhèn)€字符串中的索引：

運行結果：

上述的結果完全符合我們的預期，但 get_word_index 函數(shù)不夠簡潔。下面我們嘗試使用生成器來實現(xiàn)：

運行結果：

改寫之后，不僅運行結果符合要求，由于不需要和 result 列表交互，函數(shù)也變得非常簡潔。下面我們就來詳細學習下生成器吧~

生成器是指使用 yield 表達式的函數(shù)，調用生成器函數(shù)時，它并不會真的運行，而是會返回迭代器。每次在這個迭代器上面調用內置的 next 函數(shù)時，迭代器就會把生成器推進到下一個 yield 表達式那里。生成器傳給 yield 的值均會由迭代器返回給調用者。

此外，如果輸入量非常大，使用列表作為返回值，那么程序就有可能耗盡內存并崩潰。相反，使用生成器之后，則可以應對任意長度的輸入數(shù)據。

例如，下面這個生成器函數(shù)可以獲取文件中單詞的索引，而不管文件內容多大，該函數(shù)執(zhí)行時消耗的內存，只由單行的文本長度決定：

其中 test_generator.txt 中的內容如下：

運行結果：

下面這句話特別重要： 生成器函數(shù)返回的迭代器，是由狀態(tài)的，及調用者不應該反復使用它 。我們那 word_index_iter 來說明：

如果想重復調用，請將其封裝成容器：

運行結果：

關于上述自定義容器的實現(xiàn)原理，我的另外一篇文章做了詳細介紹，鏈接奉上：

閑話python 45: 淺談生成器yield

生成器似乎并不是一個經常被開發(fā)者討論的語法，因此也就沒有它的大兄弟迭代器那么著名。大家不討論它并不是說大家都已經對它熟悉到人盡皆知，與之相反，即使是工作多年的開發(fā)者可能對生成器的運行過程還是知之甚少。這是什么原因導致的呢？我猜想大概有以下幾點原因： (1)運行流程不同尋常，(2)日常開發(fā)不需要，(3)常常將生成器與迭代器混淆。 生成器的運行流程可以按照協(xié)程來理解，也就是說 返回中間結果，斷點繼續(xù)運行 。這與我們通常對于程序調用的理解稍有差異。這種運行模式是針對什么樣的需求呢？ 一般而言，生成器是應用于大量磁盤資源的處理。 比如一個很大的文件，每次讀取一行，下一次讀取需要以上一次讀取的位置為基礎。下面就通過代碼演示具體看看生成器的運行機制、使用方式以及與迭代器的比較。

什么是生成器？直接用文字描述可能太過抽象，倒不如先運行一段代碼，分析這段代碼的運行流程，然后總結出自己對生成器的理解。

從以上演示可以看出，這段代碼定義了一個函數(shù)，這個函數(shù)除了yield這個關鍵字之外與一般函數(shù)并沒有差異，也就是說生成器的魔法都是這個yield關鍵字引起的。 第一點，函數(shù)的返回值是一個生成器對象。 上述代碼中，直接調用這個看似普通的函數(shù)，然后將返回值打印出來，發(fā)現(xiàn)返回值是一個對象，而并不是普通函數(shù)的返回值。 第二點，可以使用next對這個生成器對象進行操作 。生成器對象天然的可以被next函數(shù)調用，然后返回在yield關鍵字后面的內容。 第三，再次調用next函數(shù)處理生成器對象，發(fā)現(xiàn)是從上次yield語句之后繼續(xù)運行，直到下一個yield語句返回。

生成器的運行流程確實詭異，下面還要演示一個生成器可以執(zhí)行的更加詭異的操作：運行過程中向函數(shù)傳參。

返回生成器和next函數(shù)操作生成器已經并不奇怪了，但是在函數(shù)運行過程中向其傳參還是讓人驚呆了。 調用生成器的send函數(shù)傳入參數(shù)，在函數(shù)內使用yield語句的返回值接收，然后繼續(xù)運行直到下一個yield語句返回。 以前實現(xiàn)這種運行流程的方式是在函數(shù)中加上一個從控制臺獲取數(shù)據的指令，或者提前將參數(shù)傳入，但是現(xiàn)在不用了，send方式使得傳入的參數(shù)可以隨著讀取到的參數(shù)變化而變化。

很多的開發(fā)者比較容易混淆生成器和迭代器，而迭代器的運行過程更加符合一般的程序調用運行流程，因此從親進度和使用熟悉度而言，大家對迭代器更有好感。比如下面演示一個對迭代器使用next方法進行操作。

從以上演示來看，大家或許會認為迭代器比生成器簡單易用得太多了。不過，如果你了解迭代器的實現(xiàn)機制，可能就不會這么早下結論了。python內置了一些已經實現(xiàn)了的迭代器使用確實方便，但是如果需要自己去寫一個迭代器呢？下面這段代碼就帶大家見識以下迭代器的實現(xiàn)。

在python中，能被next函數(shù)操作的對象一定帶有__next__函數(shù)的實現(xiàn)，而能夠被迭代的對象有必須實現(xiàn)__iter__函數(shù)?？戳诉@么一段操作，相信大家對迭代器實現(xiàn)的繁瑣也是深有體會了，那么生成器的實現(xiàn)是不是會讓你覺得更加簡單易用呢？不過千萬別產生一個誤區(qū)，即生成器比迭代器簡單就多用生成器。 在實際開發(fā)中，如果遇到與大量磁盤文件或者數(shù)據庫操作相關的倒是可以使用生成器。但是在其他的任務中使用生成器難免有炫技，并且使邏輯不清晰而導致可讀性下降的嫌疑。 這大概也能解釋生成器受冷落的原因。不過作為一個專業(yè)的開發(fā)者，熟悉語言特性是分內之事。

到此，關于生成器的討論就結束了。本文的notebook版本文件在github上的cnbluegeek/notebook倉庫中共享，歡迎感興趣的朋友前往下載。

python迭代器和生成器的區(qū)別

迭代器

迭代是Python最強大的功能之一，是訪問集合元素的一種方式。

迭代器是一個可以記住遍歷的位置的對象。

迭代器對象從集合的第一個元素開始訪問，直到所有的元素被訪問完結束，迭代器只能往前不會后退。

迭代器有兩個基本的方法：iter()和next()。

生成器

在Python中，使用了yield的函數(shù)被稱為生成器。

跟普通函數(shù)不同的是，生成器是一個返回迭代器的函數(shù)，只能用于迭代操作，更簡單點理解生成器就是一個迭代器。

在調用生成器運行的過程中，每次遇到y(tǒng)ield時函數(shù)會暫停并保存當前所有的運行信息，返回yield的值，并在下一次執(zhí)行next()方法時從當前位置繼續(xù)運行。

調用一個生成器函數(shù)，返回的是一個迭代器對象。

迭代器與生成器之間的區(qū)別：

迭代器是一個更抽象的概念，任何對象，如果它的類有NEXTiter方法返回自己本身，對于string、list、dict、tuple等這類容器對象，使用for循環(huán)遍歷是很方便的。在后臺For語言對容器對象條用iter()函數(shù)，iter()是Python的內置函數(shù)。iter()會返回一個定義了next()方法迭代器對象，在容器中逐個訪問容器的元素，next()也是Python的內置函數(shù)，next()會拋出StopIteration異常。

生成器是創(chuàng)新迭代器的簡單而強大的工具，它們寫起來就好像正則函數(shù)，只是在需要返回數(shù)據的時候使用yield 語句。

迭代器協(xié)議，對象需要提供next()方法，它要么返回迭代中的下一項，要么就引起一個StopIteration異常，終止迭代。

可迭代對象，實現(xiàn)了迭代器協(xié)議對象。list、tuple、dict都是Iterable可迭代的對象，但不是Iterator迭代器對象。

python高階用法：生成器和yield

使用場景：

一般我們在循環(huán)迭代的時候，都必須等待循環(huán)結束的時候才return結果。

數(shù)量小的時候還可以，但是如果循環(huán)次數(shù)是上百萬，上億的話，要等多久？

如果循環(huán)不涉及龜速I/O還行，但是如果涉及I/O阻塞，一個堵幾秒，后面幾百萬幾億個用戶等著，要等多久？

解決方法：

所以這里肯定要并行處理。除了傳統(tǒng)的多線程多進程外，我們還可以用Generator 生成器，由yield代替return，每次循環(huán)都有返回，而不是等所有的執(zhí)行完再返回。

好處：

如果用return，循環(huán)中所有的數(shù)據都要累計到內存里，直到結束。這樣不友好。

而yield是一次次的返回結果，就不會在內存里累計了。數(shù)據量越大，越明顯。

生成器概念：

只要在函數(shù)中使用了yield關鍵字，這個函數(shù)就會返回一個generator的對象

有了這個對象，我們就能使用一系列的操作來控制循環(huán)的結果

比如 next（）就是獲取下一個結果

yield和generator的關系，簡單來說就是一個起因一個結果：只要寫上yield, 其所在的函數(shù)就立馬變成一個generator object對象。

range 和 xrange的區(qū)別 ：

Python中我們使用range()函數(shù)生成數(shù)列非常常用。而xrange()的使用方法、效果幾乎一模一樣，唯一不同的就是——xrange()返回的是生成器，而不是直接的結果。

如果數(shù)據量大時，xrange()能極大的減小內存占用，帶來卓越的性能提升。

yield 作為暫停鍵

每次程序遇到y(tǒng)ield時就會暫停，當調用next的時候，就會繼續(xù)

yield from

如果我們需要在一個生成器中使用另一個生成器，可以用yield from 簡化

當前名稱：python的生成器函數(shù) python中生成器的作用
標題鏈接：http://chinadenli.net/article16/dodsjgg.html

成都網站建設公司_創(chuàng)新互聯(lián)，為您提供用戶體驗、關鍵詞優(yōu)化、微信小程序、App開發(fā)、定制開發(fā)、小程序開發(fā)

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)