分析Nodejs的Stream模塊

這篇文章主要講解了“分析Nodejs的Stream模塊”，文中的講解內(nèi)容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“分析Nodejs的Stream模塊”吧！

在成都做網(wǎng)站、成都網(wǎng)站制作過程中，需要針對客戶的行業(yè)特點、產(chǎn)品特性、目標受眾和市場情況進行定位分析，以確定網(wǎng)站的風格、色彩、版式、交互等方面的設計方向。創(chuàng)新互聯(lián)還需要根據(jù)客戶的需求進行功能模塊的開發(fā)和設計，包括內(nèi)容管理、前臺展示、用戶權限管理、數(shù)據(jù)統(tǒng)計和安全保護等功能。

一，開篇分析
流是一個抽象接口，被 Node 中的很多對象所實現(xiàn)。比如對一個 HTTP 服務器的請求是一個流，stdout 也是一個流。流是可讀，可寫或兼具兩者的。
最早接觸Stream是從早期的unix開始的，數(shù)十年的實踐證明Stream 思想可以很簡單的開發(fā)出一些龐大的系統(tǒng)。
在unix里，Stream是通過 "|" 實現(xiàn)的。在node中，作為內(nèi)置的stream模塊，很多核心模塊和三方模塊都使用到。
和unix一樣，node stream主要的操作也是.pipe()，使用者可以使用反壓力機制來控制讀和寫的平衡。
Stream 可以為開發(fā)者提供可以重復使用統(tǒng)一的接口，通過抽象的Stream接口來控制Stream之間的讀寫平衡。
一個TCP連接既是可讀流，又是可寫流，而Http連接則不同，一個http request對象是可讀流，而http response對象則是可寫流。
流的傳輸過程默認是以buffer的形式傳輸?shù)模悄憬o他設置其他編碼形式,以下是一個例子：

1.

2.

3. 　　var http = require('http') ;

4. 　　var server = http.createServer(function(req,res){

5. 　　res.writeHeader(200, {'Content-Type': 'text/plain'}) ;

6. 　　res.end("Hello,大熊!") ;

7. 　　}) ;

8. 　　server.listen(8888) ;

9. 　　console.log("http server running on port 8888 ...") ;

運行后會有亂碼出現(xiàn)，原因就是沒有設置指定的字符集，比如：“utf-8” 。
修改一下就好：
var http = require('http') ;

2. 　　var server = http.createServer(function(req,res){

3. 　　res.writeHeader(200,{

4. 　　'Content-Type' : 'text/plain;charset=utf-8' // 添加charset=utf-8

5. 　　}) ;

6. 　　res.end("Hello,大熊!") ;

7. 　　}) ;

8. 　　server.listen(8888) ;

9. 　　console.log("http server running on port 8888 ...") ;

運行結果：
為什么使用Stream
node中的I/O是異步的，因此對磁盤和網(wǎng)絡的讀寫需要通過回調(diào)函數(shù)來讀取數(shù)據(jù)，下面是一個文件下載例子
上代碼：

2. 　　var http = require('http') ;

3. 　　var fs = require('fs') ;

4. 　　var server = http.createServer(function (req, res) {

5. 　　fs.readFile(__dirname + '/data.txt', function (err, data) {

6. 　　res.end(data);

7. 　　}) ;

8. 　　}) ;

9. 　　server.listen(8888) ;

代碼可以實現(xiàn)需要的功能，但是服務在發(fā)送文件數(shù)據(jù)之前需要緩存整個文件數(shù)據(jù)到內(nèi)存，如果"data.txt"文件很
大并且并發(fā)量很大的話，會浪費很多內(nèi)存。因為用戶需要等到整個文件緩存到內(nèi)存才能接受的文件數(shù)據(jù)，這樣導致
用戶體驗相當不好。不過還好(req,res)兩個參數(shù)都是Stream，這樣我們可以用fs.createReadStream()代替fs.readFile()。如下：

var http = require('http') ;

2. 　　var fs = require('fs') ;

3. 　　var server = http.createServer(function (req, res) {

4. 　　var stream = fs.createReadStream(__dirname + '/data.txt') ;

5. 　　stream.pipe(res) ;

6. 　　}) ;

7. 　　server.listen(8888) ;

.pipe()方法監(jiān)聽fs.createReadStream()的'data' 和'end'事件，這樣"data.txt"文件就不需要緩存整
個文件，當客戶端連接完成之后馬上可以發(fā)送一個數(shù)據(jù)塊到客戶端。使用.pipe()另一個好處是可以解決當客戶
端延遲非常大時導致的讀寫不平衡問題。
有五種基本的Stream：readable，writable，transform，duplex，and "classic” 。(具體使用請自己查閱api)
二，實例引入
當內(nèi)存中無法一次裝下需要處理的數(shù)據(jù)時，或者一邊讀取一邊處理更加高效時，我們就需要用到數(shù)據(jù)流。NodeJS中通過各種Stream來提供對數(shù)據(jù)流的操作。
以大文件拷貝程序為例，我們可以為數(shù)據(jù)源創(chuàng)建一個只讀數(shù)據(jù)流，示例如下：
var rs = fs.createReadStream(pathname);

2. 　　rs.on('data', function (chunk) {

3. 　　doSomething(chunk) ; // 具體細節(jié)自己任意發(fā)揮

4. 　　});

5. 　　rs.on('end', function () {

6. 　　cleanUp() ;

7. 　　}) ;

代碼中data事件會源源不斷地被觸發(fā)，不管doSomething函數(shù)是否處理得過來。代碼可以繼續(xù)做如下改造，以解決這個問題。

1.

2.

3. 　　var rs = fs.createReadStream(src) ;

4. 　　rs.on('data', function (chunk) {

5. 　　rs.pause() ;

6. 　　doSomething(chunk, function () {

7. 　　rs.resume() ;

8. 　　}) ;

9. 　　}) ;

10. 　　rs.on('end', function () {

11. 　　cleanUp();

12. 　　}) ;

給doSomething函數(shù)加上了回調(diào)，因此我們可以在處理數(shù)據(jù)前暫停數(shù)據(jù)讀取，并在處理數(shù)據(jù)后繼續(xù)讀取數(shù)據(jù)。
此外，我們也可以為數(shù)據(jù)目標創(chuàng)建一個只寫數(shù)據(jù)流，如下：
var rs = fs.createReadStream(src) ;

2. 　　var ws = fs.createWriteStream(dst) ;

3. 　　rs.on('data', function (chunk) {

4. 　　ws.write(chunk);

5. 　　}) ;

6. 　　rs.on('end', function () {

7. 　　ws.end();

8. 　　}) ;

doSomething換成了往只寫數(shù)據(jù)流里寫入數(shù)據(jù)后，以上代碼看起來就像是一個文件拷貝程序了。但是以上代碼存在上邊提到的問題，如果寫入速度跟不上讀取速度的話，只寫數(shù)據(jù)流內(nèi)部的緩存會爆倉。我們可以根據(jù).write方法的返回值來判斷傳入的數(shù)據(jù)是寫入目標了，還是臨時放在了緩存了，并根據(jù)drain事件來判斷什么時候只寫數(shù)據(jù)流已經(jīng)將緩存中的數(shù)據(jù)寫入目標，可以傳入下一個待寫數(shù)據(jù)了。因此代碼如下：
var rs = fs.createReadStream(src) ;

2. 　　var ws = fs.createWriteStream(dst) ;

3. 　　rs.on('data', function (chunk) {

4. 　　if (ws.write(chunk) === false) {

5. 　　rs.pause() ;

6. 　　}

7. 　　}) ;

8. 　　rs.on('end', function () {

9. 　　ws.end();

10. 　　});

11. 　　ws.on('drain', function () {

12. 　　rs.resume();

13. 　　}) ;

最終實現(xiàn)了數(shù)據(jù)從只讀數(shù)據(jù)流到只寫數(shù)據(jù)流的搬運，并包括了防爆倉控制。因為這種使用場景很多，例如上邊的大文件拷貝程序，NodeJS直接提供了.pipe方法來做這件事情，其內(nèi)部實現(xiàn)方式與上邊的代碼類似。
下面是一個更加完整的復制文件的過程：
var fs = require('fs'),

2. 　　path = require('path'),

3. 　　out = process.stdout;

4. 　　var filePath = '/bb/bigbear.mkv';

5. 　　var readStream = fs.createReadStream(filePath);

6. 　　var writeStream = fs.createWriteStream('file.mkv');

7. 　　var stat = fs.statSync(filePath);

8. 　　var totalSize = stat.size;

9. 　　var passedLength = 0;

10. 　　var lastSize = 0;

11. 　　var startTime = Date.now();

12. 　　readStream.on('data', function(chunk) {

13. 　　passedLength += chunk.length;

14. 　　if (writeStream.write(chunk) === false) {

15. 　　readStream.pause();

16. 　　}

17. 　　});

18. 　　readStream.on('end', function() {

19. 　　writeStream.end();

20. 　　});

21. 　　writeStream.on('drain', function() {

22. 　　readStream.resume();

23. 　　});

24. 　　setTimeout(function show() {

25. 　　var percent = Math.ceil((passedLength / totalSize) * 100);

26. 　　var size = Math.ceil(passedLength / 1000000);

27. 　　var diff = size - lastSize;

28. 　　lastSize = size;

29. 　　out.clearLine();

30. 　　out.cursorTo(0);

31. 　　out.write('已完成' + size + 'MB, ' + percent + '%, 速度：' + diff * 2 +

32. 'MB/s');

33. 　　if (passedLength < totalSize) {

34. 　　setTimeout(show, 500);

35. 　　} else {

36. 　　var endTime = Date.now();

37. 　　console.log();

38. 　　console.log('共用時：' + (endTime - startTime) / 1000 + '秒。');

39. 　　}

40. 　　}, 500);

可以把上面的代碼保存為 "copy.js" 試驗一下我們添加了一個遞歸的 setTimeout (或者直接使用setInterval)來做一個旁觀者，
每500ms觀察一次完成進度，并把已完成的大小、百分比和復制速度一并寫到控制臺上，當復制完成時，計算總的耗費時間。

感謝各位的閱讀，以上就是“分析Nodejs的Stream模塊”的內(nèi)容了，經(jīng)過本文的學習后，相信大家對分析Nodejs的Stream模塊這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關知識點的文章，歡迎關注！

本文名稱：分析Nodejs的Stream模塊
分享地址：http://chinadenli.net/article26/gjeccg.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供定制網(wǎng)站、域名注冊、軟件開發(fā)、虛擬主機、靜態(tài)網(wǎng)站、微信小程序

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉載內(nèi)容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉載，或轉載時需注明來源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容

欧美一区二区三区老妇人-欧美做爰猛烈大尺度电-99久久夜色精品国产亚洲a-亚洲福利视频一区二区

分析Nodejs的Stream模塊