php處理字節(jié)流

字節(jié)流是由字節(jié)組成的,

專注于為中小企業(yè)提供成都網(wǎng)站制作、成都網(wǎng)站建設服務,電腦端+手機端+微信端的三站合一,更高效的管理,為中小企業(yè)固原免費做網(wǎng)站提供優(yōu)質(zhì)的服務。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動了上1000+企業(yè)的穩(wěn)健成長，幫助中小企業(yè)通過網(wǎng)站建設實現(xiàn)規(guī)模擴充和轉(zhuǎn)變。

字節(jié)流是最基本的，所有的InputStrem和OutputStream的子類都是，主要用在處理二進制數(shù)據(jù)，它是按字節(jié)來處理的

字符流和字節(jié)流都是什么

流就是stream. 一個連續(xù)的字節(jié)隊列。

流是程序輸入或輸出的一個連續(xù)的字節(jié)序列，設備（例如鼠標，鍵盤，磁盤，屏幕和打印機）的輸入和輸出都是用流來處理的。在C語言中，所有的流均以文件的形式出現(xiàn)---不一定是物理磁盤文件，還可以是對應與某個輸入/輸出源的邏輯文件

流(streams)在I/O系統(tǒng)中是一種I/O機制和功能，或者稱為streams子系統(tǒng)。它本身并不是一個物理設備的概念。

引入流的目的：

傳統(tǒng)的字符設備驅(qū)動程序框架有許多缺點，這表現(xiàn)在：

。內(nèi)核與字符設備驅(qū)動程序間接口的抽象層次太高

。內(nèi)核沒有為字符設備提供可靠的緩沖區(qū)分配和管理功能

。許多系統(tǒng)對字符設備的界面是把數(shù)據(jù)看成是FIFO（先進先出）的字節(jié)流，因此沒有識別消息邊界，區(qū)分普通設備和控制信息，以及判定不同消息優(yōu)先級的能力，也沒有字節(jié)流流量控制

。在網(wǎng)絡數(shù)據(jù)傳輸設備中這些問題更突出。網(wǎng)絡中數(shù)據(jù)傳輸是基于消息或數(shù)據(jù)分組的。

流的概念：

用通訊中的術(shù)語來說，流是全雙工的處理過程，它是內(nèi)核中驅(qū)動程序和用戶進程之間的數(shù)據(jù)傳輸通道。

從流的構(gòu)造上來說，它由一個流頭，一個流驅(qū)動程序尾，以及其間的零個或若干個可選模塊構(gòu)成 。流頭是一個用戶級接口，它允許用戶應用程序通過系統(tǒng)調(diào)用接口來訪問流。驅(qū)動程序尾與底層設備通信。在流的中間的模塊是處理數(shù)據(jù)的。

字節(jié)流與字符流主要的區(qū)別是他們的的處理對象

字節(jié)流是由字節(jié)組成的,字符流是由字符組成的. Java里字符由兩個字節(jié)組成.

字節(jié)流是最基本的，所有的InputStrem和OutputStream的子類都是，主要用在處理二進制數(shù)據(jù)，它是按字節(jié)來處理的

但實際中很多的數(shù)據(jù)是文本，又提出了字符流的概念，它是按虛擬機的encode來處理，也就是要進行字符集的轉(zhuǎn)化。在從字節(jié)流轉(zhuǎn)化為字符流時，實際上就是byte[]轉(zhuǎn)化為String時，

public String(byte bytes[]， String charsetName)

有一個關鍵的參數(shù)字符集編碼，通常我們都省略了，那系統(tǒng)就用操作系統(tǒng)默認的lang

流式傳輸主要指將整個音頻和視頻及三維媒體等多媒體文件經(jīng)過特定的壓縮方式解析成一個個壓縮包，由視頻服務器向用戶計算機順序或?qū)崟r傳送。在采用流式傳輸方式的系統(tǒng)中，用戶不必像采用下載方式那樣等到整個文件全部下載完畢，而是只需經(jīng)過幾秒或幾十秒的啟動延時即可在用戶的計算機上利用解壓設備對壓縮的A/V、3D等多媒體文件解壓后進行播放和觀看。此時多媒體文件的剩余部分將在后臺的服務器內(nèi)繼續(xù)下載。

求 php 循環(huán)執(zhí)行大量數(shù)據(jù) 解決辦法。

你用網(wǎng)頁的方式，讓人點擊，服務器采集，簡直是弱爆了。每個人的點擊循環(huán)1000次，來個100人同時點，你要用的是普通的虛擬機就不行了。

最好是換種方式實現(xiàn)，不要通過網(wǎng)頁進行采集。

可以非常簡單的在數(shù)據(jù)庫的表，創(chuàng)建一個采集隊列，后臺執(zhí)行一個crontab的計劃任務，去完成隊列里的采集任務。

在PHP中怎么解決大量數(shù)據(jù)處理的問題

mysql_query函數(shù)查詢的方式是查詢出全部結(jié)果后緩存到內(nèi)存中，這樣就會出現(xiàn)超內(nèi)存的現(xiàn)象，使用另外一個函數(shù)mysql_unbuffered_query可以解決這個問題，mysql_unbuffered_query不會緩存結(jié)果集，而是查詢出來數(shù)據(jù)后立馬對結(jié)果集進行操作，也就是便查詢邊返回，這樣就不會出現(xiàn)超出內(nèi)存的現(xiàn)象，但是使用mysql_unbuffered_query的是時候不能使用 mysql_num_rows() 和 mysql_data_seek()。并且向 MySQL 發(fā)送一條新的 SQL 查詢之前，必須提取掉所有未緩存的 SQL 查詢所產(chǎn)生的結(jié)果行。例如：

使用緩存結(jié)果集的代碼：

function selecttest()

{

try {

$pdo = new PDO("mysql:host=localhost;dbname=test", 'root', '123456');

// 不使用緩存結(jié)果集方式

// $pdo-setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);

$sth = $pdo-prepare('select * from test');

$sth-execute();

echo '最初占用內(nèi)存大小：' . memory_get_usage() . "\n";

$i = 0;

while ($result = $sth-fetch(PDO::FETCH_ASSOC)) {

$i += 1;

if ($i 10) {

break;

}

sleep(1);

print_r($result);

echo '占用內(nèi)存大小：' . memory_get_usage() . "\n";

}

} catch (Exception $e) {

echo $e-getMessage();

}

}

執(zhí)行時將會報超出內(nèi)存的錯誤：

Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 204800000 bytes) in E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php on line 56

Call Stack:

0.0005 135392 1. {main}() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:0

0.0005 135568 2. test-selecttest() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:85

0.0050 142528 3. PDOStatement-execute() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:56

將上面代碼中的$pdo-setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);一行的注釋去掉后將不在緩存結(jié)果集，這時運行該函數(shù)的結(jié)果如下：

最初占用內(nèi)存大小：144808

Array

(

[id] = 1

[a] = v

[b] = w

[c] = i

)

占用內(nèi)存大小：145544

Array

(

[id] = 2

[a] = b

[b] = l

[c] = q

)

占用內(nèi)存大小：145544

Array

(

[id] = 3

[a] = m

[b] = p

[c] = h

)

占用內(nèi)存大小：145536

Array

(

[id] = 4

[a] = j

[b] = i

[c] = b

)

占用內(nèi)存大小：145536

可以看到，這時返回一條數(shù)據(jù)內(nèi)存占用非常的小，也就700多字節(jié)，這樣就不會出現(xiàn)超出內(nèi)存的錯誤了。

php處理大量數(shù)據(jù)時，運行到一定時間就中斷了，請問如何解決

php處理數(shù)據(jù)時會有一個等待時間，就是所說的超時時間，而且如果使用mysql的話，它也有一個超時時間，運行一串代碼時間如果超過配置文件的時間，會被中斷不運行。第一種你可以修改php配置文件timeout的運行時間，第二你可以分批處理大量數(shù)據(jù)，注意是分批處理，就OK了。

PHP如何解決網(wǎng)站的大數(shù)據(jù)大流量與高并發(fā)

使用緩存，比如memcache,redis,因為它們是在內(nèi)存中運行，所以處理數(shù)據(jù)，返回數(shù)據(jù)非常快，所以可以應對高并發(fā)。

2.增加帶寬和機器性能，1M的帶寬同時處理的流量肯定有限，所以在資源允許的情況下，大帶寬，多核cpu,高內(nèi)存是一個解決方案。

3.分布式，讓多個訪問分到不同的機器上去處理，每個機器處理的請求就相對減少了。

簡單說些常用技術(shù)，負載均衡，限流，加速器等

PHP流（Stream）的概述與使用詳解

在現(xiàn)代 PHP 特性中，流或許是最出色但使用率最低的。雖然 PHP 4.3 就引入了流，但是很多開發(fā)者并不知道流的存在，因為人們很少提及流，而且流的文檔也很匱乏。PHP 官方文檔對流的解釋如下：

可能看完這段解釋后還是云里霧里，我們簡化一下，流的作用是在出發(fā)地和目的地之間傳輸數(shù)據(jù)。出發(fā)地和目的地可以是文件、命令行進程、網(wǎng)絡連接、ZIP 或 TAR 壓縮文件、臨時內(nèi)存、標準輸入或輸出，或者是通過 PHP 流封裝協(xié)議實現(xiàn)的任何其他資源。

如果你讀寫過文件，就用過流；如果你從 php://stdin 讀取過數(shù)據(jù)，或者把輸入寫入 php://stdout ，也用過流。流為 PHP 的很多 IO 函數(shù)提供了底層實現(xiàn)，如 file_get_contents、fopn、fread 和 fwrite 等。PHP 的流函數(shù)提供了不同資源的統(tǒng)一接口。

我們可以把流比作管道，把水（資源數(shù)據(jù)）從一個地方引到另一個地方。在水從出發(fā)地到目的地的過程中，我們可以過濾水，可以改變水質(zhì)，可以添加水，也可以排出水。

流式數(shù)據(jù)的種類各異，每種類型需要獨特的協(xié)議，以便讀寫數(shù)據(jù)，我們稱這些協(xié)議為 流封裝協(xié)議 。例如，我們可以讀寫文件系統(tǒng)，可以通過 HTTP、HTTPS 或 SSH 與遠程 Web 服務器通信，還可以打開并讀寫 ZIP、RAR 或 PHAR 壓縮文件。這些通信方式都包含下述相同的過程：

1.開始通信

2.讀取數(shù)據(jù)

3.寫入數(shù)據(jù)

4.結(jié)束通信

雖然過程是一樣的，但是讀寫文件系統(tǒng)中文件的方式與收發(fā) HTTP 消息的方式有所不同，流封裝協(xié)議的作用是使用通用的接口封裝這種差異。

每個流都有一個協(xié)議和一個目標。指定協(xié)議和目標的方法是使用流標識符：scheme://target，其中 scheme 是流的封裝協(xié)議，target 是流的數(shù)據(jù)源。

http://流封裝協(xié)議

下面使用 HTTP 流封裝協(xié)議創(chuàng)建了一個與 Flicker API 通信的 PHP 流：

不要以為這是普通的網(wǎng)頁 URL，file_get_contents() 函數(shù)的字符串參數(shù)其實是一個流標識符。http 協(xié)議會讓 PHP 使用 HTTP 流封裝協(xié)議，在這個參數(shù)中，http 之后是流的目標。

我們通常使用 file_get_contents()、fopen()、fwrite() 和 fclose() 等函數(shù)讀寫文件系統(tǒng)，因為 PHP 默認使用的流封裝協(xié)議是 file://，所以我們很少認為這些函數(shù)使用的是 PHP 流。下面的示例演示了使用 file:// 流封裝協(xié)議創(chuàng)建一個讀寫 /etc/hosts 文件的流：

我們通常會省略掉 file:// 協(xié)議，因為這是 PHP 使用的默認值。

php://流封裝協(xié)議

編寫命令行腳本的 PHP 開發(fā)者會感激 php:// 流封裝協(xié)議，這個流封裝協(xié)議的作用是與 PHP 腳本的標準輸入、標準輸出和標準錯誤文件描述符通信。我們可以使用 PHP 提供的文件系統(tǒng)函數(shù)打開、讀取或?qū)懭胂旅嫠膫€流：

1. php://stdin ：這是個只讀 PHP 流，其中的數(shù)據(jù)來自標準輸入。PHP 腳本可以使用這個流接收命令行傳入腳本的信息；

2. php://stdout ：把數(shù)據(jù)寫入當前的輸出緩沖區(qū)，這個流只能寫，無法讀或?qū)ぶ罚?/p>

3. php://memory ：從系統(tǒng)內(nèi)存中讀取數(shù)據(jù)，或者把數(shù)據(jù)寫入系統(tǒng)內(nèi)存。缺點是系統(tǒng)內(nèi)存有限，所有使用 php://temp 更安全；

4. php://temp ：和 php://memory 類似，不過，沒有可用內(nèi)存時，PHP 會把數(shù)據(jù)寫入這個臨時文件。

其他流封裝協(xié)議

PHP 和 PHP 擴展還提供了很多其他流封裝協(xié)議，例如，與 ZIP 和 TAR 壓縮文件、FTP 服務器、數(shù)據(jù)壓縮庫、Amazon API、Dropbox API 等通信的流封裝協(xié)議。需要注意的是，PHP 中的 fopen()、fgets()、fputs()、feof() 以及 fclose() 等函數(shù)不僅可以用來處理文件系統(tǒng)中的文件，還可以在所有支持這些函數(shù)的流封裝協(xié)議中使用。

自定義流封裝協(xié)議

我們還可以自己編寫 PHP 流封裝協(xié)議。PHP 提供了一個示例 StreamWrapper 類，演示如何編寫自定義的流封裝協(xié)議，支持部分或全部 PHP 文件系統(tǒng)函數(shù)。關于如何編寫，具體請參考以下文檔：

有些 PHP 流能夠接受一系列可選的參數(shù)，這些參數(shù)叫流上下文，用于定制流的行為。不同的流封裝協(xié)議使用的流上下文有所不同，流上下文使用 stream_context_create() 函數(shù)創(chuàng)建，這個函數(shù)返回的上下文對象可以傳入大多數(shù)文件系統(tǒng)函數(shù)。

例如，你知道可以使用 file_get_contents() 發(fā)送 HTTP POST 請求嗎？使用一個流上下文對象即可實現(xiàn)：

流過濾器

目前為止我們討論了如何打開流，讀取流中的數(shù)據(jù)，以及把數(shù)據(jù)寫入流。不過，PHP 流真正強大的地方在于過濾、轉(zhuǎn)換、添加或刪除流中傳輸?shù)臄?shù)據(jù)，例如，我們可以打開一個流處理 Markdown 文件，在把文件內(nèi)容讀入內(nèi)存的過程中自動將其轉(zhuǎn)化為 HTML。

運行該腳本，輸出的都是大寫字母：

我們還可以使用 php://filter 流封裝協(xié)議把過濾器附加到流上，不過，使用這種方式之前必須先打開 PHP 流：

這個方式實現(xiàn)效果和 stream_filter_append() 函數(shù)一樣，但是相比之下更為繁瑣。不過，PHP 的某些文件系統(tǒng)函數(shù)在調(diào)用后無法附加過濾器，例如 file() 和 fpassthru()，使用這些函數(shù)時只能使用 php://filter 流封裝協(xié)議附加流過濾器。

自定義流過濾器

我們還可以編寫自定義的流過濾器。其實，大多數(shù)情況下都要使用自定義的流過濾器，自定義的流過濾器是個 PHP 類，繼承內(nèi)置的 php_user_filter 類（ ），且必須實現(xiàn) filter()、onCreate() 和 onClose() 方法，最后，必須使用 stream_filter_register() 函數(shù)注冊自定義的流過濾器。

然后，我們必須使用 stream_filter_register() 函數(shù)注冊這個自定義的 DirtyWordsFilter 流過濾器：

第一個參數(shù)用于標識這個自定義過濾器的過濾器名，第二個參數(shù)是這個自定義過濾器的類名。接下來就可以使用這個自定義的流過濾器了：

修改 test.txt 內(nèi)容如下：

運行上面的自定義過濾器腳本，結(jié)果如下：

stream_bucket_append函數(shù)：為隊列添加數(shù)據(jù)　

stream_bucket_make_writeable函數(shù)：從操作的隊列中返回一個數(shù)據(jù)對象

stream_bucket_new函數(shù)：為當前隊列創(chuàng)建一個新的數(shù)據(jù)

stream_bucket_prepend函數(shù)：預備數(shù)據(jù)到隊列　

stream_context_create函數(shù)：創(chuàng)建數(shù)據(jù)流上下文

stream_context_get_default函數(shù)：獲取默認的數(shù)據(jù)流上下文

stream_context_get_options函數(shù)：獲取數(shù)據(jù)流的設置

stream_context_set_option函數(shù)：對數(shù)據(jù)流、數(shù)據(jù)包或者上下文進行設置

stream_context_set_params函數(shù)：為數(shù)據(jù)流、數(shù)據(jù)包或者上下文設置參數(shù)

stream_copy_to_stream函數(shù)：在數(shù)據(jù)流之間進行復制操作

stream_filter_append函數(shù)：為數(shù)據(jù)流添加過濾器

stream_filter_prepend函數(shù)：為數(shù)據(jù)流預備添加過濾器

stream_filter_register函數(shù)：注冊一個數(shù)據(jù)流的過濾器并作為PHP類執(zhí)行

stream_filter_remove函數(shù)：從一個數(shù)據(jù)流中移除過濾器

stream_get_contents函數(shù)：讀取數(shù)據(jù)流中的剩余數(shù)據(jù)到字符串

stream_get_filters函數(shù)：返回已經(jīng)注冊的數(shù)據(jù)流過濾器列表

stream_get_line函數(shù)：按照給定的定界符從數(shù)據(jù)流資源中獲取行

stream_get_meta_data函數(shù)：從封裝協(xié)議文件指針中獲取報頭/元數(shù)據(jù)

stream_get_transports函數(shù)：返回注冊的Socket傳輸列表

stream_get_wrappers函數(shù)：返回注冊的數(shù)據(jù)流列表

stream_register_wrapper函數(shù)：注冊一個用PHP類實現(xiàn)的URL封裝協(xié)議

stream_select函數(shù)：接收數(shù)據(jù)流數(shù)組并等待它們狀態(tài)的改變

stream_set_blocking函數(shù)：將一個數(shù)據(jù)流設置為堵塞或者非堵塞狀態(tài)

stream_set_timeout函數(shù)：對數(shù)據(jù)流進行超時設置

stream_set_write_buffer函數(shù)：為數(shù)據(jù)流設置緩沖區(qū)

stream_socket_accept函數(shù)：接受由函數(shù)stream_ socket_server()創(chuàng)建的Socket連接

stream_socket_client函數(shù)：打開網(wǎng)絡或者UNIX主機的Socket連接

stream_socket_enable_crypto函數(shù)：為一個已經(jīng)連接的Socket打開或者關閉數(shù)據(jù)加密

stream_socket_get_name函數(shù)：獲取本地或者網(wǎng)絡Socket的名稱

stream_socket_pair函數(shù)：創(chuàng)建兩個無區(qū)別的Socket數(shù)據(jù)流連接

stream_socket_recvfrom函數(shù)：從Socket獲取數(shù)據(jù)，不管其連接與否

stream_socket_sendto函數(shù)：向Socket發(fā)送數(shù)據(jù)，不管其連接與否

stream_socket_server函數(shù)：創(chuàng)建一個網(wǎng)絡或者UNIX Socket服務端

stream_wrapper_restore函數(shù)：恢復一個事先注銷的數(shù)據(jù)包

stream_wrapper_unregister函數(shù)：注銷一個URL地址包

整合資料

本文整合于以下兩篇文章

網(wǎng)站標題：php不間斷處理數(shù)據(jù)流,php 數(shù)據(jù)流
網(wǎng)頁鏈接：http://chinadenli.net/article33/dsepsss.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供靜態(tài)網(wǎng)站、網(wǎng)站內(nèi)鏈、小程序開發(fā)、企業(yè)網(wǎng)站制作、面包屑導航、網(wǎng)站策劃

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)