如何解決PHP查詢大量數(shù)據(jù)內(nèi)存耗盡的問(wèn)題

這個(gè)問(wèn)題在PHP的官方網(wǎng)站上叫緩沖查詢和非緩沖查詢(Buffered and Unbuffered queries)。PHP的查詢?nèi)笔∧Ｊ绞蔷彌_模式。也就是說(shuō)，查詢數(shù)據(jù)結(jié)果會(huì)一次全部提取到內(nèi)存里供PHP程序處理。這樣給了PHP程序額外的功能，比如說(shuō)，計(jì)算行數(shù)，將指針指向某一行等。更重要的是程序可以對(duì)數(shù)據(jù)集反復(fù)進(jìn)行二次查詢和過(guò)濾等操作。但這種緩沖查詢模式的缺陷就是消耗內(nèi)存，也就是用空間換速度。

創(chuàng)新互聯(lián)服務(wù)項(xiàng)目包括正藍(lán)網(wǎng)站建設(shè)、正藍(lán)網(wǎng)站制作、正藍(lán)網(wǎng)頁(yè)制作以及正藍(lán)網(wǎng)絡(luò)營(yíng)銷(xiāo)策劃等。多年來(lái)，我們專(zhuān)注于互聯(lián)網(wǎng)行業(yè)，利用自身積累的技術(shù)優(yōu)勢(shì)、行業(yè)經(jīng)驗(yàn)、深度合作伙伴關(guān)系等，向廣大中小型企業(yè)、政府機(jī)構(gòu)等提供互聯(lián)網(wǎng)行業(yè)的解決方案，正藍(lán)網(wǎng)站推廣取得了明顯的社會(huì)效益與經(jīng)濟(jì)效益。目前，我們服務(wù)的客戶以成都為中心已經(jīng)輻射到正藍(lán)省份的部分城市，未來(lái)相信會(huì)繼續(xù)擴(kuò)大服務(wù)區(qū)域并繼續(xù)獲得客戶的支持與信任！

相對(duì)的，另外一種PHP查詢模式是非緩沖查詢，數(shù)據(jù)庫(kù)服務(wù)器會(huì)一條一條的返回?cái)?shù)據(jù)，而不是一次全部返回，這樣的結(jié)果就是PHP程序消耗較少的內(nèi)存，但卻增加了數(shù)據(jù)庫(kù)服務(wù)器的壓力，因?yàn)閿?shù)據(jù)庫(kù)會(huì)一直等待PHP來(lái)取數(shù)據(jù)，一直到數(shù)據(jù)全部取完。

很顯然，緩沖查詢模式適用于小數(shù)據(jù)量查詢，而非緩沖查詢適應(yīng)于大數(shù)據(jù)量查詢。

在PHP中怎么解決大量數(shù)據(jù)處理的問(wèn)題

mysql_query函數(shù)查詢的方式是查詢出全部結(jié)果后緩存到內(nèi)存中，這樣就會(huì)出現(xiàn)超內(nèi)存的現(xiàn)象，使用另外一個(gè)函數(shù)mysql_unbuffered_query可以解決這個(gè)問(wèn)題，mysql_unbuffered_query不會(huì)緩存結(jié)果集，而是查詢出來(lái)數(shù)據(jù)后立馬對(duì)結(jié)果集進(jìn)行操作，也就是便查詢邊返回，這樣就不會(huì)出現(xiàn)超出內(nèi)存的現(xiàn)象，但是使用mysql_unbuffered_query的是時(shí)候不能使用 mysql_num_rows() 和 mysql_data_seek()。并且向 MySQL 發(fā)送一條新的 SQL 查詢之前，必須提取掉所有未緩存的 SQL 查詢所產(chǎn)生的結(jié)果行。例如：

使用緩存結(jié)果集的代碼：

function selecttest()

{

try {

$pdo = new PDO("mysql:host=localhost;dbname=test", 'root', '123456');

// 不使用緩存結(jié)果集方式

// $pdo-setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);

$sth = $pdo-prepare('select * from test');

$sth-execute();

echo '最初占用內(nèi)存大小：' . memory_get_usage() . "\n";

$i = 0;

while ($result = $sth-fetch(PDO::FETCH_ASSOC)) {

$i += 1;

if ($i 10) {

break;

}

sleep(1);

print_r($result);

echo '占用內(nèi)存大小：' . memory_get_usage() . "\n";

}

} catch (Exception $e) {

echo $e-getMessage();

}

}

執(zhí)行時(shí)將會(huì)報(bào)超出內(nèi)存的錯(cuò)誤：

Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 204800000 bytes) in E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php on line 56

Call Stack:

0.0005 135392 1. {main}() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:0

0.0005 135568 2. test-selecttest() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:85

0.0050 142528 3. PDOStatement-execute() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:56

將上面代碼中的$pdo-setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);一行的注釋去掉后將不在緩存結(jié)果集，這時(shí)運(yùn)行該函數(shù)的結(jié)果如下：

最初占用內(nèi)存大小：144808

Array

(

[id] = 1

[a] = v

[b] = w

[c] = i

)

占用內(nèi)存大小：145544

Array

(

[id] = 2

[a] = b

[b] = l

[c] = q

)

占用內(nèi)存大小：145544

Array

(

[id] = 3

[a] = m

[b] = p

[c] = h

)

占用內(nèi)存大小：145536

Array

(

[id] = 4

[a] = j

[b] = i

[c] = b

)

占用內(nèi)存大小：145536

可以看到，這時(shí)返回一條數(shù)據(jù)內(nèi)存占用非常的小，也就700多字節(jié)，這樣就不會(huì)出現(xiàn)超出內(nèi)存的錯(cuò)誤了。

PHP如何解決網(wǎng)站的大數(shù)據(jù)大流量與高并發(fā)

使用緩存，比如memcache,redis,因?yàn)樗鼈兪窃趦?nèi)存中運(yùn)行，所以處理數(shù)據(jù)，返回?cái)?shù)據(jù)非常快，所以可以應(yīng)對(duì)高并發(fā)。

2.增加帶寬和機(jī)器性能，1M的帶寬同時(shí)處理的流量肯定有限，所以在資源允許的情況下，大帶寬，多核cpu,高內(nèi)存是一個(gè)解決方案。

3.分布式，讓多個(gè)訪問(wèn)分到不同的機(jī)器上去處理，每個(gè)機(jī)器處理的請(qǐng)求就相對(duì)減少了。

簡(jiǎn)單說(shuō)些常用技術(shù)，負(fù)載均衡，限流，加速器等

PHP-大數(shù)據(jù)量怎么處理優(yōu)化

大數(shù)據(jù)的話可以進(jìn)行以下操作：

減少對(duì)數(shù)據(jù)庫(kù)的讀取，也就是減少調(diào)用數(shù)據(jù)庫(kù)，

進(jìn)行數(shù)據(jù)緩存，

利用數(shù)據(jù)庫(kù)的自身優(yōu)化技術(shù)，如索引等

精確查詢條件，有利于提高查找速度

新聞名稱：php如何解決讀取大數(shù)據(jù) php如何解決讀取大數(shù)據(jù)的問(wèn)題
文章位置：http://chinadenli.net/article18/dojgodp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站導(dǎo)航、靜態(tài)網(wǎng)站、外貿(mào)建站、App開(kāi)發(fā)、做網(wǎng)站、動(dòng)態(tài)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)