php 大數(shù)據(jù)處理內(nèi)存溢出

redis能不能有效要看程序能否優(yōu)化

成都創(chuàng)新互聯(lián)公司是一個(gè)技術(shù)型專業(yè)的建站公司,致力于為廣大企業(yè)、創(chuàng)業(yè)者打造切實(shí)有效的PC站、WAP站、APP站點(diǎn)等企業(yè)網(wǎng)站。無論是企業(yè)宣傳的成都營(yíng)銷網(wǎng)站建設(shè)、致力于營(yíng)銷的電商網(wǎng)站、內(nèi)容資訊分享的各行業(yè)網(wǎng)站或其他類型網(wǎng)站,我們都從網(wǎng)站前期定位分析策劃、技術(shù)架構(gòu),到網(wǎng)站界面設(shè)計(jì)、創(chuàng)意表現(xiàn)、站點(diǎn)架構(gòu)搭建以及后續(xù)訪問監(jiān)控、維護(hù)、網(wǎng)站托管運(yùn)營(yíng)反饋建議等提供整套服務(wù)。

確實(shí)需要占用大量?jī)?nèi)存的話 建議不常用的數(shù)據(jù)使用硬盤存儲(chǔ)

502 Bad Gateway nginx/1.4.6 怎么解決

遇到502問題，可以優(yōu)先考慮按照以下兩個(gè)步驟去解決。

1、查看當(dāng)前的PHP FastCGI進(jìn)程數(shù)是否夠用：

復(fù)制代碼 代碼如下:

netstat -anpo | grep "php-cgi" | wc -l

如果實(shí)際使用的“FastCGI進(jìn)程數(shù)”接近預(yù)設(shè)的“FastCGI進(jìn)程數(shù)”，那么，說明“FastCGI進(jìn)程數(shù)”不夠用，需要增大。

2、部分PHP程序的執(zhí)行時(shí)間超過了Nginx的等待時(shí)間，可以適當(dāng)增加nginx.conf配置文件中FastCGI的timeout時(shí)間，例如：

復(fù)制代碼 代碼如下:

http { fastcgi_connect_timeout 300; fastcgi_send_timeout 300; fastcgi_read_timeout 300; ...... } ......

php.ini中memory_limit設(shè)低了會(huì)出錯(cuò)，修改了php.ini的memory_limit為64M，重啟nginx，發(fā)現(xiàn)好了，原來是PHP的內(nèi)存不足了。

如果這樣修改了還解決不了問題，可以參考下面這些方案：

一、max-children和max-requests

一臺(tái)服務(wù)器上運(yùn)行著nginx php(fpm) xcache，訪問量日均 300W pv左右。

最近經(jīng)常會(huì)出現(xiàn)這樣的情況：php頁面打開很慢，cpu使用率突然降至很低，系統(tǒng)負(fù)載突然升至很高，查看網(wǎng)卡的流量，也會(huì)發(fā)現(xiàn)突然降到了很低。這種情況只持續(xù)數(shù)秒鐘就恢復(fù)了。

檢查php-fpm的日志文件發(fā)現(xiàn)了一些線索。

復(fù)制代碼 代碼如下:

Sep 30 08:32:23.289973 [NOTICE] fpm_unix_init_main(), line 271: getrlimit(nofile): max:51200, cur:51200 Sep 30 08:32:23.290212 [NOTICE] fpm_sockets_init_main(), line 371: using inherited socket fd=10, “127.0.0.1:9000″ Sep 30 08:32:23.290342 [NOTICE] fpm_event_init_main(), line 109: libevent: using epoll Sep 30 08:32:23.296426 [NOTICE] fpm_init(), line 47: fpm is running, pid 30587　

在這幾句的前面，是1000多行的關(guān)閉children和開啟children的日志。

原來，php-fpm有一個(gè)參數(shù) max_requests，該參數(shù)指明了，每個(gè)children最多處理多少個(gè)請(qǐng)求后便會(huì)被關(guān)閉，默認(rèn)的設(shè)置是500。因?yàn)閜hp是把請(qǐng)求輪詢給每個(gè) children，在大流量下，每個(gè)childre到達(dá)max_requests所用的時(shí)間都差不多，這樣就造成所有的children基本上在同一時(shí)間 被關(guān)閉。

在這期間，nginx無法將php文件轉(zhuǎn)交給php-fpm處理，所以cpu會(huì)降至很低(不用處理php，更不用執(zhí)行sql)，而負(fù)載會(huì)升至很高(關(guān)閉和開啟children、nginx等待php-fpm)，網(wǎng)卡流量也降至很低(nginx無法生成數(shù)據(jù)傳輸給客戶端)

解決問題很簡(jiǎn)單，增加children的數(shù)量，并且將 max_requests 設(shè)置未 0 或者一個(gè)比較大的值：

打開 /usr/local/php/etc/php-fpm.conf調(diào)大以下兩個(gè)參數(shù)(根據(jù)服務(wù)器實(shí)際情況，過大也不行）

復(fù)制代碼 代碼如下:

value5120/valuevalue600/value

然后重啟php-fpm。

二、增加緩沖區(qū)容量大小

將nginx的error log打開，發(fā)現(xiàn)“pstream sent too big header while reading response header from upstream”這樣的錯(cuò)誤提示。查閱了一下資料，大意是nginx緩沖區(qū)有一個(gè)bug造成的,我們網(wǎng)站的頁面消耗占用緩沖區(qū)可能過大。參考老外寫的修 改辦法增加了緩沖區(qū)容量大小設(shè)置，502問題徹底解決。后來系統(tǒng)管理員又對(duì)參數(shù)做了調(diào)整只保留了2個(gè)設(shè)置參數(shù)：client head buffer，fastcgi buffer size。

三、request_terminate_timeout

如果主要是在一些post或者數(shù)據(jù)庫(kù)操作的時(shí)候出現(xiàn)502這種情況，而不是在靜態(tài)頁面操作中常見，那么可以查看一下php-fpm.conf設(shè)置中的一項(xiàng)：

request_terminate_timeout

這個(gè)值是max_execution_time，就是fast-cgi的執(zhí)行腳本時(shí)間。

0s

0s為關(guān)閉，就是無限執(zhí)行下去。（當(dāng)時(shí)裝的時(shí)候沒仔細(xì)看就改了一個(gè)數(shù)字）問題解決了，執(zhí)行很長(zhǎng)時(shí)間也不會(huì)出錯(cuò)了。優(yōu)化fastcgi中，還可以改改這個(gè)值5s 看看效果。

php-cgi進(jìn)程數(shù)不夠用、php執(zhí)行時(shí)間長(zhǎng)、或者是php-cgi進(jìn)程死掉，都會(huì)出現(xiàn)502錯(cuò)誤。Nginx 502 Bad Gateway錯(cuò)誤的解決辦法2

今天，我的VPS頻繁提示Nginx 502 Bad Gateway錯(cuò)誤了，重啟了VPS解決之后又出現(xiàn)，很煩。有點(diǎn)想不通，前兩天網(wǎng)站達(dá)到了1290的訪問量都沒有出什么問題，怎么這次就出現(xiàn)了502 Bad Gateway？郁悶?。。?！在搜索了很久，終于找到了不少相關(guān)的答案，希望修改之后不會(huì)再出現(xiàn)這個(gè)錯(cuò)誤了。唉，既然在網(wǎng)上找了那么久的答案，那當(dāng)然得把有用的東西記錄下，免得我下次再去谷歌~

由于我是采用了LNMP一鍵安裝包 ，出了問題肯定要先到官方論壇去搜索下了，真好，官方有個(gè)這樣的置頂帖，大家先瞧瞧。

LNMP一鍵安裝包官方的：

第一種原因：目前l(fā)nmp一鍵安裝包比較多的問題就是502 Bad Gateway，大部分情況下原因是在安裝php前，腳本中某些lib包可能沒有安裝上，造成php沒有編譯安裝成功。解決辦法：可以嘗試根據(jù)lnmp一鍵安裝包中的腳本手動(dòng)安裝一下，看看是什么錯(cuò)誤導(dǎo)致的。

第二種原因：

在php.ini里，eaccelerator配置項(xiàng)一定要放在Zend Optimizer配置之前，否則也可能引起502 Bad Gateway

第三種原因：

在安裝好使用過程中出現(xiàn)502問題，一般是因?yàn)槟J(rèn)php-cgi進(jìn)程是5個(gè)，可能因?yàn)閜hpcgi進(jìn)程不夠用而造成502，需要修改/usr/local/php/etc/php-fpm.conf 將其中的max_children值適當(dāng)增加。

第四種原因：

php執(zhí)行超時(shí)，修改/usr/local/php/etc/php.ini 將max_execution_time 改為300

第五種原因：

磁盤空間不足，如mysql日志占用大量空間

第六種原因：

查看php-cgi進(jìn)程是否在運(yùn)行

也有網(wǎng)友給出了另外的解決辦法：

Nginx 502 Bad Gateway的含義是請(qǐng)求的PHP-CGI已經(jīng)執(zhí)行，但是由于某種原因（一般是讀取資源的問題）沒有執(zhí)行完畢而導(dǎo)致PHP-CGI進(jìn)程終止，一般來說Nginx 502 Bad Gateway和php-fpm.conf的設(shè)置有關(guān)。

php-fpm.conf有兩個(gè)至關(guān)重要的參數(shù)，一個(gè)是max_children，另一個(gè)是request_terminate_timeout，但是這個(gè)值不是通用的，而是需要自己計(jì)算的。在安裝好使用過程中出現(xiàn)502問題，一般是因?yàn)槟J(rèn)php-cgi進(jìn)程是5個(gè)，可能因?yàn)閜hpcgi進(jìn)程不夠用而造成502，需要修改/usr/local/php/etc/php-fpm.conf 將其中的max_children值適當(dāng)增加。

計(jì)算的方式如下：

如果你的服務(wù)器性能足夠好，且寬帶資源足夠充足，PHP腳本沒有系循環(huán)或BUG的話你可以直接將 request_terminate_timeout設(shè)置成0s。0s的含義是讓PHP-CGI一直執(zhí)行下去而沒有時(shí)間限制。而如果你做不到這一點(diǎn)，也就 是說你的PHP-CGI可能出現(xiàn)某個(gè)BUG，或者你的寬帶不夠充足或者其他的原因?qū)е履愕腜HP-CGI假死那么就建議你給 request_terminate_timeout賦一個(gè)值，這個(gè)值可以根據(jù)服務(wù)器的性能進(jìn)行設(shè)定。一般來說性能越好你可以設(shè)置越高，20分鐘-30分 鐘都可以。而max_children這個(gè)值又是怎么計(jì)算出來的呢？這個(gè)值原則上是越大越好，php-cgi的進(jìn)程多了就會(huì)處理的很快，排隊(duì)的請(qǐng)求就會(huì)很少。 設(shè)置max_children也需要根據(jù)服務(wù)器的性能進(jìn)行設(shè)定，一般來說一臺(tái)服務(wù)器正常情況下每一個(gè)php-cgi所耗費(fèi)的內(nèi)存在20M左右。

按照官方的答案，排查了相關(guān)的可能，并結(jié)合了網(wǎng)友的答案，得出了下面的解決辦法。

1、查看php fastcgi的進(jìn)程數(shù)（max_children值）

代碼：netstat -anpo | grep “php-cgi” | wc -l

5（假如顯示5）

2、查看當(dāng)前進(jìn)程

代碼：top觀察fastcgi進(jìn)程數(shù),假如使用的進(jìn)程數(shù)等于或高于5個(gè)，說明需要增加（根據(jù)你機(jī)器實(shí)際狀況而定）

3、調(diào)整/usr/local/php/etc/php-fpm.conf 的相關(guān)設(shè)置

value name=”max_children”10/valuevalue name=”request_terminate_timeout”60s/valuemax_children最多10個(gè)進(jìn)程，按照每個(gè)進(jìn)程20MB內(nèi)存，最多200MB。request_terminate_timeout執(zhí)行的時(shí)間為60秒，也就是1分鐘。

如何解決PHP查詢大量數(shù)據(jù)內(nèi)存耗盡的問題

這個(gè)問題在PHP的官方網(wǎng)站上叫緩沖查詢和非緩沖查詢(Buffered and Unbuffered queries)。PHP的查詢?nèi)笔∧Ｊ绞蔷彌_模式。也就是說，查詢數(shù)據(jù)結(jié)果會(huì)一次全部提取到內(nèi)存里供PHP程序處理。這樣給了PHP程序額外的功能，比如說，計(jì)算行數(shù)，將指針指向某一行等。更重要的是程序可以對(duì)數(shù)據(jù)集反復(fù)進(jìn)行二次查詢和過濾等操作。但這種緩沖查詢模式的缺陷就是消耗內(nèi)存，也就是用空間換速度。

相對(duì)的，另外一種PHP查詢模式是非緩沖查詢，數(shù)據(jù)庫(kù)服務(wù)器會(huì)一條一條的返回?cái)?shù)據(jù)，而不是一次全部返回，這樣的結(jié)果就是PHP程序消耗較少的內(nèi)存，但卻增加了數(shù)據(jù)庫(kù)服務(wù)器的壓力，因?yàn)閿?shù)據(jù)庫(kù)會(huì)一直等待PHP來取數(shù)據(jù)，一直到數(shù)據(jù)全部取完。

很顯然，緩沖查詢模式適用于小數(shù)據(jù)量查詢，而非緩沖查詢適應(yīng)于大數(shù)據(jù)量查詢。

如何解決處理大數(shù)據(jù)的時(shí)候的內(nèi)存不足

這個(gè)是手機(jī)的運(yùn)行內(nèi)存不足，是手機(jī)的機(jī)身內(nèi)存幫助。

造成這樣的原因；

1，手機(jī)后臺(tái)運(yùn)行的程序太多，手機(jī)只要運(yùn)行程序就會(huì)占用手機(jī)的內(nèi)存的，可以用手機(jī)上的軟件設(shè)置軟件自啟的功能限制軟件啟動(dòng)就可以了。

2，手機(jī)上網(wǎng)的時(shí)候會(huì)緩存手機(jī)的垃圾信息等等，會(huì)占用手機(jī)的內(nèi)存。

你可以用騰訊手機(jī)管家經(jīng)常的清理手機(jī)里面的垃圾就可以了，可以節(jié)約手機(jī)的內(nèi)存，還有小火箭一鍵加速的功能。

使用PHPExcel讀取大文件（20M左右）時(shí)，報(bào)內(nèi)存不足。

這個(gè)報(bào)錯(cuò)不是PHPExcel報(bào)的錯(cuò)，而是php本身報(bào)的，原因大概就是因?yàn)槟阕x取的文件超過了php單次請(qǐng)求運(yùn)算占有的內(nèi)存值的最大值。所以光設(shè)置PHPExcel是不行的

解決辦法有三個(gè)：

1，修改 php.ini 中 memory_limit的值，重啟apache服務(wù)

2，在你讀取文件的頁面頭部加入 ini_set(”memory_limit”,”100M”); （-1為不限）

3，修改.htaccess 文檔，在文檔中加上一句：php_value memory_limit 16M(或更大)

新聞名稱：php大數(shù)據(jù)內(nèi)存不足 php大數(shù)據(jù)內(nèi)存不足怎么辦
URL標(biāo)題：http://chinadenli.net/article38/dodicpp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供App開發(fā)、網(wǎng)站策劃、虛擬主機(jī)、響應(yīng)式網(wǎng)站、手機(jī)網(wǎng)站建設(shè)、網(wǎng)站營(yíng)銷

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)