php采集大數(shù)據(jù)的方案

1、建議你讀寫數(shù)據(jù)和下載圖片分開，各用不同的進(jìn)程完成。

創(chuàng)新互聯(lián)為企業(yè)級(jí)客戶提高一站式互聯(lián)網(wǎng)+設(shè)計(jì)服務(wù)，主要包括網(wǎng)站設(shè)計(jì)、成都網(wǎng)站設(shè)計(jì)、app軟件開發(fā)、微信小程序定制開發(fā)、宣傳片制作、LOGO設(shè)計(jì)等，幫助客戶快速提升營銷能力和企業(yè)形象，創(chuàng)新互聯(lián)各部門都有經(jīng)驗(yàn)豐富的經(jīng)驗(yàn)，可以確保每一個(gè)作品的質(zhì)量和創(chuàng)作周期，同時(shí)每年都有很多新員工加入，為我們帶來大量新的創(chuàng)意。 

比如說，取數(shù)據(jù)用get-data.php，下載圖片用get-image.php。

2、多進(jìn)程的話，php可以簡單的用pcntl_fork()。這樣可以并發(fā)多個(gè)子進(jìn)程。

但是我不建議你用fork，我建議你安裝一個(gè)gearman worker。這樣你要并發(fā)幾個(gè)，就啟幾個(gè)worker，寫代碼簡單，根本不用在代碼里考慮thread啊，process等等。

3、綜上，解決方案這樣：

（1）安裝gearman worker。

（2）寫一個(gè)get-data.php，在crontab里設(shè)置它每5分鐘執(zhí)行一次，只負(fù)責(zé)讀數(shù)據(jù)，然后把讀回來的數(shù)據(jù)一條一條的扔到 gearman worker的隊(duì)列里；

然后再寫一個(gè)處理數(shù)據(jù)的腳本作為worker，例如叫process-data.php，這個(gè)腳本常駐內(nèi)存。它作為worker從geraman 隊(duì)列里讀出一條一條的數(shù)據(jù)，然后跟你的數(shù)據(jù)庫老數(shù)據(jù)比較，進(jìn)行你的業(yè)務(wù)邏輯。如果你要10個(gè)并發(fā)，那就啟動(dòng)10個(gè)process-data.php好了。處理完后，如果圖片地址有變動(dòng)需要下載圖片，就把圖片地址扔到 gearman worker的另一個(gè)隊(duì)列里。

（3）再寫一個(gè)download-data.php，作為下載圖片的worker，同樣，你啟動(dòng)10個(gè)20個(gè)并發(fā)隨便你。這個(gè)進(jìn)程也常駐內(nèi)存運(yùn)行，從gearman worker的圖片數(shù)據(jù)隊(duì)列里取數(shù)據(jù)出來，下載圖片

4、常駐進(jìn)程的話，就是在代碼里寫個(gè)while(true)死循環(huán)，讓它一直運(yùn)行好了。如果怕內(nèi)存泄露啥的，你可以每循環(huán)10萬次退出一下。然后在crontab里設(shè)置，每分鐘檢查一下進(jìn)程有沒有啟動(dòng)，比如說這樣啟動(dòng)3個(gè)process-data worker進(jìn)程：

* * * * * flock -xn /tmp/process-data.1.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.2.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.3.lock -c '/usr/bin/php /process-data.php /dev/null 21'

不知道你明白了沒有

求關(guān)于php excel導(dǎo)入大數(shù)據(jù)到mysql的解決辦法

下載 PHPExcel

require_once(?'./PHPExcel/IOFactory.php');

$filePath?=?'D:/xxx.xlsx';?//excel?文件名?

$objReader?=?new?PHPExcel_Reader_Excel2007();??//具體查看（Documentation/Examples/Reader/exampleReader01.php）

$objPHPExcel?=?$objReader-load($filePath);

$sheetData?=?$objPHPExcel-getActiveSheet()-toArray(null,true,true,true);

$insql?=?'insert?into?表名(x,x,x)?valeus';

//遍歷數(shù)組?$sheetData

//如果有標(biāo)題?先刪除?unset($sheetData[1]);

foreach($sheetData?as?$k?=?$data){

$insql?.=?'('.$data['A'].','.$data['B'].','.$data['C'].'),';

//一次插入100條數(shù)據(jù)??減少數(shù)據(jù)庫壓力

if(($k+1?/?100)?==?0){

$insql?=?rtrim($insql,',').';';?//將最后的逗號(hào)替換成分好

//插入數(shù)據(jù)庫?并且重置?字符串?$insql??

//或者保存到文件中?利用source?命令插入數(shù)據(jù)庫

}

}

php+Mysql 大數(shù)據(jù)導(dǎo)入怎樣提高效率

優(yōu)化SQL插入語句；

比如循環(huán)一條一條插入，改成鏈接多個(gè)值進(jìn)行插入。

將：

foreach($re as $it){

$sql="insert into table (id,name) values(".$it['id'].","."$it['name'].")";

mysql_query($sql);

}

改為：

$sql="insert into table (id,name) values";

foreach($re as $it){

$str= "'".$it['id']."','".$it['name']."'";

}

$sql .= "(".$str."),";

$sql2 = substr($sql,0,-1);

mysql_query($sql);

打開mysql的配置文件，my.ini文件，并找到：max_allowed_packet項(xiàng)；

將值修改大一點(diǎn)，具體根據(jù)自己需要修改。比如這里修改為：1G。

重啟mysql服務(wù)；

5

如果運(yùn)行頁面提示內(nèi)存溢出，可將值設(shè)大一點(diǎn)。

Allowed memory size of 134217728 bytes exhausted (tried to allocate 132907287 bytes)

步驟閱讀

6

這樣，面對(duì)千萬數(shù)據(jù)導(dǎo)入的時(shí)候，比原來那種方法至少快好多倍。

文章標(biāo)題：php腳本快速導(dǎo)入大數(shù)據(jù),php大數(shù)據(jù)導(dǎo)出
網(wǎng)站鏈接：http://chinadenli.net/article12/heepdc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供電子商務(wù)、Google、App設(shè)計(jì)、ChatGPT、、網(wǎng)站設(shè)計(jì)公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)