在使用PhpMyAdmin的時(shí)候經(jīng)常用到數(shù)據(jù)的導(dǎo)入和導(dǎo)出(Export/Import),但是在導(dǎo)入大數(shù)據(jù)的時(shí)候由于php上傳文件的限制和腳本響應(yīng)時(shí)間的限制,導(dǎo)致phpMyAdmin無(wú)法導(dǎo)入大數(shù)據(jù)。很多時(shí)候都是由于文件過(guò)大,從本地瀏覽上傳導(dǎo)入,容易中斷失敗,有沒(méi)有更好的方法呢?

網(wǎng)站建設(shè)哪家好,找創(chuàng)新互聯(lián)!專(zhuān)注于網(wǎng)頁(yè)設(shè)計(jì)、網(wǎng)站建設(shè)、微信開(kāi)發(fā)、小程序定制開(kāi)發(fā)、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項(xiàng)目。為回饋新老客戶(hù)創(chuàng)新互聯(lián)還提供了黑山免費(fèi)建站歡迎大家使用!
方法:
在phpMyAdmin的目錄下,找到根目錄的config.inc.php文件,
打開(kāi)config.inc.php文件,查找$cfg['UploadDir'],這個(gè)參數(shù)就是設(shè)定導(dǎo)入文件存放的目錄,這里把值設(shè)定為:ImportSQLFile。
在phpMyAdmin目錄下,建立以ImportSQLFile命名的文件夾,
把我們需要導(dǎo)入的數(shù)據(jù)文件,放到ImportSQLFile文件夾下面,非常簡(jiǎn)單,
登入phpMyAdmin,選擇需要導(dǎo)入的數(shù)據(jù),點(diǎn)擊導(dǎo)航條上面的“導(dǎo)入”按鈕,
選中“從網(wǎng)站服務(wù)器上傳文件夾ImportSQLFile/中選擇:”選項(xiàng),并需要導(dǎo)入的數(shù)據(jù)文件,
最后點(diǎn)擊“執(zhí)行”,即可導(dǎo)入成功。
注意事項(xiàng)
如果在config.inc.php文件,沒(méi)有找到$cfg['UploadDir'],可以自己在文件中添加上去即可。
應(yīng)該是你的數(shù)據(jù)庫(kù)配置限制了內(nèi)存使用量導(dǎo)致的.建議查找下相關(guān)mysql配置資料.
直接倒序取一部分,如果可以就應(yīng)該是配置的問(wèn)題.
如果慢的話(huà)要考慮字段優(yōu)化
問(wèn)題需要具體.不銘感的話(huà)可以把數(shù)據(jù)發(fā)來(lái)我調(diào)試一下看看.
$url = "網(wǎng)站地址目錄";
$queryServer = curl_init();
curl_setopt($queryServer, CURLOPT_URL, $url);
curl_setopt($queryServer, CURLOPT_HEADER, 0);
curl_setopt($queryServer, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($queryServer, CURLOPT_RETURNTRANSFER, true);
curl_setopt($queryServer, CURLOPT_CONNECTTIMEOUT, 10);
curl_setopt($queryServer, CURLOPT_TIMEOUT, 30);
$html = curl_exec($queryServer);
$html = iconv('UTF-8','GBK//IGNORE',$html); //如果你需要是的數(shù)據(jù)是utf-8編碼的,這一行可以注銷(xiāo),如果需要gbk編碼的,請(qǐng)保留.如果出現(xiàn)亂碼,就是一行的問(wèn)題,你自己調(diào)著試吧
//echo $holder;exit; 此處可以輸出來(lái)測(cè)試.
$html = str_replace(array("\n","\r","\t"),"",$html);
$preg = '/table\s+width=\"800\"[^]+(.*?)\/table/';
preg_match_all($preg,$html,$out);
//匹配每行
preg_match_all('/tr[^]+(.*?)\/tr/',$out[1][0],$tr);
//匹配每個(gè)td
$result = array();
$match = '/td.+([^]+)\/td/U';
foreach( $tr[0] as $key = $value ){
preg_match_all($match,$value,$arr);
$result[] = $arr[1];
}
//輸出測(cè)試,$result就是你要的數(shù)據(jù),至于你要怎么輸出顯示格式,那就隨心調(diào)就好了。
foreach( $result as $key = $value ){
echo implode("\t",$value);
echo "br";
}
exit;
下個(gè)文件切割軟件,把50M切成每個(gè)3M左右(大小自己定義),然后就可以打開(kāi)了。
php導(dǎo)出大量數(shù)據(jù)到Excel,可以通過(guò)生成多個(gè)Excel文件,然后壓縮成壓縮包解決。
方案是:假如我們數(shù)據(jù)庫(kù)有10w條數(shù)據(jù),每2000條數(shù)據(jù)生成一個(gè)Excel文件,這樣每次只要從數(shù)據(jù)庫(kù)里查詢(xún)出2000條數(shù)據(jù)即可,一定要分頁(yè)去查詢(xún)。
原因:主要是數(shù)據(jù)庫(kù)性能和寫(xiě)文件性能。分頁(yè)查詢(xún)可以解決數(shù)據(jù)庫(kù)壓力的問(wèn)題, 生成多個(gè)文件可以解決單個(gè)文件太大,后期維護(hù)Excel文件的問(wèn)題。
要注意的:
1. 在導(dǎo)出邏輯文件開(kāi)頭,一定要聲明 set_time_limit(0) ,防止腳本超時(shí);
2. 每個(gè)文件生成后,適當(dāng)?shù)膕leep一下,讓程序休息一下下;
3. 因?yàn)橐淮螌?dǎo)出最后要將生成的多個(gè)Excel文件打包成一個(gè)壓縮包,所以要?jiǎng)h除掉生成的Excel文件,節(jié)省服務(wù)器存儲(chǔ)空間;
下面是我實(shí)際工作中,寫(xiě)的一個(gè)php導(dǎo)出大量數(shù)據(jù)到Excel的代碼,你可以參考一下:
可以用以下4個(gè)方法來(lái)抓取網(wǎng)站 的數(shù)據(jù):
1. 用 file_get_contents 以 get 方式獲取內(nèi)容:
?
$url = '';
$html = file_get_contents($url);
echo $html;
2. 用fopen打開(kāi)url,以get方式獲取內(nèi)容
?
$url = '';
$fp = fopen($url, 'r');
stream_get_meta_data($fp);
$result = '';
while(!feof($fp))
{
$result .= fgets($fp, 1024);
}
echo "url body: $result";
fclose($fp);
3. 用file_get_contents函數(shù),以post方式獲取url
?
$data = array(
'foo'='bar',
'baz'='boom',
'site'='',
'name'='nowa magic');
$data = http_build_query($data);
//$postdata = http_build_query($data);
$options = array(
'http' = array(
'method' = 'POST',
'header' = 'Content-type:application/x-www-form-urlencoded',
'content' = $data
//'timeout' = 60 * 60 // 超時(shí)時(shí)間(單位:s)
)
);
$url = "";
$context = stream_context_create($options);
$result = file_get_contents($url, false, $context);
echo $result;
4、使用curl庫(kù),使用curl庫(kù)之前,可能需要查看一下php.ini是否已經(jīng)打開(kāi)了curl擴(kuò)展
$url = '';
$ch = curl_init();
$timeout = 5;
curl_setopt ($ch, CURLOPT_URL, $url);
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
$file_contents = curl_exec($ch);
curl_close($ch);
echo $file_contents;
網(wǎng)站標(biāo)題:php怎么抓取大數(shù)據(jù),php導(dǎo)出大量數(shù)據(jù)
網(wǎng)站地址:http://chinadenli.net/article29/dsedgch.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供商城網(wǎng)站、品牌網(wǎng)站制作、App開(kāi)發(fā)、網(wǎng)站設(shè)計(jì)公司、網(wǎng)站改版、網(wǎng)站排名
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話(huà):028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)