有很多種方法可以優(yōu)化:

成都創(chuàng)新互聯(lián)公司-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價(jià)比志丹網(wǎng)站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫(kù),直接使用。一站式志丹網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設(shè)找我們,業(yè)務(wù)覆蓋志丹地區(qū)。費(fèi)用合理售后完善,十多年實(shí)體公司更值得信賴。
數(shù)據(jù)庫(kù)設(shè)置主從,進(jìn)行讀寫分離;
數(shù)據(jù)分表,如按月份分表,需要統(tǒng)計(jì)數(shù)據(jù)就查總表;
優(yōu)化查詢語句,適當(dāng)增加索引;
字段優(yōu)化,對(duì)不常用或者沒有必要的字段可以考慮放在另外一張表里,避免單表數(shù)據(jù)過大,字段過多。
ini_set('max_execution_time','0');
$pdo
=
new
PDO("mysql:host=localhost;dbname=test","root","123456");
$sql
=
"insert
into
test(name,age,state,created_time)
values";
for($i=0;
$i100000;
$i++){
$sql
.="('zhangsan',21,1,'2015-09-17')";
}
$sql
=
substr($sql,0,strlen($sql)-1);
var_dump($sql);
if($pdo
-
exec($sql)){
echo
"插入成功!";
echo
$pdo
-
lastinsertid();
}
試試吧。10萬條1分鐘多,我覺得還行
1.建立索引,盡可能把索引建立到你你經(jīng)常比較的字段上,如select a,b,c,d from a where 索引字段=值,這個(gè)索引字段最好是數(shù)值型數(shù)據(jù)
2.慢有更多情況,
情況1:遠(yuǎn)程查詢,其實(shí)可能查詢不慢,由于數(shù)據(jù)量大,傳輸過程慢
情況2:WHERE 后面的比較數(shù)據(jù)太多,比如 like 類的語句
情況3:需要哪個(gè)字段只取那個(gè)字段就行了,比如select * from a與select b,c,d from a速度是有差距的
3.數(shù)據(jù)庫(kù)定期維護(hù),壓縮,把不常用的數(shù)據(jù)備份后放入備份庫(kù)里,查詢時(shí)查備份庫(kù)等
問題補(bǔ)充:
.第一條:建立索引,怎么建立,我也聽說過,但不知道怎么使用
答:每種數(shù)據(jù)建立索引的方法有差異,比如SQL SERVER 2000中可對(duì)多個(gè)字段進(jìn)行索引,比如SQL SERVER2000中有命令
CREATE INDEX
為給定表或視圖創(chuàng)建索引。
只有表或視圖的所有者才能為表創(chuàng)建索引。表或視圖的所有者可以隨時(shí)創(chuàng)建索引,無論表中是否有數(shù)據(jù)。可以通過指定限定的數(shù)據(jù)庫(kù)名稱,為另一個(gè)數(shù)據(jù)庫(kù)中的表或視圖創(chuàng)建索引。
語法
CREATE [ UNIQUE ] [ CLUSTERED | NONCLUSTERED ] INDEX index_name
ON { table | view } ( column [ ASC | DESC ] [ ,...n ] )
[ WITH index_option [ ,...n] ]
[ ON filegroup ]
index_option ::=
{ PAD_INDEX |
FILLFACTOR = fillfactor |
IGNORE_DUP_KEY |
DROP_EXISTING |
STATISTICS_NORECOMPUTE |
SORT_IN_TEMPDB
}
第三條:數(shù)據(jù)庫(kù)定期維護(hù),壓縮:怎么個(gè)壓縮法?及時(shí)備份數(shù)據(jù)到備份庫(kù)查詢備份庫(kù),那查詢時(shí)不是還慢嗎?
答:這個(gè)有壓縮工具,基本上每種數(shù)據(jù)庫(kù)都有自己的壓縮數(shù)據(jù)庫(kù)的工具
查找的話沒辦法了,畢竟你只能枚舉,如果要改善的話只能從新構(gòu)建數(shù)據(jù)庫(kù),添加索引字段。
或是多個(gè)數(shù)據(jù)庫(kù)存放數(shù)據(jù),根據(jù)上一個(gè)數(shù)據(jù)庫(kù)提供的索引查找下一數(shù)據(jù)庫(kù)的數(shù)據(jù),這樣可以減少枚舉次數(shù)。
理論上是可以的,但效率上就有問題了,這么大量的數(shù)據(jù)一般不會(huì)放一張表里面,都會(huì)考慮分表,然后考慮索引、數(shù)據(jù)庫(kù)主從、服務(wù)器配置等,提高查詢效率php+mysql可以處理億級(jí)的數(shù)據(jù)嗎
mysql_query函數(shù)查詢的方式是查詢出全部結(jié)果后緩存到內(nèi)存中,這樣就會(huì)出現(xiàn)超內(nèi)存的現(xiàn)象,使用另外一個(gè)函數(shù)mysql_unbuffered_query可以解決這個(gè)問題,mysql_unbuffered_query不會(huì)緩存結(jié)果集,而是查詢出來數(shù)據(jù)后立馬對(duì)結(jié)果集進(jìn)行操作,也就是便查詢邊返回,這樣就不會(huì)出現(xiàn)超出內(nèi)存的現(xiàn)象,但是使用mysql_unbuffered_query的是時(shí)候不能使用 mysql_num_rows() 和 mysql_data_seek()。并且向 MySQL 發(fā)送一條新的 SQL 查詢之前,必須提取掉所有未緩存的 SQL 查詢所產(chǎn)生的結(jié)果行。例如:
使用緩存結(jié)果集的代碼:
function selecttest()
{
try {
$pdo = new PDO("mysql:host=localhost;dbname=test", 'root', '123456');
// 不使用緩存結(jié)果集方式
// $pdo-setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);
$sth = $pdo-prepare('select * from test');
$sth-execute();
echo '最初占用內(nèi)存大小:' . memory_get_usage() . "\n";
$i = 0;
while ($result = $sth-fetch(PDO::FETCH_ASSOC)) {
$i += 1;
if ($i 10) {
break;
}
sleep(1);
print_r($result);
echo '占用內(nèi)存大小:' . memory_get_usage() . "\n";
}
} catch (Exception $e) {
echo $e-getMessage();
}
}
執(zhí)行時(shí)將會(huì)報(bào)超出內(nèi)存的錯(cuò)誤:
Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 204800000 bytes) in E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php on line 56
Call Stack:
0.0005 135392 1. {main}() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:0
0.0005 135568 2. test-selecttest() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:85
0.0050 142528 3. PDOStatement-execute() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:56
將上面代碼中的$pdo-setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);一行的注釋去掉后將不在緩存結(jié)果集,這時(shí)運(yùn)行該函數(shù)的結(jié)果如下:
最初占用內(nèi)存大小:144808
Array
(
[id] = 1
[a] = v
[b] = w
[c] = i
)
占用內(nèi)存大小:145544
Array
(
[id] = 2
[a] = b
[b] = l
[c] = q
)
占用內(nèi)存大小:145544
Array
(
[id] = 3
[a] = m
[b] = p
[c] = h
)
占用內(nèi)存大小:145536
Array
(
[id] = 4
[a] = j
[b] = i
[c] = b
)
占用內(nèi)存大小:145536
可以看到,這時(shí)返回一條數(shù)據(jù)內(nèi)存占用非常的小,也就700多字節(jié),這樣就不會(huì)出現(xiàn)超出內(nèi)存的錯(cuò)誤了。
網(wǎng)頁題目:php解決大數(shù)據(jù)庫(kù),php做大數(shù)據(jù)
瀏覽路徑:http://chinadenli.net/article48/dsihiep.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供云服務(wù)器、網(wǎng)站策劃、企業(yè)建站、軟件開發(fā)、品牌網(wǎng)站設(shè)計(jì)、全網(wǎng)營(yíng)銷推廣
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)