MYSQL導(dǎo)入大量數(shù)據(jù)

跑一個(gè)推薦算法的DEMO需要導(dǎo)入2百萬(wàn)的數(shù)據(jù)

創(chuàng)新互聯(lián)建站專業(yè)為企業(yè)提供湘橋網(wǎng)站建設(shè)、湘橋做網(wǎng)站、湘橋網(wǎng)站設(shè)計(jì)、湘橋網(wǎng)站制作等企業(yè)網(wǎng)站建設(shè)、網(wǎng)頁(yè)設(shè)計(jì)與制作、湘橋企業(yè)網(wǎng)站模板建站服務(wù)，十余年湘橋做網(wǎng)站經(jīng)驗(yàn)，不只是建網(wǎng)站，更提供有價(jià)值的思路和整體網(wǎng)絡(luò)服務(wù)。

不動(dòng)腦的想象用batch insert, 批量提交的方式

嘗試發(fā)現(xiàn)其實(shí)速度并不樂(lè)觀，2000條/分鐘的寫(xiě)入速度，

200 0000 / 2000 = 100分鐘，速度不能接受，嘗試其他辦法。

大批量數(shù)據(jù)的正確方式就文件導(dǎo)入方式進(jìn)行，個(gè)人覺(jué)得10萬(wàn)數(shù)據(jù)以上用batch insert就比較吃力了。

load data方法只支持mysql 5.5版本及以上

執(zhí)行步驟：

secure_file_prive=null 限制mysqld 不允許導(dǎo)入導(dǎo)出

secure_file_priv=/tmp/ 限制mysqld的導(dǎo)入導(dǎo)出只能發(fā)生在/tmp/目錄下

secure_file_priv=' ' 不對(duì)mysqld的導(dǎo)入導(dǎo)出做限制

修改secure_file_prive，直接找到my.ini中secure_file_prive修改為空重啟mysql即可

隨意執(zhí)行，如果位置不對(duì)會(huì)給出相應(yīng)的提示位置，然后再將需導(dǎo)入的文件copy至相應(yīng)位置再執(zhí)行即可 (load data infile語(yǔ)法需自行了解。)

mysql 的sql文件太大怎么導(dǎo)入

我有個(gè)大的 SQL 文件要回放，需要馬上做，但又怕壓死業(yè)務(wù)，怎么辦？

先來(lái)建一個(gè)測(cè)試庫(kù)：

塞一些數(shù)據(jù)進(jìn)去：

看看我們填充數(shù)據(jù)的成果：

使用 mysqldump 導(dǎo)出一份數(shù)據(jù)：

現(xiàn)在我們假設(shè)要把這個(gè) dump 文件，回放到一個(gè)數(shù)據(jù)庫(kù)中，并且現(xiàn)在數(shù)據(jù)庫(kù)正在承擔(dān)很重的業(yè)務(wù)，我們不希望業(yè)務(wù)受到太大影響。

先來(lái)看看如果直接回放 dump 文件，會(huì)發(fā)生什么？

我們看到 MySQL 的 cpu 會(huì)彪起來(lái)，

我們換一個(gè)方式來(lái)回放 dump：

看看 CPU 壓力：

可以看到 CPU 已經(jīng)非常冷靜，并且緩慢的處理數(shù)據(jù)。

????小貼士：pv 工具既可以用于顯示文件流的進(jìn)度，也可以用于文件流的限速。在本實(shí)驗(yàn)中，我們用 PV 來(lái)限制 SQL 文件發(fā)到 MySQL client 的速度，從而限制 SQL 的回放速度，達(dá)到不影響其他業(yè)務(wù)的效果。

mysql數(shù)據(jù)庫(kù) 文件過(guò)大 如何導(dǎo)入

點(diǎn)擊電腦‘運(yùn)行’，輸入cmd，然后點(diǎn)擊確定。

cmd

2.找到sql的安裝路徑，打開(kāi)命令行，進(jìn)入Binn目錄，輸入：cmd,回車執(zhí)行。

binn大致就在這個(gè)里面D:\Program Files\Microsoft SQL Server\100\Tools\Binn

3.執(zhí)行下列語(yǔ)句：

sqlcmd -S localhost -U sa -P pwzyy!@#123 -i C:\Users\Administrator\Desktop\script.sql

說(shuō)明：

-S：數(shù)據(jù)庫(kù)服務(wù)器地址，我這里是本機(jī)直接用localhost

-U：用戶名

-P：密碼

-d：數(shù)據(jù)庫(kù)名

-i：sql文件

網(wǎng)頁(yè)名稱：mysql大文件怎么導(dǎo)入,mysql大數(shù)據(jù)導(dǎo)入
轉(zhuǎn)載源于：http://chinadenli.net/article25/dsejici.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站建設(shè)、網(wǎng)站設(shè)計(jì)公司、關(guān)鍵詞優(yōu)化、定制網(wǎng)站、ChatGPT、品牌網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)