緩存讀取流程:

成都創(chuàng)新互聯(lián)公司自成立以來(lái),一直致力于為企業(yè)提供從網(wǎng)站策劃、網(wǎng)站設(shè)計(jì)、網(wǎng)站制作、成都網(wǎng)站設(shè)計(jì)、電子商務(wù)、網(wǎng)站推廣、網(wǎng)站優(yōu)化到為企業(yè)提供個(gè)性化軟件開(kāi)發(fā)等基于互聯(lián)網(wǎng)的全面整合營(yíng)銷服務(wù)。公司擁有豐富的網(wǎng)站建設(shè)和互聯(lián)網(wǎng)應(yīng)用系統(tǒng)開(kāi)發(fā)管理經(jīng)驗(yàn)、成熟的應(yīng)用系統(tǒng)解決方案、優(yōu)秀的網(wǎng)站開(kāi)發(fā)工程師團(tuán)隊(duì)及專業(yè)的網(wǎng)站設(shè)計(jì)師團(tuán)隊(duì)。
1、先到緩存中查數(shù)據(jù)
2、緩存中不存在則到實(shí)際數(shù)據(jù)源中取,取出來(lái)后放入緩存
3、下次再來(lái)取同樣信息時(shí)則可直接從緩存中獲取
緩存更新流程:
1、更新數(shù)據(jù)庫(kù)
2、使緩存過(guò)期或失效,這樣會(huì)促使下次查詢數(shù)據(jù)時(shí)在緩存中查不到而重新從數(shù)據(jù)庫(kù)去一次。
通用緩存機(jī)制:
1、用查詢的方法名+參數(shù)作為查詢時(shí)的key value對(duì)中的key值
2、向memcache或redis之類的nosql數(shù)據(jù)庫(kù)(或者內(nèi)存hashmap)插入數(shù)據(jù)
3、取數(shù)據(jù)時(shí)也用方法名+參數(shù)作為key向緩存數(shù)據(jù)源獲取信息
方法有很多
其中之一
實(shí)時(shí)獲取mysql
binlog進(jìn)行解析
然后修改redis
MySQL到Redis數(shù)據(jù)方案
無(wú)論MySQL還是Redis
自身都帶有數(shù)據(jù)同步的機(jī)制,像比較常用的MySQL的Master/Slave模式,就是由Slave端分析Master的binlog來(lái)實(shí)現(xiàn)的,這樣的數(shù)據(jù)其實(shí)還是一個(gè)異步過(guò)程,只不過(guò)當(dāng)服務(wù)器都在同一內(nèi)網(wǎng)時(shí),異步的延遲幾乎可以忽略
那么理論上我們也可以用同樣方式,分析MySQL的binlog文件并將數(shù)據(jù)插入Redis。但是這需要對(duì)binlog文件以及MySQL有非常深入的理解,同時(shí)由于binlog存在Statement/Row/Mixedlevel多種形式,分析binlog實(shí)現(xiàn)同步的工作量是非常大的。
因此這里選擇了一種開(kāi)發(fā)成本更加低廉的方式,借用已經(jīng)比較成熟的MySQL
UDF,將MySQL數(shù)據(jù)首先放入Gearman中,然后通過(guò)一個(gè)自己編寫的PHP
Gearman
Worker,將數(shù)據(jù)同步到Redis
InnoDB存儲(chǔ)引擎有三大特性非常令人激動(dòng),它們分別是插入緩沖、兩次寫和自適應(yīng)哈希,本篇文章先介紹第一個(gè)特性 - 插入緩沖(insert buffer)
在上一篇《MySQL - 淺談InnoDB存儲(chǔ)引擎》中,我們可以看到在InnoDB的內(nèi)存中有單獨(dú)一塊叫“插入緩沖”的區(qū)域,下面我們?cè)敿?xì)來(lái)介紹它。
非聚集索引寫性能問(wèn)題
為了闡述非聚集索引寫性能問(wèn)題,我們先來(lái)看一個(gè)例子:
mysqlcreate table t (
id int auto_increment,
name varchar(30),
primary key (id));
我們創(chuàng)建了一個(gè)表,表的主鍵是id,id列式自增長(zhǎng)的,即當(dāng)執(zhí)行插入操作時(shí),id列會(huì)自動(dòng)增長(zhǎng),頁(yè)中行記錄按id順序存放,不需要隨機(jī)讀取其它頁(yè)的數(shù)據(jù)。因此,在這樣的情況下(即聚集索引),插入操作效率很高。
但是,在大部分應(yīng)用中,很少出現(xiàn)表中只有一個(gè)聚集索引的情況,更多情況下,表上會(huì)有多個(gè)非聚集的secondary index (輔助索引)。比如,對(duì)于上一張表t,業(yè)務(wù)上還需要按非唯一的name字段查找,則表定義改為:
mysqlcreate table t (
id int auto_increment,
name varchar(30),
primary key (id),
key (name));
這時(shí),除了主鍵聚合索引外,還產(chǎn)生了一個(gè)name列的輔助索引,對(duì)于該非聚集索引來(lái)說(shuō),葉子節(jié)點(diǎn)的插入不再有序,這時(shí)就需要離散訪問(wèn)非聚集索引頁(yè),插入性能變低。
插入緩沖技術(shù)機(jī)制
為了解決這個(gè)問(wèn)題,InnoDB設(shè)計(jì)出了插入緩沖技術(shù),對(duì)于非聚集類索引的插入和更新操作,不是每一次都直接插入到索引頁(yè)中,而是先插入到內(nèi)存中。具體做法是:如果該索引頁(yè)在緩沖池中,直接插入;否則,先將其放入插入緩沖區(qū)中,再以一定的頻率和索引頁(yè)合并,這時(shí),就可以將同一個(gè)索引頁(yè)中的多個(gè)插入合并到一個(gè)IO操作中,大大提高寫性能。回憶一下在《MySQL - 淺談InnoDB存儲(chǔ)引擎》中提到的master thread主循環(huán)其中的一項(xiàng)工作就是每秒中合并插入緩沖(可能)。
這個(gè)設(shè)計(jì)思路和HBase中的LSM樹(shù)有相似之處,都是通過(guò)先在內(nèi)存中修改,到達(dá)一定量后,再和磁盤中的數(shù)據(jù)合并,目的都是為了提高寫性能,具體可參考《HBase LSM樹(shù)》,這又再一次說(shuō)明,學(xué)到最后,技術(shù)都是相通的。
插入緩沖的啟用需要滿足一下兩個(gè)條件:
1)索引是輔助索引(secondary index)
2)索引不適合唯一的
如果輔助索引是唯一的,就不能使用該技術(shù),原因很簡(jiǎn)單,因?yàn)槿绻@樣做,整個(gè)索引數(shù)據(jù)被切分為2部分,無(wú)法保證唯一性。
插入緩沖帶來(lái)的問(wèn)題
任何一項(xiàng)技術(shù)在帶來(lái)好處的同時(shí),必然也帶來(lái)壞處。插入緩沖主要帶來(lái)如下兩個(gè)壞處:
1)可能導(dǎo)致數(shù)據(jù)庫(kù)宕機(jī)后實(shí)例恢復(fù)時(shí)間變長(zhǎng)。如果應(yīng)用程序執(zhí)行大量的插入和更新操作,且涉及非唯一的聚集索引,一旦出現(xiàn)宕機(jī),這時(shí)就有大量?jī)?nèi)存中的插入緩沖區(qū)數(shù)據(jù)沒(méi)有合并至索引頁(yè)中,導(dǎo)致實(shí)例恢復(fù)時(shí)間會(huì)很長(zhǎng)。
2)在寫密集的情況下,插入緩沖會(huì)占用過(guò)多的緩沖池內(nèi)存,默認(rèn)情況下最大可以占用1/2,這在實(shí)際應(yīng)用中會(huì)帶來(lái)一定的問(wèn)題。
mysql 開(kāi)啟查詢緩存可以有兩種方法來(lái)開(kāi)啟一種是使用set命令來(lái)進(jìn)行開(kāi)啟,另一種是直接修改my.ini文件來(lái)直接設(shè)置都是非常的簡(jiǎn)單的哦。
開(kāi)啟緩存,設(shè)置緩存大小,具體實(shí)施如下:
windows下是my.ini,linux下是my.cnf;
在配置文件的最后追加上:
需要重啟mysql生效;
b) 開(kāi)啟緩存,兩種方式:
a)使用mysql命令:
如果報(bào)錯(cuò):
Query cache is disabled; restart the server with query_cache_type=1 to enable it,還是老老實(shí)實(shí)的該配置文件,然后重啟吧,原因如下:
查看是否設(shè)置成功
show variables like "%query_cache%" 查看是否設(shè)置成功:
當(dāng)然如果你的數(shù)據(jù)表有更新怎么辦,沒(méi)關(guān)系mysql默認(rèn)會(huì)和這個(gè)表有關(guān)系的緩存刪掉,下次查詢的時(shí)候會(huì)直接讀表然后再緩存
下面是一個(gè)簡(jiǎn)單的例子:
以上的相關(guān)內(nèi)容就是對(duì)mysql緩存查詢和設(shè)置的介紹,望你能有所收獲。
一般,我們會(huì)把 query_cache_type 設(shè)置為 ON,默認(rèn)情況下應(yīng)該是ON
query_cache_type有3個(gè)值 0代表關(guān)閉查詢緩存OFF,1代表開(kāi)啟ON,2(DEMAND)代表當(dāng)sql語(yǔ)句中有SQL_CACHE關(guān)鍵詞時(shí)才緩存,如:
這樣 當(dāng)我們執(zhí)行 select id,name from tableName; 這樣就會(huì)用到查詢緩存。
①在 query_cache_type 打開(kāi)的情況下,如果你不想使用緩存,需要指明
select sql_no_cache id,name from tableName;
②當(dāng)sql中用到mysql函數(shù),也不會(huì)緩存
當(dāng)然也可以禁用查詢緩存: mysql set session query_cache_type=off;
上面的顯示,表示設(shè)置查詢緩存是可用的。
表示查詢緩存大小,也就是分配內(nèi)存大小給查詢緩存,如果你分配大小為0,
那么 第一步 和 第二步 起不到作用,還是沒(méi)有任何效果。
上面是 mysql6.0設(shè)置默認(rèn)的,之前的版本好像默認(rèn)是0的,那么就要自己設(shè)置下。
設(shè)置
這里是設(shè)置1M左右,900多K。
再次查看下:
顯示我們?cè)O(shè)置新的大小,表示設(shè)置成功。
例如: 如果查詢結(jié)果很大, 也緩存????這個(gè)明顯是不可能的。
MySql 可以設(shè)置一個(gè)最大的緩存值,當(dāng)你查詢緩存數(shù)結(jié)果數(shù)據(jù)超過(guò)這個(gè)值就不會(huì)
進(jìn)行緩存。缺省為1M,也就是超過(guò)了1M查詢結(jié)果就不會(huì)緩存。
這個(gè)是默認(rèn)的數(shù)值,如果需要修改,就像設(shè)置緩存大小一樣設(shè)置,使用set
重新指定大小。
好了,通過(guò)4個(gè)步驟就可以 打開(kāi)了查詢緩存,具體值的大小和查詢的方式 這個(gè)因不同
的情況來(lái)指定了。
mysql查詢緩存相關(guān)變量
MySQL 提供了一系列的 Global Status 來(lái)記錄 Query Cache 的當(dāng)前狀態(tài),具體如下:
Qcache_free_blocks:目前還處于空閑狀態(tài)的 Query Cache 中內(nèi)存 Block 數(shù)目
Qcache_free_memory:目前還處于空閑狀態(tài)的 Query Cache 內(nèi)存總量
Qcache_hits:Query Cache 命中次數(shù)
Qcache_inserts:向 Query Cache 中插入新的 Query Cache 的次數(shù),也就是沒(méi)有命中的次數(shù)
Qcache_lowmem_prunes:當(dāng) Query Cache 內(nèi)存容量不夠,需要從中刪除老的 Query Cache 以給新的 Cache 對(duì)象使用的次數(shù)
Qcache_not_cached:沒(méi)有被 Cache 的 SQL 數(shù),包括無(wú)法被 Cache 的 SQL 以及由于 query_cache_type 設(shè)置的不會(huì)被 Cache 的 SQL
Qcache_queries_in_cache:目前在 Query Cache 中的 SQL 數(shù)量
Qcache_total_blocks:Query Cache 中總的 Block 數(shù)量
檢查是否從查詢緩存中受益的最簡(jiǎn)單的辦法就是檢查緩存命中率
當(dāng)服務(wù)器收到SELECT 語(yǔ)句的時(shí)候,Qcache_hits 和Com_select 這兩個(gè)變量會(huì)根據(jù)查詢緩存
的情況進(jìn)行遞增
查詢緩存命中率的計(jì)算公式是:Qcache_hits/(Qcache_hits + Com_select)。
query_cache_min_res_unit的配置是一柄”雙刃劍”,默認(rèn)是4KB,設(shè)置值大對(duì)大數(shù)據(jù)查詢有好處,但如果你的查詢都是小數(shù)據(jù) 查詢,就容易造成內(nèi)存碎片和浪費(fèi)。
查詢緩存碎片率 = Qcache_free_blocks / Qcache_total_blocks * 100%
如果查詢緩存碎片率超過(guò)20%,可以用FLUSH QUERY CACHE整理緩存碎片,或者試試減小query_cache_min_res_unit,如果你的查詢都是小數(shù)據(jù)量的話。
查詢緩存利用率 = (query_cache_size - Qcache_free_memory) / query_cache_size * 100%
查詢緩存利用率在25%以下的話說(shuō)明query_cache_size設(shè)置的過(guò)大,可適當(dāng)減小;查詢緩存利用率在80%以上而且 Qcache_lowmem_prunes 50的話說(shuō)明query_cache_size可能有點(diǎn)小,要不就是碎片太多。
查詢緩存命中率 = (Qcache_hits - Qcache_inserts) / Qcache_hits * 100%
示例服務(wù)器 查詢緩存碎片率 = 20.46%,查詢緩存利用率 = 62.26%,查詢緩存命中率 = 1.94%,命中率很差,可能寫操作比較頻繁吧,而且可能有些碎片。
查詢緩存可以看做是SQL文本和查詢結(jié)果的映射。如果第二次查詢的SQL和第一次查詢的SQL完全相同(注意必須是完全相同,即使多一個(gè)空格或者大小寫不同都認(rèn)為不同)且開(kāi)啟了查詢緩存,那么第二次查詢就直接從查詢緩存中取結(jié)果,可以通過(guò)下面的SQL來(lái)查看緩存命中次數(shù)(是個(gè)累加值):
另外即使完全相同的SQL,如果使用不同的字符集、不同的協(xié)議等也會(huì)被認(rèn)為是不同的查詢而分別進(jìn)行緩存。
在表的結(jié)構(gòu)或數(shù)據(jù)發(fā)生改變時(shí),查詢緩存中的數(shù)據(jù)不再有效。有這些INSERT、UPDATE、 DELETE、TRUNCATE、ALTER TABLE、DROP TABLE或DROP DATABASE會(huì)導(dǎo)致緩存數(shù)據(jù)失效。所以查詢緩存適合有大量相同查詢的應(yīng)用,不適合有大量數(shù)據(jù)更新的應(yīng)用。
可以使用下面三個(gè)SQL來(lái)清理查詢緩存:
1、FLUSH QUERY CACHE; // 清理查詢緩存內(nèi)存碎片。
2、RESET QUERY CACHE; // 從查詢緩存中移出所有查詢。
3、FLUSH TABLES; //關(guān)閉所有打開(kāi)的表,同時(shí)該操作將會(huì)清空查詢緩存中的內(nèi)容。
Query Cache是MySQL Server層的一個(gè)非常好的特性,對(duì)于小數(shù)據(jù)集或訪問(wèn)量非常集中的應(yīng)用場(chǎng)景,有非常好的性能提升,但是Query Cache引入了一些新的問(wèn)題,而且大部分場(chǎng)景下比較雞肋,官方打算棄用了
參考:
[client]
port = 3306
socket = /tmp/mysql.sock
[mysqld]
port = 3306
socket = /tmp/mysql.sock
basedir = /usr/local/mysql
datadir = /data/mysql
pid-file = /data/mysql/mysql.pid
user = mysql
bind-address = 0.0.0.0
server-id = 1 #表示是本機(jī)的序號(hào)為1,一般來(lái)講就是master的意思
skip-name-resolve
# 禁止MySQL對(duì)外部連接進(jìn)行DNS解析,使用這一選項(xiàng)可以消除MySQL進(jìn)行DNS解析的時(shí)間。但需要注意,如果開(kāi)啟該選項(xiàng),
# 則所有遠(yuǎn)程主機(jī)連接授權(quán)都要使用IP地址方式,否則MySQL將無(wú)法正常處理連接請(qǐng)求
#skip-networking
back_log = 600
# MySQL能有的連接數(shù)量。當(dāng)主要MySQL線程在一個(gè)很短時(shí)間內(nèi)得到非常多的連接請(qǐng)求,這就起作用,
# 然后主線程花些時(shí)間(盡管很短)檢查連接并且啟動(dòng)一個(gè)新線程。back_log值指出在MySQL暫時(shí)停止回答新請(qǐng)求之前的短時(shí)間內(nèi)多少個(gè)請(qǐng)求可以被存在堆棧中。
# 如果期望在一個(gè)短時(shí)間內(nèi)有很多連接,你需要增加它。也就是說(shuō),如果MySQL的連接數(shù)據(jù)達(dá)到max_connections時(shí),新來(lái)的請(qǐng)求將會(huì)被存在堆棧中,
# 以等待某一連接釋放資源,該堆棧的數(shù)量即back_log,如果等待連接的數(shù)量超過(guò)back_log,將不被授予連接資源。
# 另外,這值(back_log)限于您的操作系統(tǒng)對(duì)到來(lái)的TCP/IP連接的偵聽(tīng)隊(duì)列的大小。
# 你的操作系統(tǒng)在這個(gè)隊(duì)列大小上有它自己的限制(可以檢查你的OS文檔找出這個(gè)變量的最大值),試圖設(shè)定back_log高于你的操作系統(tǒng)的限制將是無(wú)效的。
max_connections = 1000
#
MySQL的最大連接數(shù),如果服務(wù)器的并發(fā)連接請(qǐng)求量比較大,建議調(diào)高此值,以增加并行連接數(shù)量,當(dāng)然這建立在機(jī)器能支撐的情況下,因?yàn)槿绻B接數(shù)越多,
介于MySQL會(huì)為每個(gè)連接提供連接緩沖區(qū),就會(huì)開(kāi)銷越多的內(nèi)存,所以要適當(dāng)調(diào)整該值,不能盲目提高設(shè)值。可以過(guò)'conn%'通配符查看當(dāng)前狀態(tài)的連接
數(shù)量,以定奪該值的大小。
max_connect_errors = 6000
# 對(duì)于同一主機(jī),如果有超出該參數(shù)值個(gè)數(shù)的中斷錯(cuò)誤連接,則該主機(jī)將被禁止連接。如需對(duì)該主機(jī)進(jìn)行解禁,執(zhí)行:FLUSH HOST。
open_files_limit = 65535
# MySQL打開(kāi)的文件描述符限制,默認(rèn)最小1024;當(dāng)open_files_limit沒(méi)有被配置的時(shí)候,比較max_connections*5和ulimit -n的值,哪個(gè)大用哪個(gè),
# 當(dāng)open_file_limit被配置的時(shí)候,比較open_files_limit和max_connections*5的值,哪個(gè)大用哪個(gè)。
table_open_cache = 128
# MySQL每打開(kāi)一個(gè)表,都會(huì)讀入一些數(shù)據(jù)到table_open_cache緩存中,當(dāng)MySQL在這個(gè)緩存中找不到相應(yīng)信息時(shí),才會(huì)去磁盤上讀取。默認(rèn)值64
# 假定系統(tǒng)有200個(gè)并發(fā)連接,則需將此參數(shù)設(shè)置為200*N(N為每個(gè)連接所需的文件描述符數(shù)目);
# 當(dāng)把table_open_cache設(shè)置為很大時(shí),如果系統(tǒng)處理不了那么多文件描述符,那么就會(huì)出現(xiàn)客戶端失效,連接不上
max_allowed_packet = 4M
# 接受的數(shù)據(jù)包大小;增加該變量的值十分安全,這是因?yàn)閮H當(dāng)需要時(shí)才會(huì)分配額外內(nèi)存。例如,僅當(dāng)你發(fā)出長(zhǎng)查詢或MySQLd必須返回大的結(jié)果行時(shí)MySQLd才會(huì)分配更多內(nèi)存。
# 該變量之所以取較小默認(rèn)值是一種預(yù)防措施,以捕獲客戶端和服務(wù)器之間的錯(cuò)誤信息包,并確保不會(huì)因偶然使用大的信息包而導(dǎo)致內(nèi)存溢出。
binlog_cache_size = 1M
# 一個(gè)事務(wù),在沒(méi)有提交的時(shí)候,產(chǎn)生的日志,記錄到Cache中;等到事務(wù)提交需要提交的時(shí)候,則把日志持久化到磁盤。默認(rèn)binlog_cache_size大小32K
max_heap_table_size = 8M
# 定義了用戶可以創(chuàng)建的內(nèi)存表(memory table)的大小。這個(gè)值用來(lái)計(jì)算內(nèi)存表的最大行數(shù)值。這個(gè)變量支持動(dòng)態(tài)改變
tmp_table_size = 16M
# MySQL的heap(堆積)表緩沖大小。所有聯(lián)合在一個(gè)DML指令內(nèi)完成,并且大多數(shù)聯(lián)合甚至可以不用臨時(shí)表即可以完成。
# 大多數(shù)臨時(shí)表是基于內(nèi)存的(HEAP)表。具有大的記錄長(zhǎng)度的臨時(shí)表 (所有列的長(zhǎng)度的和)或包含BLOB列的表存儲(chǔ)在硬盤上。
#
如果某個(gè)內(nèi)部heap(堆積)表大小超過(guò)tmp_table_size,MySQL可以根據(jù)需要自動(dòng)將內(nèi)存中的heap表改為基于硬盤的MyISAM表。
還可以通過(guò)設(shè)置tmp_table_size選項(xiàng)來(lái)增加臨時(shí)表的大小。也就是說(shuō),如果調(diào)高該值,MySQL同時(shí)將增加heap表的大小,可達(dá)到提高聯(lián)接查
詢速度的效果
read_buffer_size = 2M
# MySQL讀入緩沖區(qū)大小。對(duì)表進(jìn)行順序掃描的請(qǐng)求將分配一個(gè)讀入緩沖區(qū),MySQL會(huì)為它分配一段內(nèi)存緩沖區(qū)。read_buffer_size變量控制這一緩沖區(qū)的大小。
# 如果對(duì)表的順序掃描請(qǐng)求非常頻繁,并且你認(rèn)為頻繁掃描進(jìn)行得太慢,可以通過(guò)增加該變量值以及內(nèi)存緩沖區(qū)大小提高其性能
read_rnd_buffer_size = 8M
# MySQL的隨機(jī)讀緩沖區(qū)大小。當(dāng)按任意順序讀取行時(shí)(例如,按照排序順序),將分配一個(gè)隨機(jī)讀緩存區(qū)。進(jìn)行排序查詢時(shí),
# MySQL會(huì)首先掃描一遍該緩沖,以避免磁盤搜索,提高查詢速度,如果需要排序大量數(shù)據(jù),可適當(dāng)調(diào)高該值。但MySQL會(huì)為每個(gè)客戶連接發(fā)放該緩沖空間,所以應(yīng)盡量適當(dāng)設(shè)置該值,以避免內(nèi)存開(kāi)銷過(guò)大
sort_buffer_size = 8M
# MySQL執(zhí)行排序使用的緩沖大小。如果想要增加ORDER BY的速度,首先看是否可以讓MySQL使用索引而不是額外的排序階段。
# 如果不能,可以嘗試增加sort_buffer_size變量的大小
join_buffer_size = 8M
# 聯(lián)合查詢操作所能使用的緩沖區(qū)大小,和sort_buffer_size一樣,該參數(shù)對(duì)應(yīng)的分配內(nèi)存也是每連接獨(dú)享
thread_cache_size = 8
# 這個(gè)值(默認(rèn)8)表示可以重新利用保存在緩存中線程的數(shù)量,當(dāng)斷開(kāi)連接時(shí)如果緩存中還有空間,那么客戶端的線程將被放到緩存中,
# 如果線程重新被請(qǐng)求,那么請(qǐng)求將從緩存中讀取,如果緩存中是空的或者是新的請(qǐng)求,那么這個(gè)線程將被重新創(chuàng)建,如果有很多新的線程,
# 增加這個(gè)值可以改善系統(tǒng)性能.通過(guò)比較Connections和Threads_created狀態(tài)的變量,可以看到這個(gè)變量的作用。(–表示要調(diào)整的值)
# 根據(jù)物理內(nèi)存設(shè)置規(guī)則如下:
# 1G — 8
# 2G — 16
# 3G — 32
# 大于3G — 64
query_cache_size = 8M
#MySQL的查詢緩沖大小(從4.0.1開(kāi)始,MySQL提供了查詢緩沖機(jī)制)使用查詢緩沖,MySQL將SELECT語(yǔ)句和查詢結(jié)果存放在緩沖區(qū)中,
# 今后對(duì)于同樣的SELECT語(yǔ)句(區(qū)分大小寫),將直接從緩沖區(qū)中讀取結(jié)果。根據(jù)MySQL用戶手冊(cè),使用查詢緩沖最多可以達(dá)到238%的效率。
# 通過(guò)檢查狀態(tài)值'Qcache_%',可以知道query_cache_size設(shè)置是否合理:如果Qcache_lowmem_prunes的值非常大,則表明經(jīng)常出現(xiàn)緩沖不夠的情況,
# 如果Qcache_hits的值也非常大,則表明查詢緩沖使用非常頻繁,此時(shí)需要增加緩沖大小;如果Qcache_hits的值不大,則表明你的查詢重復(fù)率很低,
# 這種情況下使用查詢緩沖反而會(huì)影響效率,那么可以考慮不用查詢緩沖。此外,在SELECT語(yǔ)句中加入SQL_NO_CACHE可以明確表示不使用查詢緩沖
query_cache_limit = 2M
#指定單個(gè)查詢能夠使用的緩沖區(qū)大小,默認(rèn)1M
key_buffer_size = 4M
#指定用于索引的緩沖區(qū)大小,增加它可得到更好處理的索引(對(duì)所有讀和多重寫),到你能負(fù)擔(dān)得起那樣多。如果你使它太大,
# 系統(tǒng)將開(kāi)始換頁(yè)并且真的變慢了。對(duì)于內(nèi)存在4GB左右的服務(wù)器該參數(shù)可設(shè)置為384M或512M。通過(guò)檢查狀態(tài)值Key_read_requests和Key_reads,
# 可以知道key_buffer_size設(shè)置是否合理。比例key_reads/key_read_requests應(yīng)該盡可能的低,
# 至少是1:100,1:1000更好(上述狀態(tài)值可以使用SHOW STATUS LIKE 'key_read%'獲得)。注意:該參數(shù)值設(shè)置的過(guò)大反而會(huì)是服務(wù)器整體效率降低
ft_min_word_len = 4
# 分詞詞匯最小長(zhǎng)度,默認(rèn)4
transaction_isolation = REPEATABLE-READ
# MySQL支持4種事務(wù)隔離級(jí)別,他們分別是:
# READ-UNCOMMITTED, READ-COMMITTED, REPEATABLE-READ, SERIALIZABLE.
# 如沒(méi)有指定,MySQL默認(rèn)采用的是REPEATABLE-READ,ORACLE默認(rèn)的是READ-COMMITTED
log_bin = mysql-bin
binlog_format = mixed
expire_logs_days = 30 #超過(guò)30天的binlog刪除
log_error = /data/mysql/mysql-error.log #錯(cuò)誤日志路徑
slow_query_log = 1
long_query_time = 1 #慢查詢時(shí)間 超過(guò)1秒則為慢查詢
slow_query_log_file = /data/mysql/mysql-slow.log
performance_schema = 0
explicit_defaults_for_timestamp
#lower_case_table_names = 1 #不區(qū)分大小寫
skip-external-locking #MySQL選項(xiàng)以避免外部鎖定。該選項(xiàng)默認(rèn)開(kāi)啟
default-storage-engine = InnoDB #默認(rèn)存儲(chǔ)引擎
innodb_file_per_table = 1
# InnoDB為獨(dú)立表空間模式,每個(gè)數(shù)據(jù)庫(kù)的每個(gè)表都會(huì)生成一個(gè)數(shù)據(jù)空間
# 獨(dú)立表空間優(yōu)點(diǎn):
# 1.每個(gè)表都有自已獨(dú)立的表空間。
# 2.每個(gè)表的數(shù)據(jù)和索引都會(huì)存在自已的表空間中。
# 3.可以實(shí)現(xiàn)單表在不同的數(shù)據(jù)庫(kù)中移動(dòng)。
# 4.空間可以回收(除drop table操作處,表空不能自已回收)
# 缺點(diǎn):
# 單表增加過(guò)大,如超過(guò)100G
# 結(jié)論:
# 共享表空間在Insert操作上少有優(yōu)勢(shì)。其它都沒(méi)獨(dú)立表空間表現(xiàn)好。當(dāng)啟用獨(dú)立表空間時(shí),請(qǐng)合理調(diào)整:innodb_open_files
innodb_open_files = 500
# 限制Innodb能打開(kāi)的表的數(shù)據(jù),如果庫(kù)里的表特別多的情況,請(qǐng)?jiān)黾舆@個(gè)。這個(gè)值默認(rèn)是300
innodb_buffer_pool_size = 64M
# InnoDB使用一個(gè)緩沖池來(lái)保存索引和原始數(shù)據(jù), 不像MyISAM.
# 這里你設(shè)置越大,你在存取表里面數(shù)據(jù)時(shí)所需要的磁盤I/O越少.
# 在一個(gè)獨(dú)立使用的數(shù)據(jù)庫(kù)服務(wù)器上,你可以設(shè)置這個(gè)變量到服務(wù)器物理內(nèi)存大小的80%
# 不要設(shè)置過(guò)大,否則,由于物理內(nèi)存的競(jìng)爭(zhēng)可能導(dǎo)致操作系統(tǒng)的換頁(yè)顛簸.
# 注意在32位系統(tǒng)上你每個(gè)進(jìn)程可能被限制在 2-3.5G 用戶層面內(nèi)存限制,
# 所以不要設(shè)置的太高.
innodb_write_io_threads = 4
innodb_read_io_threads = 4
# innodb使用后臺(tái)線程處理數(shù)據(jù)頁(yè)上的讀寫 I/O(輸入輸出)請(qǐng)求,根據(jù)你的 CPU 核數(shù)來(lái)更改,默認(rèn)是4
# 注:這兩個(gè)參數(shù)不支持動(dòng)態(tài)改變,需要把該參數(shù)加入到my.cnf里,修改完后重啟MySQL服務(wù),允許值的范圍從 1-64
innodb_thread_concurrency = 0
# 默認(rèn)設(shè)置為 0,表示不限制并發(fā)數(shù),這里推薦設(shè)置為0,更好去發(fā)揮CPU多核處理能力,提高并發(fā)量
innodb_purge_threads = 1
# InnoDB中的清除操作是一類定期回收無(wú)用數(shù)據(jù)的操作。在之前的幾個(gè)版本中,清除操作是主線程的一部分,這意味著運(yùn)行時(shí)它可能會(huì)堵塞其它的數(shù)據(jù)庫(kù)操作。
# 從MySQL5.5.X版本開(kāi)始,該操作運(yùn)行于獨(dú)立的線程中,并支持更多的并發(fā)數(shù)。用戶可通過(guò)設(shè)置innodb_purge_threads配置參數(shù)來(lái)選擇清除操作是否使用單
# 獨(dú)線程,默認(rèn)情況下參數(shù)設(shè)置為0(不使用單獨(dú)線程),設(shè)置為 1 時(shí)表示使用單獨(dú)的清除線程。建議為1
innodb_flush_log_at_trx_commit = 2
# 0:如果innodb_flush_log_at_trx_commit的值為0,log buffer每秒就會(huì)被刷寫日志文件到磁盤,提交事務(wù)的時(shí)候不做任何操作(執(zhí)行是由mysql的master thread線程來(lái)執(zhí)行的。
# 主線程中每秒會(huì)將重做日志緩沖寫入磁盤的重做日志文件(REDO LOG)中。不論事務(wù)是否已經(jīng)提交)默認(rèn)的日志文件是ib_logfile0,ib_logfile1
# 1:當(dāng)設(shè)為默認(rèn)值1的時(shí)候,每次提交事務(wù)的時(shí)候,都會(huì)將log buffer刷寫到日志。
# 2:如果設(shè)為2,每次提交事務(wù)都會(huì)寫日志,但并不會(huì)執(zhí)行刷的操作。每秒定時(shí)會(huì)刷到日志文件。要注意的是,并不能保證100%每秒一定都會(huì)刷到磁盤,這要取決于進(jìn)程的調(diào)度。
# 每次事務(wù)提交的時(shí)候?qū)?shù)據(jù)寫入事務(wù)日志,而這里的寫入僅是調(diào)用了文件系統(tǒng)的寫入操作,而文件系統(tǒng)是有 緩存的,所以這個(gè)寫入并不能保證數(shù)據(jù)已經(jīng)寫入到物理磁盤
# 默認(rèn)值1是為了保證完整的ACID。當(dāng)然,你可以將這個(gè)配置項(xiàng)設(shè)為1以外的值來(lái)?yè)Q取更高的性能,但是在系統(tǒng)崩潰的時(shí)候,你將會(huì)丟失1秒的數(shù)據(jù)。
# 設(shè)為0的話,mysqld進(jìn)程崩潰的時(shí)候,就會(huì)丟失最后1秒的事務(wù)。設(shè)為2,只有在操作系統(tǒng)崩潰或者斷電的時(shí)候才會(huì)丟失最后1秒的數(shù)據(jù)。InnoDB在做恢復(fù)的時(shí)候會(huì)忽略這個(gè)值。
# 總結(jié)
# 設(shè)為1當(dāng)然是最安全的,但性能頁(yè)是最差的(相對(duì)其他兩個(gè)參數(shù)而言,但不是不能接受)。如果對(duì)數(shù)據(jù)一致性和完整性要求不高,完全可以設(shè)為2,如果只最求性能,例如高并發(fā)寫的日志服務(wù)器,設(shè)為0來(lái)獲得更高性能
innodb_log_buffer_size = 2M
# 此參數(shù)確定些日志文件所用的內(nèi)存大小,以M為單位。緩沖區(qū)更大能提高性能,但意外的故障將會(huì)丟失數(shù)據(jù)。MySQL開(kāi)發(fā)人員建議設(shè)置為1-8M之間
innodb_log_file_size = 32M
# 此參數(shù)確定數(shù)據(jù)日志文件的大小,更大的設(shè)置可以提高性能,但也會(huì)增加恢復(fù)故障數(shù)據(jù)庫(kù)所需的時(shí)間
innodb_log_files_in_group = 3
# 為提高性能,MySQL可以以循環(huán)方式將日志文件寫到多個(gè)文件。推薦設(shè)置為3
innodb_max_dirty_pages_pct = 90
# innodb主線程刷新緩存池中的數(shù)據(jù),使臟數(shù)據(jù)比例小于90%
innodb_lock_wait_timeout = 120
# InnoDB事務(wù)在被回滾之前可以等待一個(gè)鎖定的超時(shí)秒數(shù)。InnoDB在它自己的鎖定表中自動(dòng)檢測(cè)事務(wù)死鎖并且回滾事務(wù)。InnoDB用LOCK TABLES語(yǔ)句注意到鎖定設(shè)置。默認(rèn)值是50秒
bulk_insert_buffer_size = 8M
# 批量插入緩存大小, 這個(gè)參數(shù)是針對(duì)MyISAM存儲(chǔ)引擎來(lái)說(shuō)的。適用于在一次性插入100-1000+條記錄時(shí), 提高效率。默認(rèn)值是8M。可以針對(duì)數(shù)據(jù)量的大小,翻倍增加。
myisam_sort_buffer_size = 8M
# MyISAM設(shè)置恢復(fù)表之時(shí)使用的緩沖區(qū)的尺寸,當(dāng)在REPAIR TABLE或用CREATE INDEX創(chuàng)建索引或ALTER TABLE過(guò)程中排序 MyISAM索引分配的緩沖區(qū)
myisam_max_sort_file_size = 10G
# 如果臨時(shí)文件會(huì)變得超過(guò)索引,不要使用快速排序索引方法來(lái)創(chuàng)建一個(gè)索引。注釋:這個(gè)參數(shù)以字節(jié)的形式給出
myisam_repair_threads = 1
# 如果該值大于1,在Repair by sorting過(guò)程中并行創(chuàng)建MyISAM表索引(每個(gè)索引在自己的線程內(nèi))
interactive_timeout = 28800
# 服務(wù)器關(guān)閉交互式連接前等待活動(dòng)的秒數(shù)。交互式客戶端定義為在mysql_real_connect()中使用CLIENT_INTERACTIVE選項(xiàng)的客戶端。默認(rèn)值:28800秒(8小時(shí))
wait_timeout = 28800
# 服務(wù)器關(guān)閉非交互連接之前等待活動(dòng)的秒數(shù)。在線程啟動(dòng)時(shí),根據(jù)全局wait_timeout值或全局interactive_timeout值初始化會(huì)話wait_timeout值,
# 取決于客戶端類型(由mysql_real_connect()的連接選項(xiàng)CLIENT_INTERACTIVE定義)。參數(shù)默認(rèn)值:28800秒(8小時(shí))
# MySQL服務(wù)器所支持的最大連接數(shù)是有上限的,因?yàn)槊總€(gè)連接的建立都會(huì)消耗內(nèi)存,因此我們希望客戶端在連接到MySQL Server處理完相應(yīng)的操作后,
# 應(yīng)該斷開(kāi)連接并釋放占用的內(nèi)存。如果你的MySQL Server有大量的閑置連接,他們不僅會(huì)白白消耗內(nèi)存,而且如果連接一直在累加而不斷開(kāi),
# 最終肯定會(huì)達(dá)到MySQL Server的連接上限數(shù),這會(huì)報(bào)'too many connections'的錯(cuò)誤。對(duì)于wait_timeout的值設(shè)定,應(yīng)該根據(jù)系統(tǒng)的運(yùn)行情況來(lái)判斷。
# 在系統(tǒng)運(yùn)行一段時(shí)間后,可以通過(guò)show processlist命令查看當(dāng)前系統(tǒng)的連接狀態(tài),如果發(fā)現(xiàn)有大量的sleep狀態(tài)的連接進(jìn)程,則說(shuō)明該參數(shù)設(shè)置的過(guò)大,
# 可以進(jìn)行適當(dāng)?shù)恼{(diào)整小些。要同時(shí)設(shè)置interactive_timeout和wait_timeout才會(huì)生效。
[mysqldump]
quick
max_allowed_packet = 16M #服務(wù)器發(fā)送和接受的最大包長(zhǎng)度
[myisamchk]
key_buffer_size = 8M
sort_buffer_size = 8M
read_buffer = 4M
write_buffer = 4M
數(shù)據(jù)庫(kù)屬于 IO 密集型的應(yīng)用程序,其主要職責(zé)就是數(shù)據(jù)的管理及存儲(chǔ)工作。而我們知道,從內(nèi)存中讀取一個(gè)數(shù)據(jù)庫(kù)的時(shí)間是微秒級(jí)別,而從一塊普通硬盤上讀取一個(gè)IO是在毫秒級(jí)別,二者相差3個(gè)數(shù)量級(jí)。所以,要優(yōu)化數(shù)據(jù)庫(kù),首先第一步需要優(yōu)化的就是 IO,盡可能將磁盤IO轉(zhuǎn)化為內(nèi)存IO。本文先從 MySQL 數(shù)據(jù)庫(kù)IO相關(guān)參數(shù)(緩存參數(shù))的角度來(lái)看看可以通過(guò)哪些參數(shù)進(jìn)行IO優(yōu)化:
?query_cache_size/query_cache_type (global)
Query cache 作用于整個(gè) MySQL Instance,主要用來(lái)緩存 MySQL 中的 ResultSet,也就是一條SQL語(yǔ)句執(zhí)行的結(jié)果集,所以僅僅只能針對(duì)select語(yǔ)句。當(dāng)我們打開(kāi)了 Query Cache 功能,MySQL在接受到一條select語(yǔ)句的請(qǐng)求后,如果該語(yǔ)句滿足Query Cache的要求(未顯式說(shuō)明不允許使用Query Cache,或者已經(jīng)顯式申明需要使用Query Cache),MySQL 會(huì)直接根據(jù)預(yù)先設(shè)定好的HASH算法將接受到的select語(yǔ)句以字符串方式進(jìn)行hash,然后到Query Cache 中直接查找是否已經(jīng)緩存。也就是說(shuō),如果已經(jīng)在緩存中,該select請(qǐng)求就會(huì)直接將數(shù)據(jù)返回,從而省略了后面所有的步驟(如 SQL語(yǔ)句的解析,優(yōu)化器優(yōu)化以及向存儲(chǔ)引擎請(qǐng)求數(shù)據(jù)等),極大的提高性能。
當(dāng)然,Query Cache 也有一個(gè)致命的缺陷,那就是當(dāng)某個(gè)表的數(shù)據(jù)有任何任何變化,都會(huì)導(dǎo)致所有引用了該表的select語(yǔ)句在Query Cache 中的緩存數(shù)據(jù)失效。所以,當(dāng)我們的數(shù)據(jù)變化非常頻繁的情況下,使用Query Cache 可能會(huì)得不償失。
Query Cache的使用需要多個(gè)參數(shù)配合,其中最為關(guān)鍵的是 query_cache_size 和 query_cache_type ,前者設(shè)置用于緩存 ResultSet 的內(nèi)存大小,后者設(shè)置在何場(chǎng)景下使用 Query Cache。在以往的經(jīng)驗(yàn)來(lái)看,如果不是用來(lái)緩存基本不變的數(shù)據(jù)的MySQL數(shù)據(jù)庫(kù),query_cache_size 一般 256MB 是一個(gè)比較合適的大小。當(dāng)然,這可以通過(guò)計(jì)算Query Cache的命中率(Qcache_hits/(Qcache_hits+Qcache_inserts)*100))來(lái)進(jìn)行調(diào)整。query_cache_type可以設(shè)置為0(OFF),1(ON)或者2(DEMOND),分別表示完全不使用query cache,除顯式要求不使用query cache(使用sql_no_cache)之外的所有的select都使用query cache,只有顯示要求才使用query cache(使用sql_cache)。
?binlog_cache_size (global)
Binlog Cache 用于在打開(kāi)了二進(jìn)制日志(binlog)記錄功能的環(huán)境,是 MySQL 用來(lái)提高binlog的記錄效率而設(shè)計(jì)的一個(gè)用于短時(shí)間內(nèi)臨時(shí)緩存binlog數(shù)據(jù)的內(nèi)存區(qū)域。
一般來(lái)說(shuō),如果我們的數(shù)據(jù)庫(kù)中沒(méi)有什么大事務(wù),寫入也不是特別頻繁,2MB~4MB是一個(gè)合適的選擇。但是如果我們的數(shù)據(jù)庫(kù)大事務(wù)較多,寫入量比較大,可與適當(dāng)調(diào)高binlog_cache_size。同時(shí),我們可以通過(guò)binlog_cache_use 以及 binlog_cache_disk_use來(lái)分析設(shè)置的binlog_cache_size是否足夠,是否有大量的binlog_cache由于內(nèi)存大小不夠而使用臨時(shí)文件(binlog_cache_disk_use)來(lái)緩存了。
?key_buffer_size (global)
Key Buffer 可能是大家最為熟悉的一個(gè) MySQL 緩存參數(shù)了,尤其是在 MySQL 沒(méi)有更換默認(rèn)存儲(chǔ)引擎的時(shí)候,很多朋友可能會(huì)發(fā)現(xiàn),默認(rèn)的 MySQL 配置文件中設(shè)置最大的一個(gè)內(nèi)存參數(shù)就是這個(gè)參數(shù)了。key_buffer_size 參數(shù)用來(lái)設(shè)置用于緩存 MyISAM存儲(chǔ)引擎中索引文件的內(nèi)存區(qū)域大小。如果我們有足夠的內(nèi)存,這個(gè)緩存區(qū)域最好是能夠存放下我們所有的 MyISAM 引擎表的所有索引,以盡可能提高性能。
此外,當(dāng)我們?cè)谑褂肕yISAM 存儲(chǔ)的時(shí)候有一個(gè)及其重要的點(diǎn)需要注意,由于 MyISAM 引擎的特性限制了他僅僅只會(huì)緩存索引塊到內(nèi)存中,而不會(huì)緩存表數(shù)據(jù)庫(kù)塊。所以,我們的 SQL 一定要盡可能讓過(guò)濾條件都在索引中,以便讓緩存幫助我們提高查詢效率。
?bulk_insert_buffer_size (thread)
和key_buffer_size一樣,這個(gè)參數(shù)同樣也僅作用于使用 MyISAM存儲(chǔ)引擎,用來(lái)緩存批量插入數(shù)據(jù)的時(shí)候臨時(shí)緩存寫入數(shù)據(jù)。當(dāng)我們使用如下幾種數(shù)據(jù)寫入語(yǔ)句的時(shí)候,會(huì)使用這個(gè)內(nèi)存區(qū)域來(lái)緩存批量結(jié)構(gòu)的數(shù)據(jù)以幫助批量寫入數(shù)據(jù)文件:
insert … select …
insert … values (…) ,(…),(…)…
load data infile… into… (非空表)
?innodb_buffer_pool_size(global)
當(dāng)我們使用InnoDB存儲(chǔ)引擎的時(shí)候,innodb_buffer_pool_size 參數(shù)可能是影響我們性能的最為關(guān)鍵的一個(gè)參數(shù)了,他用來(lái)設(shè)置用于緩存 InnoDB 索引及數(shù)據(jù)塊的內(nèi)存區(qū)域大小,類似于 MyISAM 存儲(chǔ)引擎的 key_buffer_size 參數(shù),當(dāng)然,可能更像是 Oracle 的 db_cache_size。簡(jiǎn)單來(lái)說(shuō),當(dāng)我們操作一個(gè) InnoDB 表的時(shí)候,返回的所有數(shù)據(jù)或者去數(shù)據(jù)過(guò)程中用到的任何一個(gè)索引塊,都會(huì)在這個(gè)內(nèi)存區(qū)域中走一遭。
和key_buffer_size 對(duì)于 MyISAM 引擎一樣,innodb_buffer_pool_size 設(shè)置了 InnoDB 存儲(chǔ)引擎需求最大的一塊內(nèi)存區(qū)域的大小,直接關(guān)系到 InnoDB存儲(chǔ)引擎的性能,所以如果我們有足夠的內(nèi)存,盡可將該參數(shù)設(shè)置到足夠打,將盡可能多的 InnoDB 的索引及數(shù)據(jù)都放入到該緩存區(qū)域中,直至全部。
我們可以通過(guò) (Innodb_buffer_pool_read_requests – Innodb_buffer_pool_reads) / Innodb_buffer_pool_read_requests * 100% 計(jì)算緩存命中率,并根據(jù)命中率來(lái)調(diào)整 innodb_buffer_pool_size 參數(shù)大小進(jìn)行優(yōu)化。
?innodb_additional_mem_pool_size(global)
這個(gè)參數(shù)我們平時(shí)調(diào)整的可能不是太多,很多人都使用了默認(rèn)值,可能很多人都不是太熟悉這個(gè)參數(shù)的作用。innodb_additional_mem_pool_size 設(shè)置了InnoDB存儲(chǔ)引擎用來(lái)存放數(shù)據(jù)字典信息以及一些內(nèi)部數(shù)據(jù)結(jié)構(gòu)的內(nèi)存空間大小,所以當(dāng)我們一個(gè)MySQL Instance中的數(shù)據(jù)庫(kù)對(duì)象非常多的時(shí)候,是需要適當(dāng)調(diào)整該參數(shù)的大小以確保所有數(shù)據(jù)都能存放在內(nèi)存中提高訪問(wèn)效率的。
這個(gè)參數(shù)大小是否足夠還是比較容易知道的,因?yàn)楫?dāng)過(guò)小的時(shí)候,MySQL 會(huì)記錄 Warning 信息到數(shù)據(jù)庫(kù)的 error log 中,這時(shí)候你就知道該調(diào)整這個(gè)參數(shù)大小了。
?innodb_log_buffer_size (global)
這是 InnoDB 存儲(chǔ)引擎的事務(wù)日志所使用的緩沖區(qū)。類似于 Binlog Buffer,InnoDB 在寫事務(wù)日志的時(shí)候,為了提高性能,也是先將信息寫入 Innofb Log Buffer 中,當(dāng)滿足 innodb_flush_log_trx_commit 參數(shù)所設(shè)置的相應(yīng)條件(或者日志緩沖區(qū)寫滿)之后,才會(huì)將日志寫到文件(或者同步到磁盤)中。可以通過(guò) innodb_log_buffer_size 參數(shù)設(shè)置其可以使用的最大內(nèi)存空間。
注:innodb_flush_log_trx_commit 參數(shù)對(duì) InnoDB Log 的寫入性能有非常關(guān)鍵的影響。該參數(shù)可以設(shè)置為0,1,2,解釋如下:
0:log buffer中的數(shù)據(jù)將以每秒一次的頻率寫入到log file中,且同時(shí)會(huì)進(jìn)行文件系統(tǒng)到磁盤的同步操作,但是每個(gè)事務(wù)的commit并不會(huì)觸發(fā)任何log buffer 到log file的刷新或者文件系統(tǒng)到磁盤的刷新操作;
1:在每次事務(wù)提交的時(shí)候?qū)og buffer 中的數(shù)據(jù)都會(huì)寫入到log file,同時(shí)也會(huì)觸發(fā)文件系統(tǒng)到磁盤的同步;
2:事務(wù)提交會(huì)觸發(fā)log buffer 到log file的刷新,但并不會(huì)觸發(fā)磁盤文件系統(tǒng)到磁盤的同步。此外,每秒會(huì)有一次文件系統(tǒng)到磁盤同步操作。
此外,MySQL文檔中還提到,這幾種設(shè)置中的每秒同步一次的機(jī)制,可能并不會(huì)完全確保非常準(zhǔn)確的每秒就一定會(huì)發(fā)生同步,還取決于進(jìn)程調(diào)度的問(wèn)題。實(shí)際上,InnoDB 能否真正滿足此參數(shù)所設(shè)置值代表的意義正常 Recovery 還是受到了不同 OS 下文件系統(tǒng)以及磁盤本身的限制,可能有些時(shí)候在并沒(méi)有真正完成磁盤同步的情況下也會(huì)告訴 mysqld 已經(jīng)完成了磁盤同步。
?innodb_max_dirty_pages_pct (global)
這個(gè)參數(shù)和上面的各個(gè)參數(shù)不同,他不是用來(lái)設(shè)置用于緩存某種數(shù)據(jù)的內(nèi)存大小的一個(gè)參數(shù),而是用來(lái)控制在 InnoDB Buffer Pool 中可以不用寫入數(shù)據(jù)文件中的Dirty Page 的比例(已經(jīng)被修但還沒(méi)有從內(nèi)存中寫入到數(shù)據(jù)文件的臟數(shù)據(jù))。這個(gè)比例值越大,從內(nèi)存到磁盤的寫入操作就會(huì)相對(duì)減少,所以能夠一定程度下減少寫入操作的磁盤IO。
但是,如果這個(gè)比例值過(guò)大,當(dāng)數(shù)據(jù)庫(kù) Crash 之后重啟的時(shí)間可能就會(huì)很長(zhǎng),因?yàn)闀?huì)有大量的事務(wù)數(shù)據(jù)需要從日志文件恢復(fù)出來(lái)寫入數(shù)據(jù)文件中。同時(shí),過(guò)大的比例值同時(shí)可能也會(huì)造成在達(dá)到比例設(shè)定上限后的 flush 操作“過(guò)猛”而導(dǎo)致性能波動(dòng)很大。
上面這幾個(gè)參數(shù)是 MySQL 中為了減少磁盤物理IO而設(shè)計(jì)的主要參數(shù),對(duì) MySQL 的性能起到了至關(guān)重要的作用。
新聞標(biāo)題:mysql插入緩沖怎么用,mysql加緩存
URL鏈接:http://chinadenli.net/article5/dsihjii.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站內(nèi)鏈、網(wǎng)站收錄、微信公眾號(hào)、網(wǎng)頁(yè)設(shè)計(jì)公司、App設(shè)計(jì)、品牌網(wǎng)站建設(shè)
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)