傳統(tǒng)情況

創(chuàng)新互聯(lián)建站堅(jiān)持“要么做到,要么別承諾”的工作理念,服務(wù)領(lǐng)域包括:成都網(wǎng)站建設(shè)、網(wǎng)站建設(shè)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣等服務(wù),滿足客戶于互聯(lián)網(wǎng)時(shí)代的奈曼網(wǎng)站設(shè)計(jì)、移動(dòng)媒體設(shè)計(jì)的需求,幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴!
我們先回顧一下,在沒有 "立刻加列" 功能時(shí),加列操作是怎么完成的。我們也借此來熟悉一下本期的圖例:
當(dāng)進(jìn)行 加列操作 時(shí),所有的數(shù)據(jù)行 都必須要 增加一段數(shù)據(jù)(圖中的 列 4 數(shù)據(jù))
如上一期圖解所講,當(dāng)改變數(shù)據(jù)行的長度,就需要 重建表空間(圖中灰藍(lán)的部分為發(fā)生變更的部分)
數(shù)據(jù)字典中的列定義也會(huì)被更新
以上操作的問題在于 每次加列 操作都需要重建表空間,這就需要大量 IO以及大量的時(shí)間
立刻加列
"立刻加列" 的過程如下圖:
請點(diǎn)擊輸入圖片描述
請點(diǎn)擊輸入圖片描述
"立刻加列" 時(shí),只會(huì)變更數(shù)據(jù)字典中的內(nèi)容,包括:
在列定義中增加 新列的定義
增加 新列的默認(rèn)值
"立刻加列"?后,當(dāng)要讀取表中的數(shù)據(jù)時(shí):
由于 "立刻加列" 沒有 變更行數(shù)據(jù),讀取的行數(shù)據(jù)只有 3 列
MySQL 會(huì)將 新增的第 4 列的默認(rèn)值,追加到 讀取的數(shù)據(jù)后
以上過程描述了 如何讀取?在 "立刻加列" 之前寫入的數(shù)據(jù),其實(shí)質(zhì)是:在讀取數(shù)據(jù)的過程中,"偽造"?了一個(gè)新列出來
那么如何讀取?在 "立刻加列" 之后?寫入的數(shù)據(jù)呢 ? 過程如下圖:
當(dāng)讀取 行 4 時(shí):
請點(diǎn)擊輸入圖片描述
請點(diǎn)擊輸入圖片描述
通過判斷?數(shù)據(jù)行的頭信息中的instant?標(biāo)志位,可以知道該行的格式是 "新格式":該行頭信息后有一個(gè)新字段?"列數(shù)"
通過讀取?數(shù)據(jù)行的?"列數(shù)"?字段,可以知道 該行數(shù)據(jù)中多少列有 "真實(shí)" 的數(shù)據(jù),從而按列數(shù)讀取數(shù)據(jù)
通過上圖可以看到:讀取?在"立刻加列"?前/后寫入的數(shù)據(jù)是不同的流程
通過以上的討論,我們可以總結(jié)?"立刻加列"?之所以高效的原因是:
在執(zhí)行?"立刻加列"?時(shí),不變更數(shù)據(jù)行的結(jié)構(gòu)
讀取 "舊" 數(shù)據(jù)時(shí),"偽造"?新增的列,使結(jié)果正確
寫入 "新" 數(shù)據(jù)時(shí),使用了新的數(shù)據(jù)格式(增加了instant標(biāo)志位 和?"列數(shù)"?字段),以區(qū)分新舊數(shù)據(jù)
讀取 "新" 數(shù)據(jù)時(shí),可以如實(shí)讀取數(shù)據(jù)
那么?我們是否能一直 "偽造"?下去???"偽造"?何時(shí)會(huì)被拆穿 ?
考慮以下場景:
用 "立刻加列" 增加列 A
寫入數(shù)據(jù)行 1
用 "立刻加列" 增加列?B
寫入數(shù)據(jù)行?2
刪除列?B
我們推測一下 "刪除列 B" 的最小代價(jià):需要修改 數(shù)據(jù)行中的instant標(biāo)志位或?"列數(shù)"?字段,這至少會(huì)影響到?"立刻加列"?之后寫入的數(shù)據(jù)行,成本類似于重建數(shù)據(jù)
從以上推測可知:當(dāng)出現(xiàn) 與?"立刻加列"?操作不兼容 的 DDL 操作時(shí),數(shù)據(jù)表需要進(jìn)行重建,如下圖所示:
請點(diǎn)擊輸入圖片描述
請點(diǎn)擊輸入圖片描述
擴(kuò)展思考題:是否能設(shè)計(jì)其他的數(shù)據(jù)格式,取代instant標(biāo)志位和?"列數(shù)"?字段,使得 加列/刪列 操作都能 "立刻完成" ?(提示:考慮 加列?- 刪列?- 再加列 的情況)
使用限制
在了解原理之后,我們來看看?"立刻加列"?的使用限制,就很容易能理解其中的前兩項(xiàng):
"立刻加列"?的加列位置只能在表的最后,而不能加在其他列之間
在元數(shù)據(jù)中,只記錄了 數(shù)據(jù)行 應(yīng)有多少列,而沒有記錄 這些列 應(yīng)出現(xiàn)的位置。所以無法實(shí)現(xiàn)指定列的位置
"立刻加列"?不能添加主鍵列
加列 不能涉及聚簇索引的變更,否則就變成了 "重建" 操作,不是 "立刻" 完成了
"立刻加列"不支持壓縮的表格式
按照 WL 的說法:"COMPRESSED is no need to supported"(沒必要支持不怎么用的格式)
總結(jié)回顧
我們總結(jié)一下上面的討論:
"立刻加列" 之所以高效的原因是:
在執(zhí)行 "立刻加列" 時(shí),不變更數(shù)據(jù)行的結(jié)構(gòu)
讀取 "舊" 數(shù)據(jù)時(shí),"偽造"?新增的列,使結(jié)果正確
寫入 "新" 數(shù)據(jù)時(shí),使用了新的數(shù)據(jù)格式?(增加了?instant 標(biāo)志位?和 "列數(shù)" 字段),以區(qū)分新舊數(shù)據(jù)
讀取 "新" 數(shù)據(jù)時(shí),可以如實(shí)讀取數(shù)據(jù)
"立刻加列"?的 "偽造" 手法,不能一直維持下去。當(dāng)發(fā)生?與 "立刻加列" 操作不兼容?的 DDL?時(shí),表數(shù)據(jù)就會(huì)發(fā)生重建
回到之前遺留的兩個(gè)問題:
"立刻加列" 是如何工作的 ?
我們已經(jīng)解答了這個(gè)問題
所謂 "立刻加列" 是否完全不影響業(yè)務(wù),是否是真正的 "立刻" 完成 ?
可以看到:就算是 "立刻加列",也需要變更 數(shù)據(jù)字典,那么 該上的鎖還是逃不掉的。也就是說 這里的 "立刻" 指的是 "不變更數(shù)據(jù)行的結(jié)構(gòu)",而并非指 "零成本地完成任務(wù)"
一、添加字段的命令如下:alter table tableName add newColumn varchar(8) comment '新添加的字段'
1、添加單行字段:
ALTER TABLE role
ADD `module` int(11) UNSIGNED NOT NULL DEFAULT 0 COMMENT '模塊';
2、添加多行字段:
ALTER TABLE role
ADD COLUMN `module` int(11) UNSIGNED NOT NULL DEFAULT 0 COMMENT '模塊',
ADD COLUMN `type` VARCHAR(30) NOT NULL COMMENT '項(xiàng)目' AFTER `default_module`;
擴(kuò)展資料
增加字段注意事項(xiàng):
1、在增加字段的語句中需要注意的是,comment為注釋,就像在java中//作用是一樣的。
2、comment后需要加單引號(hào)將注釋引起來。
3、創(chuàng)建新表的腳本中,可在字段定義腳本中添加comment屬性來添加注釋。
參考資料 百度百科 mySQL
給表添加字段的命令如下:
alter table tableName add newColumn varchar(8) comment '新添加的字段'
注意:
1、在這句語句中需要注意的是,comment為注釋,就像在java中//作用是一樣的。
2、comment后需要加單引號(hào)將注釋引起來。
1. 能不加字段就不要加, 能不修改字段就不要修改, 能不刪除字段就不要?jiǎng)h除, 等等為什么要?jiǎng)h除字段呢? 如果沒事,不要蛋疼的找事。 實(shí)際上,我們那次更新失敗后, 我們并沒有增加那個(gè)字段, 然后我們一直運(yùn)行到今天, 但是后來還是增加了其他字段
2. 增加字段的情況下, 如果可以通過增加一個(gè)新的表來增加這個(gè)字段, 那么就增加一個(gè)新的表, 通過cache 或 程序來實(shí)現(xiàn)join 的效果
3. 如果能停機(jī), 并且停機(jī)的時(shí)間在你容忍范圍之內(nèi), 數(shù)據(jù)備份之后停機(jī)來做。 如果是主從備份,做這樣大的操作的時(shí)候,停掉主從備份, 萬一你掛了, 備份數(shù)據(jù)庫可以救你。 等到一切安全了, 重啟主從備份;
4. 如果上面都不行, 這個(gè)字段還是要改,要加, 需要用到下面的方法, 也是扇貝網(wǎng)正在使用的方法;
修改大數(shù)據(jù)表的方法:
1. 被修改的表 Table A 需要有一個(gè)記錄時(shí)間戳的字段, 這個(gè)時(shí)間戳就是每次數(shù)據(jù)更新,都會(huì)更新的字段, 這個(gè)字段需要有索引,在django里可以使用 auto_now=True
2. 創(chuàng)建一個(gè)新的臨時(shí)表 Table B, 不是tmp_table, 是一個(gè)新的表,但是是臨時(shí)使用的。 這個(gè)表和要修改的表擁有一模一樣的數(shù)據(jù)結(jié)構(gòu), 加上你要修改的部分, 比如增加的字段;
3. 記錄下Table A 的索引
4. 刪除 Table B 的全部索引
5. 把Table A 的數(shù)據(jù)全部復(fù)制到Table B, 是不是執(zhí)行 INSERT INTO B(field1, field2) SELECT field1, field2 FROM A? 當(dāng)然不是, 這么做不還是鎖死了Table A 么, 這里的遷移就是一個(gè)需要細(xì)分的地方,需要寫一個(gè)腳本, 讓程序每次讀取比如5000條數(shù)據(jù)出來, 插入到Table B里面, 因?yàn)門able B 是沒有索引的, 所以要當(dāng)心不要使用多進(jìn)程來做; 如果是多進(jìn)程, 要確保插入到B的時(shí)候是不會(huì)有重復(fù)數(shù)據(jù)的; 如果是1000萬的數(shù)據(jù),每次5000條, 假設(shè)這個(gè)操作需要500ms, 那么 2000*200ms = 16 分鐘。 這只是一個(gè)估值, 具體情況和服務(wù)器當(dāng)時(shí)的情況有關(guān), 不好細(xì)說。 另外, 我們要記錄這個(gè)遷移開始的時(shí)間點(diǎn),記為t1;
6. 那么這個(gè)時(shí)候Table A 的數(shù)據(jù)是不是都進(jìn)入了Table B 呢, 應(yīng)當(dāng)說差不多大部分都進(jìn)入了, 但5中說, 這大概需要16分鐘, 這么長的時(shí)間里, 可能有新的數(shù)據(jù)進(jìn)入了, 也有可能已有的數(shù)據(jù)發(fā)生了更新, 所以我們要把Table A 中在t1 之后發(fā)生變化的數(shù)據(jù)查找出來, 然后更新到Table B 中, 我們的做法是:
記錄這個(gè)操作對(duì)應(yīng)的時(shí)間點(diǎn) t2
BEGIN;
DELETE FROM B WHERE updated_time t1;
INSERT INTO B(field1, field2) SELECT field1, field2 FROM A WHERE updated_time t1;
COMMIT;
7. 現(xiàn)在A 和 B 差不多該同步了吧? 差不多了, 但是6 執(zhí)行完之后, A仍然在寫, 子子孫孫無窮盡也 ... , 但這個(gè)時(shí)候 A 和 B 的差異已經(jīng)非常非常小了, 所以在下一步,我們在一個(gè)transaction 里執(zhí)行下面的操作:
BEGIN;
DELETE FROM B WHERE updated_time t2;
INSERT INTO B(field1, field2) SELECT field1, field2 FROM A WHERE updated_time t2;
ALTER TABLE A RENAME TO C;
ALTER TABLE B RENAME TO A;
COMMIT;
8. Done
PS: 如果A表沒有時(shí)間戳, 實(shí)際上沒有先見之明的人大概不會(huì)想到要預(yù)留一個(gè)時(shí)間戳的字段, 那么幾乎是沒有辦法快速比較兩個(gè)表的差異的, 這個(gè)時(shí)候我選擇的做法就是放棄修改的數(shù)據(jù), 只管新的數(shù)據(jù)了, 所以只要把t1, t2 換成id 就可以了, 這樣delete 語句也省略了, 因?yàn)闆]啥好delete的;
千萬不要想著根據(jù)ID 來JOIN 然后更新B表的字段來補(bǔ)齊新的數(shù)據(jù), 如果能把兩個(gè)千萬級(jí)別的表JOIN起來, 內(nèi)存有多大呢?
9. 上面的解決方案是我們第二次嘗試之后犯下了一個(gè)巨大的錯(cuò)誤,這個(gè)錯(cuò)誤導(dǎo)致網(wǎng)站癱瘓了大概20分鐘, 如果你和我一樣沒有發(fā)現(xiàn)問題,那么這就是悲劇的地方。 問題就在于我是根據(jù)上面的PS來操作的, 然后B就華麗地變成了A. B 表至今身上是沒有索引的, 立即悲劇。 所以應(yīng)當(dāng)在第5步之后按照A的索引為B建立索引, 待索引全部好了之后, 再繼續(xù)6。 如果不是走PS這條路, 而是有時(shí)間戳的字段的話, 在6的時(shí)候會(huì)發(fā)現(xiàn)這個(gè)問題, 因?yàn)槟菞lDelete 慢的超出想像, 會(huì)明白這里是有問題的
10. 新手, 請?jiān)诒镜鼐毩?xí)之后, 再實(shí)際操作; 可以多操作幾次, 寫一個(gè)腳本,服務(wù)器上直接執(zhí)行腳本.
當(dāng)前名稱:怎么在mysql表添加段 給mysql表添加字段
文章起源:http://chinadenli.net/article14/ddgchge.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供自適應(yīng)網(wǎng)站、虛擬主機(jī)、ChatGPT、響應(yīng)式網(wǎng)站、網(wǎng)頁設(shè)計(jì)公司、建站公司
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)