怎么使Mysql數(shù)據(jù)同步

先假設(shè)有主機 A 和 B ( Linux 系統(tǒng))，主機 A 的 IP 分別是 1.2.3.4 (當(dāng)然，也可以是動態(tài)的)，主機 B 的 IP 是 5.6.7.8 。兩個主機都裝上了 PHP+Mysql ，現(xiàn)在操作的是主機 A 上的資料，如果另外一個主機 B 想跟 A 的資料進(jìn)行同步，應(yīng)該怎么做呢？

專注于為中小企業(yè)提供成都網(wǎng)站設(shè)計、成都網(wǎng)站制作服務(wù),電腦端+手機端+微信端的三站合一,更高效的管理,為中小企業(yè)柯坪免費做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動了上1000家企業(yè)的穩(wěn)健成長，幫助中小企業(yè)通過網(wǎng)站建設(shè)實現(xiàn)規(guī)模擴充和轉(zhuǎn)變。

OK，我們現(xiàn)在就動手。

首先，如果要想兩個主機間的資料同步，一種方法就是主機 A 往主機 B 送資料，另外一種主法就是主機 B 到主機 A 上拿資料，因為 A 的 IP 是動態(tài)的(假設(shè))，所以我們就得從主機 A 往主機 B 送資料。

在主機 B 上創(chuàng)建一個 Mysql 賬戶。

# GRANT ALL ON test.* TO user@% IDENTIFIED BY "password"; //創(chuàng)建用戶 user,可以從任何機器訪問到主機 B 上的 test 數(shù)據(jù)庫。

如果這里顯示錯誤，先把 % 改為一個 IP ，然后再利用 phpMyAdmin 把 IP 改為 % ，測試無誤后就可以寫 php 程序。

?

$link=mysql_pconnect("localhost","user","password");

mysql_pconnect("localhost","user","password"); //連接本機(主機A)的數(shù)據(jù)庫

mysql_select_db("test"); //選擇數(shù)據(jù)庫test

$re=mysql_query("select * from table order by id desc");

$num=mysql_numrows($re);

if (!empty($num)) {

$id=mysql_result($re,0,"id"); //獲得本機table表的最大ID

}

mysql_close($link); //關(guān)閉與本機數(shù)據(jù)庫的連接

$link=mysql_pconnect("5.6.7.8","test","test");

mysql_pconnect("5.6.7.8","test","test"); //連接主機B的數(shù)據(jù)庫

mysql_select_db("test"); //選擇數(shù)據(jù)庫test，此數(shù)據(jù)庫應(yīng)該與主機A上test數(shù)據(jù)庫的結(jié)構(gòu)一樣。

$re=mysql_query("select * from table order by id desc");

$num=mysql_numrows($re);

if (!empty($num)) {

$remote_id=mysql_result($re,0,"id"); //獲得主機Btable表的最大ID

}

if ($id$remote_id) {

$result_id=$id-$remote_id; //如果主機A中table的最大ID大于主機B中table表的最大ID，說明兩個

} 的資料不同

mysql_close($link); //關(guān)閉主機B的數(shù)據(jù)庫連接

$link=mysql_pconnect("localhost","user","password");

mysql_pconnect("localhost","user","password");

mysql_select_db("test");

if (empty($result_id)) $result_id=0;

if (empty($remote_id)) $remote_id=0; //如果主機B中的table的最大ID為空(里面沒有資料),那么就等0

$re=mysql_query("select * from table limit $remote_id,$result_id"); //取出主機A中table表與主機B中table表里不同的資料

$num=mysql_numrows($re);

if (!empty($num)) {

for ($i=0;$i$num;$i++) {

$test[$i]=mysql_result($re,$i,"test"); //把不同的資料放入一個數(shù)組里

}

}

mysql_close($link); //關(guān)閉主機A的數(shù)據(jù)庫連接

$link=mysql_pconnect("5.6.7.8","user","password");

mysql_pconnect("5.6.7.8","user","pasword");

mysql_select_db("test");

for ($j=0;$j$i;$j++) { //這里的i等于在比較主機A與主機B上table表不同資料的數(shù)量

mysql_query("insert into table (test) values(\'$test[$j]\')");

}

mysql_close($link); //關(guān)閉主機B的數(shù)據(jù)庫連接

?

這時就初步實現(xiàn)了 A 主機和 B 主機數(shù)據(jù)的同步，但現(xiàn)在還需要人手動每次去激活這個程序，有沒有辦法把它作為一個腳本一樣的，放在 crontab 里面指定時間自動執(zhí)行呢？

在安裝 php 時會自動生一個叫 php 的可執(zhí)行文件，一般在/你安裝的 php 目錄 /bin 下面，不過較底的版本好像沒有，如果沒有這個文件，你就得升級你的 php 。

#php -q test.php

php 原本是應(yīng)用在網(wǎng)頁應(yīng)用的﹐因此它會送出 HTML 的 Header﹐但是在此我們是要將 php 用作 Shell Script﹐"-q" 就是表示不要送出 Header 的意思.

最后編輯 /etc/crontab 里的文件，加上下面這一句。

0 0 * * * root /home/httpd/html/test //每天晚上零點執(zhí)/home/httpd/html/test文件(具體使用方法請查看cron的相關(guān)資料)

OK，到這里差不多就已完成 Mysql 數(shù)據(jù)的同步了，如果各位還有興趣的話，可以想一個連編輯、刪除都能同步的更好的辦法。

如何同步mysql數(shù)據(jù)到Doris中

Doris官網(wǎng)定義

mysql原始表結(jié)構(gòu)

1.doris中關(guān)聯(lián)mysql外表

結(jié)果如下：

2.doris中關(guān)聯(lián)kafka導(dǎo)入數(shù)據(jù)

查看作業(yè)

State為RUNNING，表示已經(jīng)成功。

停止作業(yè)

3.通過flink導(dǎo)入mysql數(shù)據(jù)到doris

方法1：通過mysql-cdc寫入kafka，kafka關(guān)聯(lián)doris表。

方法2：通過阿里云DTS-datahub，然后通過Flink寫入kafka，再關(guān)聯(lián)到doris外表

如何處理delete數(shù)據(jù)？對于方法1，需要手動的刪除doris中的數(shù)據(jù)；對于方法2，可以通過dts_operation_flag字段來標(biāo)示，dts_operation_flag可以為I/U/D，分別表示添加、更新和刪除。那我們就只需要在doris表中添加一個dts_operation_flag字段來標(biāo)示就可以了，查詢數(shù)據(jù)的時候就不再查詢等于D的值。

如何處理臟數(shù)據(jù)？delete doris中的數(shù)據(jù)，然后insert正確的值；還有個方法是將關(guān)聯(lián)一個外表（這個是正確的值），然后再將doris中的表和外表中的值diff，將diff的值insert到doris中。

如何設(shè)置MySQL同步

1、設(shè)置同步Master

每個同步服務(wù)器都必須設(shè)定一個唯一的編號，否則同步就不能正常運行了。接下來開始修改 my.cnf，增加以下幾行：

server-id = 1

log-bin

set-variable=binlog-ignore-db=mysql

然后在Master上增加一個賬號專門用于同步，如下：

mysqlGRANT REPLICATION SLAVE ON *.* TO rep@rep2 IDENTIFIED BY 'rep';

如果想要在Slave上有權(quán)限執(zhí)行 "LOAD TABLE FROM MASTER" 或 "LOAD DATA FROM MASTER" 語句的話，必須授予全局的 FILE 和 SELECT 權(quán)限：

mysqlGRANT FILE,SELECT,REPLICATION SLAVE ON *.* TO rep@rep2 IDENTIFIED BY 'rep';

第三行表示不記錄數(shù)據(jù)庫mysql的更新日志，這就避免了Master上的權(quán)限設(shè)置等被同步到Slave上，如果對這方面沒有限制，就可以不設(shè)置這個參數(shù)。

接下來備份Master上的數(shù)據(jù)，首先執(zhí)行如下SQL語句：

mysqlFLUSH TABLES WITH READ LOCK;

不要退出這個終端，否則這個鎖就不生效了；接著導(dǎo)出數(shù)據(jù)，可以直接打包壓縮數(shù)據(jù)文件，也可以使用mysqldump工具來做，推薦前者的方法，這樣更為快捷簡便。

怎么實現(xiàn)兩臺服務(wù)器的mysql數(shù)據(jù)同步

這種架構(gòu)一般用在以下三類場景

1. 備份多臺 Server 的數(shù)據(jù)到一臺如果按照數(shù)據(jù)切分方向來講，那就是垂直切分。比如圖 2，業(yè)務(wù) A、B、C、D 是之前拆分好的業(yè)務(wù)，現(xiàn)在需要把這些拆分好的業(yè)務(wù)匯總起來備份，那這種需求也很適用于多源復(fù)制架構(gòu)。實現(xiàn)方法我大概描述下：業(yè)務(wù) A、B、C、D 分別位于 4 臺 Server，每臺 Server 分別有一個數(shù)據(jù)庫來隔離前端的業(yè)務(wù)數(shù)據(jù)，那這樣，在從庫就能把四臺業(yè)務(wù)的數(shù)據(jù)全部匯總起來，而不需要做額外的操作。那沒有多源復(fù)制之前，要實現(xiàn)這類需求，只能在匯總機器上搭建多個 MySQL 實例，那這樣勢必會涉及到跨庫關(guān)聯(lián)的問題，不但性能急劇下降，管理多個實例也沒有單臺來的容易。

2. 用來聚合前端多個 Server 的分片數(shù)據(jù)。

同樣，按照數(shù)據(jù)切分方向來講，屬于水平切分。比如圖 3，按照年份拆分好的數(shù)據(jù)，要做一個匯總數(shù)據(jù)展現(xiàn)，那這種架構(gòu)也非常合適。實現(xiàn)方法稍微復(fù)雜些：比如所有 Server 共享同一數(shù)據(jù)庫和表，一般為了開發(fā)極端透明，前端配置有分庫分表的中間件，比如愛可生的 DBLE。

3. 匯總并合并多個 Server 的數(shù)據(jù)

第三類和第一種場景類似。不一樣的是不僅僅是數(shù)據(jù)需要匯總到目標(biāo)端，還得合并這些數(shù)據(jù)，這就比第一種來的相對復(fù)雜些。比如圖 4，那這樣的需求，是不是也適合多源復(fù)制呢？答案是 YES。那具體怎么做呢？

新聞標(biāo)題：怎么同步mysql的簡單介紹
標(biāo)題路徑：http://chinadenli.net/article18/dsicodp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供虛擬主機、定制網(wǎng)站、靜態(tài)網(wǎng)站、網(wǎng)站內(nèi)鏈、、企業(yè)建站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)