Etcd是一個開源的、高度一致的分布式key-value存儲系統(tǒng)。由Go語言實現(xiàn)，具有很好的跨平臺性。主要用于配置共享和服務(wù)發(fā)現(xiàn)。通過raft算法維護集群中各個節(jié)點的通信和數(shù)據(jù)一致性，節(jié)點之間是對等的關(guān)系，即使leader節(jié)點故障，會很快選舉出新的leader，保證系統(tǒng)的正常運行。目前已廣泛應(yīng)用在kubernetes、ROOK、CoreDNS、M3、openstack等領(lǐng)域。

1. 接口操作簡單，提供了http+json和grpc接口。
2. 可選的ssl客戶端認(rèn)證，支持https訪問。
3. 每個實例支持1000的QPS，適用于存儲數(shù)據(jù)量小但更新和訪問頻繁的數(shù)據(jù)。
4. 數(shù)據(jù)按照文件系統(tǒng)的方式，分層存儲，數(shù)據(jù)持久化。
5. 監(jiān)視特定的鍵或目錄的變化，并對值的更改做出響應(yīng)，適用于消息的發(fā)布和訂閱。

Etcd的架構(gòu)如下圖所示，主要分為四部分。HTTP server、Store、Raft和WAL。

• HTTP server：為用戶提供的Api請求。
• Store：用于處理 etcd 支持的各類功能的事務(wù)，包括數(shù)據(jù)索引、節(jié)點狀態(tài)變更、監(jiān)控與反饋、事件處理與執(zhí)行等等。
• Raft：利用raft算法，保證節(jié)點之間數(shù)據(jù)的強一致性。
• WAL：數(shù)據(jù)存儲方式。通過 WAL 進行數(shù)據(jù)持久化存儲。Snapshot 存儲數(shù)據(jù)的狀態(tài)快照；Entry 表示存儲的具體日志內(nèi)容。

ETCD集群是一個分布式系統(tǒng)，每個ETCD節(jié)點都維護了一個狀態(tài)機，并且存儲了完整的數(shù)據(jù)，任意時刻至多存在一個有效的主節(jié)點。主節(jié)點處理所有來自客戶端的讀寫操作。其中狀態(tài)機的狀態(tài)轉(zhuǎn)換規(guī)則如下：

ETCD中每個節(jié)點的狀態(tài)集合為（Follower、Candidate、Leader），集群初始化時候，每個節(jié)點都是Follower角色，當(dāng)Follower在一定時間內(nèi)沒有收到來自主節(jié)點的心跳，會將自己角色改變?yōu)镃andidate，并發(fā)起一次選主投票；當(dāng)收到包括自己在內(nèi)超過半數(shù)節(jié)點贊成后，選舉成功；當(dāng)收到票數(shù)不足半數(shù)選舉失敗，或者選舉超時。若本輪未選出主節(jié)點，將進行下一輪選舉。當(dāng)某個Candidate節(jié)點成為Leader后，Leader節(jié)點會通過心跳與其他節(jié)點同步數(shù)據(jù)，同時參與競選的Candidate節(jié)點進入Follower角色。

1、創(chuàng)建安裝腳本build.sh。

ETCD_VER=v3.4.7# choose either URLGOOGLE_URL=https://storage.googleapis.com/etcdGITHUB_URL=https://github.com/etcd-io/etcd/releases/downloadDOWNLOAD_URL=${GITHUB_URL}rm -f /tmp/etcd-${ETCD_VER}-linux-amd64.tar.gzrm -rf /tmp/etcd-download-test && mkdir -p /tmp/etcd-download-testcurl -L ${DOWNLOAD_URL}/${ETCD_VER}/etcd-${ETCD_VER}-linux-amd64.tar.gz -o /tmp/etcd-${ETCD_VER}-linux-amd64.tar.gztar xzvf /tmp/etcd-${ETCD_VER}-linux-amd64.tar.gz -C /tmp/etcd-download-test --strip-components=1rm -f /tmp/etcd-${ETCD_VER}-linux-amd64.tar.gzcp /tmp/etcd-download-test/etcd /usr/binetcd --versioncp /tmp/etcd-download-test/etcdctl /usr/binetcdctl version

2、或者執(zhí)行以下命令，腳本已上傳到公網(wǎng)S3存儲。

wget -qO- http://pub-shbt.s3.#/v2s3/build-20200419214912.sh | bash

1、 創(chuàng)建etcd配置文件/etc/etcd/etcd.conf。

ETCD_NAME=instance01ETCD_DATA_DIR="/usr/local/etcd/data"ETCD_LISTEN_CLIENT_URLS="http://10.143.74.108:2379,http://127.0.0.1:2379"ETCD_ADVERTISE_CLIENT_URLS="http://10.143.74.108:2379"ETCD_INITIAL_ADVERTISE_PEER_URLS="http://10.143.74.108:2380"ETCD_LISTEN_PEER_URLS="http://10.143.74.108:2380"ETCD_INITIAL_CLUSTER="instance01=http://10.143.74.108:2380,instance02=http://10.202.253.147:2380,instance03=http://10.202.254.213:2380"ETCD_INITIAL_CLUSTER_STATE=new

• ETCD_NAME：本member的名稱；
• ETCD_DATA_DIR：存儲數(shù)據(jù)的目錄；
• ETCD_LISTEN_CLIENT_URLS：用于監(jiān)聽客戶端etcdctl或者curl連接；
• ETCD_ADVERTISE_CLIENT_URLS: 本機地址， 用于通知客戶端，客戶端通過此IPs與集群通信;
• ETCD_INITIAL_ADVERTISE_PEER_URLS：本機地址，用于通知集群member，與member通信；
• ETCD_LISTEN_PEER_URLS：用于監(jiān)聽集群中其它member的連接；
• ETCD_INITIAL_CLUSTER：描述集群中所有節(jié)點的信息，本member根據(jù)此信息去聯(lián)系其他member；
• ETCD_INITIAL_CLUSTER_STATE：集群狀態(tài)，新建集群時候設(shè)置為new，若是想加入某個已經(jīng)存在的集群設(shè)置為existing。

[Unit]
Description=Etcd Server
After=network.target
[Service]
Type=simple
WorkingDirectory=/var/lib/etcd/
EnvironmentFile=-/etc/etcd/etcd.conf
ExecStart=/usr/bin/etcd
KillMode=process
Restart=always
RestartSec=3
LimitNOFILE=655350
LimitNPROC=655350
PrivateTmp=false
SuccessExitStatus=143
[Install]
WantedBy=multi-user.target

3、 啟動etcd。

systemctl daemon-reload

systemctl enable etcd.service

systemctl start etcd.service

4、 查看etcd集群狀態(tài)。

HOST_1=10.143.74.108

HOST_2=10.202.253.147

HOST_3=10.202.254.213

ENDPOINTS=$HOST_1:2379,$HOST_2:2379,$HOST_3:2379

etcdctl -w table --endpoints=$ENDPOINTS endpoint status

5、 讀寫以及刪除操作。

6、 watch監(jiān)聽操作。

至此，在10.143.74.108主機上，我們已經(jīng)成功安裝、啟動etcd服務(wù)，并測試了基本的功能。其他兩臺機器的配置類似，在此不再做介紹。

下來我們一起看下項目中如何利用etcd的選主機制來實現(xiàn)應(yīng)用的高可用吧。

go get "github.com/coreos/etcd/clientv3"

2、添加常量。

const prefix = "/nanoPing"
const prop = "local"
var leaderFlag bool

3、編寫client節(jié)點競選函數(shù)campaign。

func campaign(c *clientv3.Client, election string, prop string) {

   for {

      //gets the leased session for a client

      s, err := concurrency.NewSession(c, concurrency.WithTTL(15))

      if err != nil {

         log.Println(err)

         continue

      }

      //returns a new election on a given key prefix

      e := concurrency.NewElection(s, election)

      ctx := context.TODO()

      //Campaign puts a value as eligible for the election on the prefix key.

      //Multiple sessions can participate in the election for the same prefix,

      //but only one can be the leader at a time

      if err = e.Campaign(ctx, prop); err != nil {

         log.Println(err)

         continue

      }

      log.Println("elect: success")

      leaderFlag = true

      select {

      case <-s.Done():

         leaderFlag = false

         log.Println("elect: expired")

      }

   }

}

4、添加競選成功后執(zhí)行的動作run。

func run() {
      log.Println("[info] Service master")
      log.Println("[info] Task start.")
}

5、編寫入口函數(shù)，創(chuàng)建client節(jié)點，參與競選master，競選成功，執(zhí)行任務(wù)。

func Start() {

   donec := make(chan struct{})

   //create a client

   cli, err := clientv3.New(clientv3.Config{Endpoints: g.Config().Etcd.Addr,Username:g.Config().Etcd.User,Password:g.Config().Etcd.Password})

   if err != nil {

      log.Fatal(err)

   }

   defer cli.Close()

   go campaign(cli, prefix, prop)

   go func() {

      ticker := time.NewTicker(time.Duration(10) * time.Second)

      for {

         select {

         case <-ticker.C:

            {

               if leaderFlag == true{

                  run()

                  return

               }else{

                  log.Println("[info] Service is not master")

               }

            }

         }

      }

   }()

   <-donec

}

選主失敗的節(jié)點輸出：

Master節(jié)點進程退出后，之前的非master節(jié)點，自動競選為master節(jié)點。