一、簡介

成都創(chuàng)新互聯(lián)一直在為企業(yè)提供服務(wù)，多年的磨煉，使我們在創(chuàng)意設(shè)計(jì)，全網(wǎng)營銷推廣到技術(shù)研發(fā)擁有了開發(fā)經(jīng)驗(yàn)。我們擅長傾聽企業(yè)需求，挖掘用戶對產(chǎn)品需求服務(wù)價(jià)值，為企業(yè)制作有用的創(chuàng)意設(shè)計(jì)體驗(yàn)。核心團(tuán)隊(duì)擁有超過十年以上行業(yè)經(jīng)驗(yàn)，涵蓋創(chuàng)意，策化，開發(fā)等專業(yè)領(lǐng)域，公司涉及領(lǐng)域有基礎(chǔ)互聯(lián)網(wǎng)服務(wù)西部信息服務(wù)器托管、App定制開發(fā)、手機(jī)移動(dòng)建站、網(wǎng)頁設(shè)計(jì)、網(wǎng)絡(luò)整合營銷。

Calico是一個(gè)純?nèi)龑拥膮f(xié)議，為OpenStack虛機(jī)和Docker容器提供多主機(jī)間通信。Calico不使用重疊網(wǎng)絡(luò)比如flannel和libnetwork重疊網(wǎng)絡(luò)驅(qū)動(dòng)，它是一個(gè)純?nèi)龑拥姆椒ǎ褂锰摂M路由代替虛擬交換，每一臺虛擬路由通過BGP協(xié)議傳播可達(dá)信息（路由）到剩余數(shù)據(jù)中心。

 為什么Calico網(wǎng)絡(luò)選擇BGP？

  參考地址：https://blog.51cto.com/weidawei/2152319

我們在Calico網(wǎng)絡(luò)中使用BGP去宣告數(shù)據(jù)終端（end points）路由是因?yàn)槿缦略颍?/p>

（1）BGP是一種簡單的路由協(xié)議

（2）擁有當(dāng)前行業(yè)的最佳實(shí)踐

（3）唯一能夠支撐Calico網(wǎng)絡(luò)規(guī)模的協(xié)議

1、原理

如下圖所示，描述了從源容器經(jīng)過源宿主機(jī)，經(jīng)過數(shù)據(jù)中心的路由，然后到達(dá)目的宿主機(jī)最后分配到目的容器的過程。

整個(gè)過程中始終都是根據(jù)iptables規(guī)則進(jìn)行路由轉(zhuǎn)發(fā)，并沒有進(jìn)行封包，解包的過程，這和flannel相比效率就會(huì)快多了。

2、框架

calico包括如下重要組件：Felix，etcd，BGP Client，BGP Route Reflector。下面分別說明一下這些組件。

（1）Felix：主要負(fù)責(zé)路由配置以及ACLS規(guī)則的配置以及下發(fā)，它存在在每個(gè)node節(jié)點(diǎn)上。

（2）etcd：分布式鍵值存儲(chǔ)，主要負(fù)責(zé)網(wǎng)絡(luò)元數(shù)據(jù)一致性，確保Calico網(wǎng)絡(luò)狀態(tài)的準(zhǔn)確性，可以與kubernetes共用；

（3）BGP Client(BIRD), 主要負(fù)責(zé)把 Felix寫入 kernel的路由信息分發(fā)到當(dāng)前 Calico網(wǎng)絡(luò)，確保 workload間的通信的有效性；

（4）BGPRoute Reflector(BIRD), 大規(guī)模部署時(shí)使用，摒棄所有節(jié)點(diǎn)互聯(lián)的mesh模式，通過一個(gè)或者多個(gè) BGPRoute Reflector 來完成集中式的路由分發(fā)；

二、服務(wù)搭建

1、環(huán)境準(zhǔn)備

1）系統(tǒng)環(huán)境

主機(jī)名	系統(tǒng)	宿主IP	服務(wù)
master01	CentOS7.4	172.169.18.210	docker1.13.1 etcd3.2.22 calico2.6.10
node01	CentOS7.4	172.169.18.162	docker1.13.1 etcd3.2.22 calico2.6.10
node02	CentOS7.4	172.169.18.180	docker1.13.1 etcd3.2.22 calico2.6.10

2）暫時(shí)關(guān)閉防火墻和selinux服務(wù)

3）配置hosts,添加如下

# vim /etc/hosts

172.169.18.210 master01

172.169.18.162 node01

172.169.18.180 node02

2、安裝docker服務(wù)（三個(gè)節(jié)點(diǎn)）

1）yum安裝docker1.13版本

# yum install docker -y

2）修改默認(rèn)docker0的網(wǎng)卡信息

# vim /etc/docker/daemon.json

#追加如下參數(shù)

"bip":"172.169.10.1/24"

其他節(jié)點(diǎn)：

node01網(wǎng)絡(luò)地址：172.169.20.1/24

node01網(wǎng)絡(luò)地址：172.169.30.1/24

重啟docker服務(wù)

3、安裝etcd服務(wù)（在三個(gè)節(jié)點(diǎn)機(jī)上都要安裝etcd，構(gòu)成etcd集群環(huán)境）

1）yum安裝etcd3.2.22版本

# yum install etcd -y

2）修改etcd配置文件

# vim /etc/etcd/etcd.conf

#maser01節(jié)點(diǎn)

ETCD_DATA_DIR="/var/lib/etcd/"

ETCD_LISTEN_PEER_URLS="http://0.0.0.0:2380"

ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379,http://127.0.0.1:4001"

ETCD_NAME="master01"

ETCD_ADVERTISE_CLIENT_URLS="http://0.0.0.0:2379"

ETCD_INITIAL_CLUSTER="master01=http://172.169.18.210:2380,node01=http://172.169.18.162:2380,node02=http://172.169.18.180:2380"

ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"

ETCD_INITIAL_CLUSTER_STATE="new"

#node01節(jié)點(diǎn)

ETCD_DATA_DIR="/var/lib/etcd"

ETCD_LISTEN_PEER_URLS="http://0.0.0.0:2380"

ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379,http://127.0.0.1:4001"

ETCD_NAME="node01"

ETCD_ADVERTISE_CLIENT_URLS="http://0.0.0.0:2379"

ETCD_INITIAL_CLUSTER="master01=http://172.169.18.210:2380,node01=http://172.169.18.162:2380,node02=http://172.169.18.180:2380"

ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"

ETCD_INITIAL_CLUSTER_STATE="new"

#node02

ETCD_DATA_DIR="/var/lib/etcd/default.etcd"

ETCD_LISTEN_PEER_URLS="http://0.0.0.0:2380"

ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379,http://0.0.0.0:4001"

ETCD_NAME="node02"

ETCD_ADVERTISE_CLIENT_URLS="http://0.0.0.0:2379"

ETCD_INITIAL_CLUSTER="master01=http://172.169.18.210:2380,node01=http://172.169.18.162:2380,node02=http://172.169.18.180:2380"

ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"

ETCD_INITIAL_CLUSTER_STATE="new"

按如上配置分別啟動(dòng)集群，啟動(dòng)集群后，將會(huì)進(jìn)入集群選舉狀態(tài)，若出現(xiàn)大量超時(shí)，則需要檢查主機(jī)的防火墻是否關(guān)閉，或主機(jī)之間是否能通過2380端口通信，集群建立后通過以下命令檢查集群狀態(tài)。

3）在任意節(jié)點(diǎn)查看集群狀態(tài)

# etcdctl member list

當(dāng)關(guān)閉master01節(jié)點(diǎn)后，選舉自動(dòng)切換到node02上

4）檢查集群健康狀態(tài)（在三個(gè)節(jié)點(diǎn)中的任意一個(gè)上面都可以查看）

# etcdctl cluster-health

到此，etcd集群搭建完畢！！！

4、搭建Calico服務(wù)（docker集合采用2.6版本）

備注：新老版本的執(zhí)行命令有所差異，注意了！！！

Calico實(shí)現(xiàn)了一個(gè)Docker網(wǎng)絡(luò)插件，可用于為Docker容器提供路由和高級網(wǎng)絡(luò)策略。

calico地址：https://github.com/projectcalico/calicoctl/tags

1）下載

# wget -O  /usr/local/bin/calicoctlhttps://github.com/projectcalico/calicoctl/releases/download/v1.6.4/calicoctl

# chmod +x /usr/local/bin/calicoctl

2）配置calicoctl - etcdv2數(shù)據(jù)存儲(chǔ)區(qū)

官方配置地址：https://docs.projectcalico.org/v2.6/reference/calicoctl/setup/etcdv2

# mkdir -p /etc/calico

# vim /etc/calico/calicoctl.cfg

# cat /etc/calico/calicoctl.cfg

apiVersion: v1

kind: calicoApiConfig

metadata:

spec:

 datastoreType: "etcdv2"

 etcdEndpoints: http://172.169.18.210:2379,http://172.169.18.162:2379,http://172.169.18.180:2379

3)幫助信息

# calicoctl -help

啟動(dòng)Calico服務(wù)

在Docker環(huán)境中Calico服務(wù)是做為容器來運(yùn)行的，使用host的網(wǎng)絡(luò)配置。所有容器配置使用Calico服務(wù)，做為calico節(jié)點(diǎn)互相通信。

Calico在每個(gè)主機(jī)上通過一個(gè)自己的container與其他主機(jī)或者網(wǎng)絡(luò)通訊，即calico-node的container，這個(gè)container里面包含了Bird路由管理、Felix協(xié)議等。

4）在三個(gè)節(jié)點(diǎn)上都要下載calico的node鏡像

（可以先在一個(gè)節(jié)點(diǎn)上下載鏡像，然后將鏡像通過docker save導(dǎo)出保存到本地，再將鏡像拷貝到其他節(jié)點(diǎn)上通過docker load導(dǎo)入，這樣對于其他節(jié)點(diǎn)來說，比使用docker pull要快）

[root@master01 ~]# docker pull calico/node:v2.6.10

[root@master01 ~]# docker pull calico/node-libnetwork

5.1）啟動(dòng)三個(gè)節(jié)點(diǎn)的node服務(wù)（方法一）

#master01節(jié)點(diǎn)（指定版本--node-image=calico/node:v2.6.10）

# calicoctl node run --node-image=calico/node:v2.6.10 --ip=172.169.18.210

#node01

# calicoctl node run --node-image=calico/node:v2.6.10 --ip=172.169.18.162

#node02

# calicoctl node run --node-image=calico/node:v2.6.10 --ip=172.169.18.180

5.2）啟動(dòng)三個(gè)節(jié)點(diǎn)的node服務(wù)（方法二）

#創(chuàng)建system service文件

# EnvironmentFile：ExecStart中大量引用的環(huán)境變量，在/etc/calico/calico.env文件中設(shè)置；

# ExecStartPre操作：如果環(huán)境中存在calico-node服務(wù)，刪除；

# ExecStart操作：”--net”設(shè)置網(wǎng)絡(luò)參數(shù)；“--privileged”以特權(quán)模式運(yùn)行；‘“--nam”設(shè)置容器名；“calico/node:v2.6.10”指定鏡像，這里默認(rèn)是“quay.io/calico/node:v2.6.10”；

# ExecStop操作：停止容器；

# -v /var/run/docker.sock:/var/run/docker.sock：此映射關(guān)系在官方文檔中未給出；

# 會(huì)導(dǎo)致在創(chuàng)建容器時(shí)報(bào)錯(cuò)“docker: Error response from daemon: failed to create endpoint test1 on network net1: NetworkDriver.CreateEndpoint: Network 44322b3b9b8c5eface703e1dbeb7e3755f47ede1761a72ea4cb7cec6d31ad2e5 inspection error: Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?.”；

# 即在calico類型的網(wǎng)絡(luò)上不能創(chuàng)建容器，因?yàn)闊o法調(diào)用docker服務(wù)的sock，需要指明calico服務(wù)調(diào)用docker sock的路徑，請見：https://github.com/projectcalico/calico/issues/1303

# vim /usr/lib/systemd/system/calico.service

[Unit]

Description=calico-node

After=docker.service

Requires=docker.service

[Service]

EnvironmentFile=/etc/calico/calico.env

ExecStartPre=-/usr/bin/docker rm -f calico-node

ExecStart=/usr/bin/docker run --net=host --privileged \

--name=calico-node \

-e NODENAME=${CALICO_NODENAME} \

-e IP=${CALICO_IP} \

-e IP6=${CALICO_IP6} \

-e CALICO_NETWORKING_BACKEND=${CALICO_NETWORKING_BACKEND} \

-e AS=${CALICO_AS} \

-e NO_DEFAULT_POOLS=${CALICO_NO_DEFAULT_POOLS} \

-e CALICO_LIBNETWORK_ENABLED=${CALICO_LIBNETWORK_ENABLED} \

-e ETCD_ENDPOINTS=${ETCD_ENDPOINTS} \

-e ETCD_CA_CERT_FILE=${ETCD_CA_CERT_FILE} \

-e ETCD_CERT_FILE=${ETCD_CERT_FILE} \

-e ETCD_KEY_FILE=${ETCD_KEY_FILE} \

-v /var/log/calico:/var/log/calico \

-v /run/docker/plugins:/run/docker/plugins \

-v /var/run/docker.sock:/var/run/docker.sock \

-v /lib/modules:/lib/modules \

-v /var/run/calico:/var/run/calico \

calico/node:v2.6.10

ExecStop=-/usr/bin/docker stop calico-node

Restart=on-failure

StartLimitBurst=3

StartLimitInterval=60s

[Install]

WantedBy=multi-user.target

#calico.env變量文件

# vim /etc/calico/calico.env

ETCD_ENDPOINTS=http://172.169.128.210:2379,http://172.169.18.162:2379,http://172.169.18.180:2379

# 啟用ssl/tls時(shí)，認(rèn)證相關(guān)文件位置

ETCD_CA_FILE=""

ETCD_CERT_FILE=""

ETCD_KEY_FILE=""

# 留空時(shí)默認(rèn)采用主機(jī)hostname作為辨識，所以留空時(shí)請確保主機(jī)名唯一

CALICO_NODENAME=""

CALICO_NO_DEFAULT_POOLS=""

# 設(shè)置路由下一跳，留空時(shí)從主機(jī)當(dāng)前端口中自動(dòng)選擇，有參數(shù)”autodetect”強(qiáng)制每次啟動(dòng)時(shí)間自動(dòng)檢測

CALICO_IP="172.169.18.210"

CALICO_IP6=""

# as number，默認(rèn)從全局默認(rèn)設(shè)置繼承

CALICO_AS=""

# 啟用libnetwork drive

CALICO_LIBNETWORK_ENABLED=true

# 路由協(xié)議，可選”bird”，“gobgp”，“none”，默認(rèn)即”bird”， “gobgp”無ipip模式

CALICO_NETWORKING_BACKEND=bird

#啟動(dòng)服務(wù)

# systemctl daemon-reload

# systemctl enable calico

# systemctl restart calico

# systemctl status calico

6)查看狀態(tài)

可以在三個(gè)節(jié)點(diǎn)上查看calico-node啟動(dòng)情況

# docker ps -a

# ps -ef | grep calico

查看節(jié)點(diǎn)狀態(tài)信息（在三個(gè)節(jié)點(diǎn)上都可以查看）

# calicoctl node status

5、使用calicoctl創(chuàng)建ipPool

   官方參考地址:https://docs.projectcalico.org/v2.6/reference/calicoctl/resources/ippool

在啟動(dòng)別的容器之前，我們需要配置一個(gè)IP地址池帶有ipip和nat-outgoing選項(xiàng)。所以帶有有效配置的容器就可以訪問互聯(lián)網(wǎng)，在每個(gè)節(jié)點(diǎn)上運(yùn)行下面的命令：

先查看calico的ip池（任意一個(gè)節(jié)點(diǎn)上都能查看）

# calicoctl get ipPool -o wide

參數(shù)解釋：

# 運(yùn)行calico服務(wù)后，默認(rèn)含1個(gè)192.168.0.0/16的ipv4地址池，1個(gè)64位的ipv6的地址池，后續(xù)網(wǎng)絡(luò)分配即地址池獲取；

# NAT：容器獲得的地址是否可nat出host；

# IPIP：ipip是在宿主機(jī)網(wǎng)絡(luò)不完全支持bgp時(shí)，一種妥協(xié)的overlay機(jī)制，在宿主機(jī)創(chuàng)建1個(gè)”tunl0”虛擬端口；設(shè)置為false時(shí)，路由即純bgp模式，理論上ipip模式的網(wǎng)絡(luò)傳輸性能低于純bgp模式；設(shè)置為true時(shí)，又分ipip always模式（純ipip模式）與ipip cross-subnet模式（ipip-bgp混合模式），后者指“同子網(wǎng)內(nèi)路由采用bgp，跨子網(wǎng)路由采用ipip”

1）在任意節(jié)點(diǎn)上定義都可以，ipPool屬于全局；

[root@master01 ~]# vim new-pool-1.yaml

apiVersion: v1

kind: ipPool

metadata:

cidr: 172.169.10.0/24

spec:

ipip:

enabled: true

mode: cross-subnet

nat-outgoing: true

disabled: false

2）#創(chuàng)建

# calicoctl create -f new-pool-1.yaml

同理繼續(xù)把后面兩個(gè)節(jié)點(diǎn)的網(wǎng)段添加完成即可，如下如

3）刪除默認(rèn)的ip地址池

# calicoctl delete ipPool 192.168.0.0/16

查看docker三個(gè)節(jié)點(diǎn)網(wǎng)絡(luò)

4）容器網(wǎng)絡(luò)配置

#修改docker配置文件（三節(jié)點(diǎn)修改）

# vim /usr/lib/systemd/system/docker.service

添加如下參數(shù)：

-H unix:///var/run/docker.sock -H 0.0.0.0:2375 --cluster-store etcd://172.169.18.210:2379,172.169.18.162:2379,172.169.18.180:2379 \

重啟服務(wù)

# systemctl daemon-reload

# systemctl restart docker

#創(chuàng)建network（任意一個(gè)節(jié)點(diǎn)創(chuàng)建即可）

# docker network create --driver calico --ipam-driver calico-ipam net1

# docker network ls

5）創(chuàng)建容器測試

docker run --name web1 --privileged -itd --net=net1 centos:7.4.1708 /usr/sbin/init

（1）#查看容器信息

# docker inspect web1

（2）網(wǎng)絡(luò)節(jié)點(diǎn)變化

（3）host節(jié)點(diǎn)routing table

# ip route show

（4）容器routing table

# 容器網(wǎng)關(guān)“169.254.1.1”是1個(gè)預(yù)留本地ip地址，通過cali0端口發(fā)送到網(wǎng)關(guān)；

# calico為簡化網(wǎng)絡(luò)配置,將容器的網(wǎng)關(guān)設(shè)置為1個(gè)固定的本地保留地址，容器內(nèi)路由規(guī)則都是一樣的，不需要?jiǎng)討B(tài)更新；

# 確定下一跳后，容器會(huì)查詢下一跳”169.254.1.1”的mac地址

# docker exec web1 ip route show

# docker exec web1 ping 114.114.114.114

通過”ip neigh show”可查詢arp表（需要觸發(fā)），這里查詢到”169.254.1.1”的mac地址是”7a:b2:59:f7:0c:91”，仔細(xì)觀察會(huì)發(fā)現(xiàn)此mac地址即host節(jié)點(diǎn)網(wǎng)卡”calic255b5bfca1”的mac地址

# docker exec web1 ip neigh show

host節(jié)點(diǎn)對應(yīng)容器的網(wǎng)卡并沒有配置ip地址，無論容器發(fā)出的arp的請求地址是什么，其直接以自己的mac地址響應(yīng)即”arp proxy”；

# 容器的后續(xù)報(bào)文目的IP不變，但mac地址變成了宿主機(jī)上對應(yīng)interface的地址，即所有的報(bào)文都會(huì)發(fā)給宿主機(jī)，然后宿主機(jī)根據(jù)ip地址進(jìn)行轉(zhuǎn)發(fā)，此feature是calico默認(rèn)開啟的，可通過如下方式確認(rèn)：

# cat /proc/sys/net/ipv4/conf/cali7d1d9f06ed8/proxy_arp

（5）在node02節(jié)點(diǎn)創(chuàng)建一個(gè)容器web2

# docker run --name web2 --privileged -itd --net=net1 centos:7.4.1708 /usr/sbin/init

# docker exec -ti web2 /bin/bash

即可

補(bǔ)充知識點(diǎn)：

	Flannel	Calico
overlay方案	1. udp 2.vxlan	ipip，宿主機(jī)網(wǎng)絡(luò)不能完全支持bgp時(shí)，可采用ipip模式
host-gw方案	host-gw，要求宿主機(jī)在相同subnet	bgp
網(wǎng)絡(luò)策略	不支持	支持
ipam	不支持去中心化ipam	不支持去中心化ipam
性能	理論值： 1. host-gw模式的性能優(yōu)于overlay模式，甚至接近于宿主機(jī)直接通信； 2. flannel host-gw模式與calico bgp模式相當(dāng)； 3. flannel overlay模式與calico ipip模式相當(dāng)或略差，ipip包頭較vxlan小； 4. flannel udp 模式相對最差，udp封裝方式在linux用戶態(tài)，vxlan與ipip封裝在linux內(nèi)核態(tài)完成（ipip安全性不如vxlan）。

本文名稱：基于calico網(wǎng)絡(luò)策略
網(wǎng)站網(wǎng)址：http://chinadenli.net/article12/pgspgc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供移動(dòng)網(wǎng)站建設(shè)、商城網(wǎng)站、關(guān)鍵詞優(yōu)化、網(wǎng)站制作、Google、營銷型網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)