TungstenFabric及Kubernetes集成解決是怎樣的

今天就跟大家聊聊有關(guān)Tungsten Fabric及Kubernetes集成解決是怎樣的，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結(jié)了以下內(nèi)容，希望大家根據(jù)這篇文章可以有所收獲。

讓客戶滿意是我們工作的目標(biāo)，不斷超越客戶的期望值來(lái)自于我們對(duì)這個(gè)行業(yè)的熱愛(ài)。我們立志把好的技術(shù)通過(guò)有效、簡(jiǎn)單的方式提供給客戶，將通過(guò)不懈努力成為客戶在信息化領(lǐng)域值得信任、有價(jià)值的長(zhǎng)期合作伙伴，公司提供的服務(wù)項(xiàng)目有：域名申請(qǐng)、網(wǎng)頁(yè)空間、營(yíng)銷(xiāo)軟件、網(wǎng)站建設(shè)、蛟河網(wǎng)站維護(hù)、網(wǎng)站推廣。

Kubernetes與TF的集成

集成方案中，在Kubernetes和Tungsten Fabric（編者按：原文為Contrail，其開(kāi)源版已更名為T(mén)ungsten Fabric，本文出現(xiàn)Contrail之處均以Tungsten Fabric替換）之間有兩個(gè)連接。

contrail-kube-manager和kube-api-server
Contrail CNI

1.1 contrail-kube-manager

此服務(wù)連接到kube-api-server以接收更新。然后，它會(huì)連接到Tungsten Fabric配置API服務(wù)器，來(lái)創(chuàng)建必要的配置（VM，VMI /端口，IP等），以將容器連接到overlay層。它還會(huì)將更新發(fā)送到kube-api-server。

1.2 Contrail CNI

每個(gè)node/minion上的Kubelet都使用CNI參數(shù)運(yùn)行。啟動(dòng)容器時(shí)，kubelet調(diào)用CNI來(lái)建立網(wǎng)絡(luò)。Contrail CNI連接到vRouter代理REST API：

1）獲得必要的配置

2）將容器網(wǎng)絡(luò)接口插入vRouter

1.3 Gateway

Tungsten Fabric使用gateway連接overlay和underlay網(wǎng)絡(luò)，以提供外部訪問(wèn)。我們需要使用gateway來(lái)支持Kubernetes的暴露服務(wù)和ingress功能。

必須在Tungsten Fabric中創(chuàng)建一個(gè)浮動(dòng)IP池。

在/etc/contrailctl/kubemanager.conf中配置這個(gè)FIP池的FQ名稱，以進(jìn)行配置（provisioning）。

[KUBERNETES_VNC]public_fip_pool = {'domain': 'default-domain', 'project': 'default', 'network': 'public', 'name': 'public-fip-pool'}

在容器condir-kube-manager中，浮動(dòng)IP池在/etc/contrail/contrail-kubernetes.conf中進(jìn)行配置。

[VNC]public_fip_pool = {'domain': 'default-domain', 'project': 'default', 'network': 'public', 'name': 'public-fip-pool'}

在Kubernetes中公開(kāi)service或創(chuàng)建ingress時(shí)，將從該池中分配一個(gè)FIP作為外部IP。

Namespace

與Tungsten Fabric集成時(shí)，Kubernetes命名空間（namespace）可以映射到項(xiàng)目/租戶（project/tenant）或虛擬網(wǎng)絡(luò)。

2.1 單租戶（Single-tenant）

如果有設(shè)置/etc/contrail/contrail-kubernetes.conf中的[KUBERNETES].cluster_project，它是單租戶（single-tenant），Kubernetes命名空間將映射到Tungsten Fabric中的虛擬網(wǎng)絡(luò)。所有非隔離命名空間都映射到默認(rèn)虛擬網(wǎng)絡(luò)“cluster-network”。而每個(gè)隔離命名空間都映射到一個(gè)單獨(dú)的虛擬網(wǎng)絡(luò)“<NS name>-vn”。

這里有一個(gè)示例，說(shuō)明在/etc/contrailctl/kubemanager.conf中設(shè)置[KUBERNETES].cluster_project以啟用單租戶的情形。

[KUBERNETES]cluster_project = {'domain': 'default-domain', 'project': 'kubernetes'}

以下是由Condir-kube-manager在初始化期間創(chuàng)建的。

Flat IPAM <cluster_project>：具有子網(wǎng)的pod-ipam
IPAM <cluster_project>：service-ipam
虛擬網(wǎng)絡(luò)“cluster-network”的安全組k8s-default-default-default和k8s-default-default-sg
虛擬網(wǎng)絡(luò)<cluster_project>：具有pod-ipam和service-ipam的cluster-network

2.1.1 非隔離的命名空間

創(chuàng)建一個(gè)非隔離的命名空間。

apiVersion: v1kind: Namespacemetadata: name: "dev-unisolated"

當(dāng)Kubernetes創(chuàng)建一個(gè)非隔離命名空間時(shí)，Tungsten Fabric將創(chuàng)建兩個(gè)SG，即k8s-default-<NS name>-sg和k8s-default-<NS name>-sg。這里不創(chuàng)建虛擬網(wǎng)絡(luò)。所有非隔離的NS中的容器都將位于cluster-network上。

在非隔離命名空間中啟動(dòng)一個(gè)Pod。

apiVersion: v1kind: Podmetadata:  name: nginx-1spec:  containers:  - name: nginx    image: docker.io/nginx    imagePullPolicy: IfNotPresentkubectl create -f nginx-1.yaml -n <namespace>kubectl get pods -n <namespace>

在非隔離命名空間中啟動(dòng)Pod時(shí)，Tungsten Fabric（contrail-kube-manager）將執(zhí)行以下操作。

創(chuàng)建虛擬機(jī)<NS name>-<pod name>__<VM UUID>。
在啟動(dòng)Pod的虛擬路由器中，添加對(duì)VM的引用。
參考以下內(nèi)容，創(chuàng)建VMI <cluster_project>:<pod name>__<VMI UUID>。

SG k8s-default-<NS name>-default
SG k8s-default-<NS name>-sg
VN <cluster_project>:cluster-network

在VN cluster-network中從pod-ipam分配IP地址（cluster IP）。Subnet UUID被指定為從Flat IPAM pod-ipam進(jìn)行分配。

不同非隔離命名空間中的Pod可以相互連接，因?yàn)樗鼈兾挥赥ungsten Fabric中的同一虛擬網(wǎng)絡(luò)上。

2.1.2 隔離的命名空間

創(chuàng)建一個(gè)隔離的命名空間。

apiVersion: v1kind: Namespacemetadata: name: "dev-isolated" annotations: {   "opencontrail.org/isolation" : "true" }

在Kubernetes中創(chuàng)建隔離命名空間時(shí)，Tungsten Fabric將創(chuàng)建以下內(nèi)容。

虛擬網(wǎng)絡(luò)<cluster_project>:<namespace name>-vn
安全組k8s-default-<namespace name>-default和k8s-default-<namespace name>-sg

在隔離命名空間中啟動(dòng)Pod時(shí)，Tungsten Fabric將執(zhí)行以下操作。

創(chuàng)建虛擬機(jī)<NS name>-<pod name>__<VM UUID>。
在啟動(dòng)了Pod的虛擬路由器中，添加對(duì)VM的引用。
參考以下內(nèi)容，創(chuàng)建VMI <cluster_project>:<pod name>__<VMI UUID>。

SG k8s-default-<NS name>-default
SG k8s-default-<NS name>-sg
VN <cluster_project>:<NS name>-vn

在VN <NS name>-vn中從pod-ipam分配IP地址（cluster IP）。Subnet UUID被指定為從flat IPAM pod-ipam進(jìn)行分配。

由于端口位于不同的虛擬網(wǎng)絡(luò)上，因此不同的隔離命名空間中的Pods無(wú)法相互連接。

2.2 多租戶（Multi-tenant）

如果未設(shè)置/etc/contrail/contrail-kubernetes.conf中的[KUBERNETES].cluster_project，它就是多租戶，Kubernetes命名空間將映射到Tungsten Fabric中的租戶/項(xiàng)目（tenant/project）。非隔離命名空間中的Pod在默認(rèn)虛擬網(wǎng)絡(luò)“cluster-network”上啟動(dòng)。而每個(gè)隔離命名空間都映射到一個(gè)單獨(dú)的虛擬網(wǎng)絡(luò)“<NS name>-vn”。

在初始化時(shí)，contrail-kube-manager創(chuàng)建以下內(nèi)容：

為每個(gè)現(xiàn)有的Kubenetes命名空間（如default、kube-public和kube-system）提供一個(gè)項(xiàng)目/租戶。
Flat IPAM 默認(rèn)域：default:pod-ipam
IPAM 默認(rèn)域：default:service-ipam
每一個(gè)命名空間的安全組：k8s-default-<namespace>-sg和k8s-default-<namespace>-sg
虛擬網(wǎng)絡(luò)默認(rèn)域名：具有pod-ipam的default:cluster-network和service-ipam

2.2.1 非隔離的命名空間

創(chuàng)建一個(gè)非隔離的命名空間。

apiVersion: v1kind: Namespacemetadata: name: "dev-unisolated"

Contrail-kube-manager將創(chuàng)建以下內(nèi)容。

項(xiàng)目default-domain:<namespace>

當(dāng)在非隔離命名空間中啟動(dòng)Pod時(shí)，conventil-kube-manager將創(chuàng)建端口：

在項(xiàng)目缺省域：<namespace>
在虛擬網(wǎng)絡(luò)缺省域：default:cluster-network
從IPAM缺省域：default:pod-ipam獲取地址
附帶安全組k8s-default-default-default和k8s-default-default-sg

不同非隔離命名空間中的Pod可以相互連接，因?yàn)樗鼈兾挥赥ungsten Fabric中的同一虛擬網(wǎng)絡(luò)上。

2.2.2 隔離的命名空間

創(chuàng)建一個(gè)隔離的命名空間。

apiVersion: v1kind: Namespacemetadata: name: "dev-isolated" annotations: {   "opencontrail.org/isolation" : "true" }

Contrail-cube-manager將創(chuàng)建以下內(nèi)容。

項(xiàng)目缺省域：<namespace>
虛擬網(wǎng)絡(luò)default-domain:<namespace>:<namespace>-vn與default-domain:default:pod-ipam關(guān)聯(lián)。
安全組default-domain:<namespace>:k8s-default-<namespace>-default和default-domain:<namespace>:k8s-default-<namespace>-sg

當(dāng)在非隔離命名空間中啟動(dòng)Pod時(shí)，conventil-kube-manager將創(chuàng)建端口。

在項(xiàng)目default-domain:<namespace>中
在虛擬網(wǎng)絡(luò)default-domain:<namespace>:<namespace>-vn上
從IPAM default-domain:default:pod-ipam獲取地址
附帶安全組default-domain:<namespace>:k8s-default-<namespace>-default和default-domain:<namespace>:k8s-default-<namespace>-sg

由于端口位于不同的虛擬網(wǎng)絡(luò)上，因此不同的隔離命名空間中的Pods無(wú)法相互連接。

2.3 自定義命名空間

創(chuàng)建一個(gè)自定義命名空間。

apiVersion: v1kind: Namespacemetadata: name: "dev-customized" annotations: {   "opencontrail.org/network": '{"domain": "default-domain", "project": "demo", "name": "red"}' }

在自定義命名空間中啟動(dòng)Pod時(shí)，contrail-kube-manager將創(chuàng)建端口。

在項(xiàng)目default-domain:default中
在虛擬網(wǎng)絡(luò)上映射到自定義命名空間
從與該虛擬網(wǎng)絡(luò)關(guān)聯(lián)的IPAM上獲取地址
安全組？

2.4指定虛擬網(wǎng)絡(luò)上的Pod

在指定的虛擬網(wǎng)絡(luò)上啟動(dòng)Pod。

當(dāng)在指定的虛擬網(wǎng)絡(luò)上啟動(dòng)Pod時(shí)，conutil-kube-manager將創(chuàng)建端口。

在項(xiàng)目中映射到指定或默認(rèn)的命名空間
在指定的虛擬網(wǎng)絡(luò)上
從與特定虛擬網(wǎng)絡(luò)關(guān)聯(lián)的IPAM上獲取地址
安全組？

2.5 Kubernetes網(wǎng)絡(luò)策略

Kubernetes網(wǎng)絡(luò)策略將照常運(yùn)行，它由Tungsten Fabric中的安全組實(shí)現(xiàn)。該版本將與4.0.1一起發(fā)布。

2.6 POD SNAT

Tungsten Fabric支持該功能，可以在Tungsten Fabric中配置一個(gè)路由器（配置對(duì)象），使其成為啟動(dòng)容器的虛擬網(wǎng)絡(luò)的外部網(wǎng)關(guān)。這與支持OpenStack的外部網(wǎng)關(guān)是一樣的。

Service

Kubernetes service支持ClusterIP，NodePort，LoadBalancer和ExternalName。它還支持使用ExternalIP指定IP。Tungsten Fabric支持ClusterIP和LoadBalancer，以及ExternalIP。

在Kubernetes中創(chuàng)建service時(shí)，Tungsten Fabric中會(huì)創(chuàng)建一個(gè)負(fù)載均衡器（loadbalancer）。負(fù)載均衡器的提供者為“native”，而ECMP負(fù)載均衡由vRouter實(shí)現(xiàn)。浮動(dòng)IP被創(chuàng)建為VIP。

創(chuàng)建具有多個(gè)實(shí)例的應(yīng)用程序。

apiVersion: v1kind: ReplicationControllermetadata:  name: web-qaspec:  replicas: 2  selector:    app: web-qa  template:    metadata:      name: web-qa      labels:        app: web-qa    spec:      containers:      - name: web        image: docker.io/nginx        imagePullPolicy: IfNotPresent

3.1 ClusterIP

在這些應(yīng)用程序前面創(chuàng)建service。默認(rèn)的service類(lèi)型是ClusterIP。

kind: ServiceapiVersion: v1metadata:  name: web-qaspec:  selector:    app: web-qa  ports:    - protocol: TCP      port: 80      targetPort: 80

當(dāng)service被創(chuàng)建后，conventil-kube-manager將執(zhí)行以下操作。

參照以下內(nèi)容，創(chuàng)建LB VMI <cluster_project>:<service name>__<VMI UUID>。

SG k8s-default-<NS name>-default
SG k8s-default-<NS name>-sg
VN <cluster_project>:cluster-network

在VN cluster-network中從service-ipam分配LB IP地址（service IP）。不需要subnet UUID。
創(chuàng)建負(fù)載均衡器<cluster_project>:<service name>__<LB UUID>。

VIP是LB IP地址
VMI是LB VMI
提供者是“native”

創(chuàng)建浮動(dòng)IP作為L(zhǎng)B IP的子IP，地址相同，利用FIP支持端口NAT。
創(chuàng)建LB偵聽(tīng)器<cluster_project>:<service name>__<LB UUID>-<protocol>-<port>-<LB listener UUID>
創(chuàng)建LB池<cluster_project>:<service name>__<LB UUID>-<protocol>-<port>-<LB listener UUID>
創(chuàng)建LB成員<cluster_project>:<pool>:<member UUID>

當(dāng)LB被創(chuàng)建后，“原生”LB驅(qū)動(dòng)程序?qū)?zhí)行以下操作。

在FIP中設(shè)置端口映射。
將所有成員的VMI添加到FIP。

當(dāng)service類(lèi)型為ClusterIP時(shí)，只能在集群內(nèi)訪問(wèn)該service。FIP從集群網(wǎng)絡(luò)（cluster-network）中的service FIP池中分配，并映射到所有的Pod地址。當(dāng)訪問(wèn)集群內(nèi)的service地址時(shí)，vRouter將在Pod之間平衡流量。

3.2 Loadbalancer

創(chuàng)建一個(gè)LoadBalancer類(lèi)型的service。

kind: ServiceapiVersion: v1metadata:  name: web-qaspec:  selector:    app: web-qa  ports:    - protocol: TCP      port: 80      targetPort: 80  type: LoadBalancer

對(duì)于服務(wù)類(lèi)型LoadBalancer，服務(wù)被暴露于外部。從服務(wù)FIP池中分配FIP，用于集群內(nèi)的訪問(wèn)，同時(shí)從公共FIP池中分配FIP，映射到所有POD地址。該FIP將被通告給網(wǎng)關(guān)，網(wǎng)關(guān)將在POD之間進(jìn)行ECMP負(fù)載均衡。

附錄A 單租戶（Single-tenant）

A.1 IPAM

<cluster_project>:pod-ipam

{    "fq_name": [        "default-domain",        "kubernetes",        "pod-ipam"    ],    "uuid": "c9641741-c785-456e-845b-a14a253c3572",    "ipam_subnet_method": "flat-subnet",    "parent_type": "project",    "perms2": {        "owner": "None",        "owner_access": 7,        "global_access": 0,        "share": []    },    "ipam_subnets": {        "subnets": [            {                "subnet": {                    "ip_prefix": "10.32.0.0",                    "ip_prefix_len": 12                },                "DNS_server_address": "10.47.255.253",                "enable_dhcp": true,                "created": null,                "default_gateway": "10.47.255.254",                "dns_nameservers": [],                "dhcp_option_list": null,                "subnet_uuid": null,                "alloc_unit": 1,                "last_modified": null,                "host_routes": null,                "addr_from_start": null,                "subnet_name": null,                "allocation_pools": []            }        ]    },    "id_perms": {        "enable": true,        "description": null,        "creator": null,        "created": "2017-12-27T18:45:33.957901",        "uuid": {            "uuid_mslong": 14511749470582293870,            "uuid_lslong": 9537393975711511922        },        "user_visible": true,        "last_modified": "2017-12-27T18:45:33.957901",        "permissions": {            "owner": "cloud-admin",            "owner_access": 7,            "other_access": 7,            "group": "cloud-admin-group",            "group_access": 7        }    },    "display_name": "pod-ipam"}

<cluster_project>:service-ipam

{    "fq_name": [        "default-domain",        "kubernetes",        "service-ipam"    ],    "uuid": "526f554a-0bf4-47c6-a8e4-768a3f98cef4",    "parent_type": "project",    "perms2": {        "owner": "None",        "owner_access": 7,        "global_access": 0,        "share": []    },    "id_perms": {        "enable": true,        "description": null,        "creator": null,        "created": "2017-12-27T18:45:34.000690",        "uuid": {            "uuid_mslong": 5940060210041472966,            "uuid_lslong": 12169982429206466292        },        "user_visible": true,        "last_modified": "2017-12-27T18:45:34.000690",        "permissions": {            "owner": "cloud-admin",            "owner_access": 7,            "other_access": 7,            "group": "cloud-admin-group",            "group_access": 7        }    },    "display_name": "service-ipam"}

A.2 安全組

k8s-default-dev-share-default

{    "fq_name": [        "default-domain",        "kubernetes",        "k8s-default-dev-share-default"    ],    "uuid": "ad29de07-5ef6-4f55-86bb-52c44827c09d",    "parent_type": "project",    "perms2": {        "owner": "46c31b9b-d21c-4c27-9445-6c94db948b6d",        "owner_access": 7,        "global_access": 0,        "share": []    },    "security_group_id": 8000010,    "id_perms": {        "enable": true,        "description": "Default security group",        "creator": null,        "created": "2018-01-12T09:02:15.110429",        "uuid": {            "uuid_mslong": 12477748365846007637,            "uuid_lslong": 9708444424704868509        },        "user_visible": true,        "last_modified": "2018-01-12T15:45:08.899388",        "permissions": {            "owner": "cloud-admin",            "owner_access": 7,            "other_access": 7,            "group": "cloud-admin-group",            "group_access": 7        }    },    "security_group_entries": {        "policy_rule": [            {                "direction": ">",                "protocol": "any",                "dst_addresses": [                    {                        "security_group": "local",                        "subnet": null,                        "virtual_network": null,                        "subnet_list": [],                        "network_policy": null                    }                ],                "action_list": null,                "created": null,                "rule_uuid": "dc13bb48-e2a7-4c59-a0b8-740ecfcb9a2c",                "dst_ports": [                    {                        "end_port": 65535,                        "start_port": 0                    }                ],                "application": [],                "last_modified": null,                "ethertype": "IPv4",                "src_addresses": [                    {                        "security_group": null,                        "subnet": {                            "ip_prefix": "0.0.0.0",                            "ip_prefix_len": 0                        },                        "virtual_network": null,                        "subnet_list": [],                        "network_policy": null                    }                ],                "rule_sequence": null,                "src_ports": [                    {                        "end_port": 65535,                        "start_port": 0                    }                ]            },            {                "direction": ">",                "protocol": "any",                "dst_addresses": [                    {                        "security_group": "local",                        "subnet": null,                        "virtual_network": null,                        "subnet_list": [],                        "network_policy": null                    }                ],                "action_list": null,                "created": null,                "rule_uuid": "a84e2d98-2b8f-45ba-aa75-88494da73b11",                "dst_ports": [                    {                        "end_port": 65535,                        "start_port": 0                    }                ],                "application": [],                "last_modified": null,                "ethertype": "IPv6",                "src_addresses": [                    {                        "security_group": null,                        "subnet": {                            "ip_prefix": "::",                            "ip_prefix_len": 0                        },                        "virtual_network": null,                        "subnet_list": [],                        "network_policy": null                    }                ],                "rule_sequence": null,                "src_ports": [                    {                        "end_port": 65535,                        "start_port": 0                    }                ]            },            {                "direction": ">",                "protocol": "any",                "dst_addresses": [                    {                        "security_group": null,                        "subnet": {                            "ip_prefix": "0.0.0.0",                            "ip_prefix_len": 0                        },                        "virtual_network": null,                        "subnet_list": [],                        "network_policy": null                    }                ],                "action_list": null,                "created": null,                "rule_uuid": "b7752ec1-6037-4c7f-97a9-291893fbed64",                "dst_ports": [                    {                        "end_port": 65535,                        "start_port": 0                    }                ],                "application": [],                "last_modified": null,                "ethertype": "IPv4",                "src_addresses": [                    {                        "security_group": "local",                        "subnet": null,                        "virtual_network": null,                        "subnet_list": [],                        "network_policy": null                    }                ],                "rule_sequence": null,                "src_ports": [                    {                        "end_port": 65535,                        "start_port": 0                    }                ]            },            {                "direction": ">",                "protocol": "any",                "dst_addresses": [                    {                        "security_group": null,                        "subnet": {                            "ip_prefix": "::",                            "ip_prefix_len": 0                        },                        "virtual_network": null,                        "subnet_list": [],                        "network_policy": null                    }                ],                "action_list": null,                "created": null,                "rule_uuid": "ea5cd2a8-2d47-47c4-a9ab-390de2317246",                "dst_ports": [                    {                        "end_port": 65535,                        "start_port": 0                    }                ],                "application": [],                "last_modified": null,                "ethertype": "IPv6",                "src_addresses": [                    {                        "security_group": "local",                        "subnet": null,                        "virtual_network": null,                        "subnet_list": [],                        "network_policy": null                    }                ],                "rule_sequence": null,                "src_ports": [                    {                        "end_port": 65535,                        "start_port": 0                    }                ]            }        ]    },    "annotations": {        "key_value_pair": [            {                "key": "namespace",                "value": "dev-share"            },            {                "key": "cluster",                "value": "k8s-default"            },            {                "key": "kind",                "value": "Namespace"            },            {                "key": "project",                "value": "kubernetes"            },            {                "key": "name",                "value": "k8s-default-dev-share-default"            },            {                "key": "owner",                "value": "k8s"            }        ]    },    "display_name": "k8s-default-dev-share-default"}

k8s-default-dev-share-sg

{    "fq_name": [        "default-domain",        "kubernetes",        "k8s-default-dev-share-sg"    ],    "uuid": "791f1c7e-a66e-4c47-ba05-409f00ee2c8e",    "parent_type": "project",    "perms2": {        "owner": "46c31b9b-d21c-4c27-9445-6c94db948b6d",        "owner_access": 7,        "global_access": 0,        "share": []    },    "security_group_id": 8000017,    "id_perms": {        "enable": true,        "description": "Namespace security group",        "creator": null,        "created": "2018-01-12T09:02:15.236401",        "uuid": {            "uuid_mslong": 8727725933151013959,            "uuid_lslong": 13404190917597736078        },        "user_visible": true,        "last_modified": "2018-01-12T09:02:15.275407",        "permissions": {            "owner": "cloud-admin",            "owner_access": 7,            "other_access": 7,            "group": "cloud-admin-group",            "group_access": 7        }    },    "display_name": "k8s-default-dev-share-sg",    "annotations": {        "key_value_pair": [            {                "key": "namespace",                "value": "dev-share"            },            {                "key": "cluster",                "value": "k8s-default"            },&n            
                本文題目：TungstenFabric及Kubernetes集成解決是怎樣的
                

                瀏覽路徑：http://chinadenli.net/article8/jijpip.html
            
            
                成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供動(dòng)態(tài)網(wǎng)站、移動(dòng)網(wǎng)站建設(shè)、關(guān)鍵詞優(yōu)化、品牌網(wǎng)站設(shè)計(jì)、微信公眾號(hào)、標(biāo)簽優(yōu)化            
            
                廣告
                
            
            
                聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源：
                創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容

欧美一区二区三区老妇人-欧美做爰猛烈大尺度电-99久久夜色精品国产亚洲a-亚洲福利视频一区二区

TungstenFabric及Kubernetes集成解決是怎樣的