Anthos Service Mesh 上的多集群 GKE 配置

本指南介绍如何通过 Mesh CA 或 Istio CA 将两个集群并入 Anthos Service Mesh 并启用跨集群负载均衡。您可以轻松扩展此流程，将任意数量的集群整合到网格中。

多集群 Anthos Service Mesh 配置可以满足一些重要企业场景，例如扩缩、位置和隔离。如需了解详情，请参阅多集群用例。此外，您还应优化您的应用，以充分利用服务网格。如需了解详情，请参阅准备适用于 Anthos Service Mesh 的应用。

前提条件

本指南假定您有两个或多个满足以下要求的 Google Cloud GKE 集群：

• 集群上安装有 Anthos Service Mesh 1.6.8 或更高版本。
  • 如果您的集群位于同一项目中，请参阅安装概览以安装集群或将其升级到所需的版本。
  • 如果您的集群位于不同的项目中，请参阅多项目安装和迁移以安装集群或将其升级到所需的版本。
• 如果您要联接的集群不在同一个项目中，则必须使用 asm-gcp-multiproject 配置文件进行安装，并且这些集群必须位于同一网络的共享 VPC 配置中。此外，我们建议您用一个项目托管共享 VPC，以及两个服务项目用于创建集群的。如需了解详情，请参阅通过共享 VPC 设置集群。
• 若您使用 Istio CA，请对这两个集群使用相同的自定义根证书。
• 如果您的 Anthos Service Mesh 基于专用集群构建，我们建议您在同一 VPC 中创建单个子网否则您必须确保：
  1. 控制层面可以通过集群专用 IP 访问远程专用集群控制层面。
  2. 您可以将调用控制层面的 IP 范围添加到远程专用集群的已获授权的网络。如需了解详情，请参阅在专用集群之间配置端点发现。

设置项目和集群变量

1. 为方便起见，请设置工作文件夹。这是您在之前的步骤准备安装 Anthos Service Mesh 中下载并解压缩 Anthos Service Mesh 文件的文件夹。

   export PROJECT_DIR=YOUR_WORKING_FOLDER

2. 为项目 ID、集群可用区或区域、集群名称和上下文创建以下环境变量。

   export PROJECT_1=PROJECT_ID_1
   export LOCATION_1=CLUSTER_LOCATION_1
   export CLUSTER_1=CLUSTER_NAME_1
   export CTX_1="gke_${PROJECT_1}_${LOCATION_1}_${CLUSTER_1}"
   
   export PROJECT_2=PROJECT_ID_2
   export LOCATION_2=CLUSTER_LOCATION_2
   export CLUSTER_2=CLUSTER_NAME_2
   export CTX_2="gke_${PROJECT_2}_${LOCATION_2}_${CLUSTER_2}"
   

3. 如果这些集群是新创建的集群，请确保使用以下 gcloud 命令为每个集群提取凭据，否则其关联的 context 将在本指南的后续步骤中不可用：

   gcloud container clusters get-credentials ${CLUSTER_1}
   gcloud container clusters get-credentials ${CLUSTER_2}
   

创建防火墙规则

在某些情况下，您需要创建防火墙规则以允许跨集群流量。例如，在以下情况下，您需要创建防火墙规则：

• 网格中的集群使用不同的子网。
• pod 会打开除 443 和 15002 以外的端口。

GKE 会自动向每个节点添加防火墙规则，以允许同一子网内的流量。如果网格包含多个子网，您必须明确设置防火墙规则以允许跨子网流量。您必须为每个子网添加新的防火墙规则，以允许所有传入流量的来源 IP CIDR 地址块和目标端口。

以下说明允许项目中所有集群之间或仅 $CLUSTER_1 和 $CLUSTER_2 之间进行通信。

1. 收集关于集群的网络的信息。

   所有项目集群

   如果集群位于同一项目中，则可以使用以下命令，允许在项目中的所有集群之间进行通信。如果项目中有您不想公开的集群，请使用特定集群标签页中的命令。

   function join_by { local IFS="$1"; shift; echo "$*"; }
   ALL_CLUSTER_CIDRS=$(gcloud container clusters list --project $PROJECT_1 --format='value(clusterIpv4Cidr)' | sort | uniq)
   ALL_CLUSTER_CIDRS=$(join_by , $(echo "${ALL_CLUSTER_CIDRS}"))
   ALL_CLUSTER_NETTAGS=$(gcloud compute instances list --project $PROJECT_1 --format='value(tags.items.[0])' | sort | uniq)
   ALL_CLUSTER_NETTAGS=$(join_by , $(echo "${ALL_CLUSTER_NETTAGS}"))
   

   特定集群

   以下命令允许 $CLUSTER_1 和 $CLUSTER_2 之间进行通信，并且不会公开项目中的其他集群。

   function join_by { local IFS="$1"; shift; echo "$*"; }
   ALL_CLUSTER_CIDRS=$(for P in $PROJECT_1 $PROJECT_2; do gcloud --project $P container clusters list --filter="name:($CLUSTER_1,$CLUSTER_2)" --format='value(clusterIpv4Cidr)'; done | sort | uniq)
   ALL_CLUSTER_CIDRS=$(join_by , $(echo "${ALL_CLUSTER_CIDRS}"))
   ALL_CLUSTER_NETTAGS=$(for P in $PROJECT_1 $PROJECT_2; do gcloud --project $P compute instances list  --filter="name:($CLUSTER_1,$CLUSTER_2)" --format='value(tags.items.[0])' ; done | sort | uniq)
   ALL_CLUSTER_NETTAGS=$(join_by , $(echo "${ALL_CLUSTER_NETTAGS}"))
   

2. 创建防火墙规则。

   GKE

   gcloud compute firewall-rules create istio-multicluster-pods \
       --allow=tcp,udp,icmp,esp,ah,sctp \
       --direction=INGRESS \
       --priority=900 \
       --source-ranges="${ALL_CLUSTER_CIDRS}" \
       --target-tags="${ALL_CLUSTER_NETTAGS}" --quiet \
       --network=YOUR_NETWORK
   

   Autopilot

   TAGS=""
   for CLUSTER in ${CLUSTER_1} ${CLUSTER_2}
   do
       TAGS+=$(gcloud compute firewall-rules list --filter="Name:$CLUSTER*" --format="value(targetTags)" | uniq) && TAGS+=","
   done
   TAGS=${TAGS::-1}
   echo "Network tags for pod ranges are $TAGS"
   
   gcloud compute firewall-rules create asm-multicluster-pods \
       --allow=tcp,udp,icmp,esp,ah,sctp \
       --network=gke-cluster-vpc \
       --direction=INGRESS \
       --priority=900 --network=VPC_NAME \
       --source-ranges="${ALL_CLUSTER_CIDRS}" \
       --target-tags=$TAGS
   

在集群之间配置端点发现

注意：如果您是在专用集群上运行，请改为参阅在专用集群之间配置端点发现。

使用以下命令为跨集群负载均衡配置端点发现。此步骤执行以下任务：

• istioctl 命令会创建密钥，以授予对集群的 Kube API 服务器的访问权限。
• kubectl 命令将密钥应用于另一个集群，以便第二个集群从第一个集群中读取服务端点。

注意：这些步骤需要使用 istioctl 命令行工具，请参阅下载安装文件以进行安装。

istioctl x create-remote-secret --context=${CTX_1} --name=${CLUSTER_1_NAME} | \
  kubectl apply -f - --context=${CTX_2}

istioctl x create-remote-secret --context=${CTX_2} --name=${CLUSTER_2_NAME} | \
  kubectl apply -f - --context=${CTX_1}

注意：您可以按照下述流程所示的扩展模式添加更多集群。例如，创建更多上下文（每个集群一个），然后创建并应用更多 Secret，从而确保每个集群之间有一个 Secret。

在专用集群之间配置端点发现

使用专用集群时，您必须配置远程集群的专用 IP 而不是公共 IP，因为公共 IP 无法访问。

注意 ：这些步骤需要使用 istioctl 命令行工具，请参阅下载安装文件进行安装。

1. 将包含公共 IP 的 Secret 写入临时文件：

   istioctl x create-remote-secret --context=${CTX_1} --name=${CLUSTER_1_NAME} > ${CTX_1}.secret
   

   istioctl x create-remote-secret --context=${CTX_2} --name=${CLUSTER_2_NAME} > ${CTX_2}.secret
   

2. 检索专用集群的专用 IP，然后使用它们替换临时文件夹的 Secret 中的公共 IP：

   PRIV_IP=`gcloud container clusters describe "${CLUSTER_1}" --project "${PROJECT_1}" \
    --zone "${LOCATION_1}" --format "value(privateClusterConfig.privateEndpoint)"`
   
   ./istioctl x create-remote-secret --context=${CTX_1} --name=${CLUSTER_1} --server=https://${PRIV_IP} > ${CTX_1}.secret
   

   PRIV_IP=`gcloud container clusters describe "${CLUSTER_2}" --project "${PROJECT_2}" \
    --zone "${LOCATION_2}" --format "value(privateClusterConfig.privateEndpoint)"`
   
   ./istioctl x create-remote-secret --context=${CTX_2} --name=${CLUSTER_2} --server=https://${PRIV_IP} > ${CTX_2}.secret
   

3. 将新 Secret 应用到集群中：

   kubectl apply -f ${CTX_1}.secret --context=${CTX_2}
   

   kubectl apply -f ${CTX_2}.secret --context=${CTX_1}
   

为专用集群配置授权网络

仅当您的网格符合以下所有条件时，才应遵循此部分：

• 您使用的是专用集群。
• 这些集群不属于同一个子网。
• 集群已启用已获授权的网络。

在 Anthos Service Mesh 中部署多个集群时，每个集群中的 Istiod 需要调用远程集群的 GKE 控制层面。要允许流量，您需要将调用集群中的 pod 地址范围添加到远程集群的授权网络。

1. 获取每个集群的 pod IP CIDR 地址块：

   POD_IP_CIDR_1=`gcloud container clusters describe ${CLUSTER_1} --project ${PROJECT_1} --zone ${LOCATION_1} \
     --format "value(ipAllocationPolicy.clusterIpv4CidrBlock)"`
   

   POD_IP_CIDR_2=`gcloud container clusters describe ${CLUSTER_2} --project ${PROJECT_2} --zone ${LOCATION_2} \
     --format "value(ipAllocationPolicy.clusterIpv4CidrBlock)"`
   

2. 将 Kubernetes 集群 pod IP CIDR 地址块添加到远程集群：

   EXISTING_CIDR_1=`gcloud container clusters describe ${CLUSTER_1} --project ${PROJECT_1} --zone ${LOCATION_1} \
    --format "value(masterAuthorizedNetworksConfig.cidrBlocks.cidrBlock)"`
   gcloud container clusters update ${CLUSTER_1} --project ${PROJECT_1} --zone ${LOCATION_1} \
   --enable-master-authorized-networks \
   --master-authorized-networks ${POD_IP_CIDR_2},${EXISTING_CIDR_1//;/,}
   

   EXISTING_CIDR_2=`gcloud container clusters describe ${CLUSTER_2} --project ${PROJECT_2} --zone ${LOCATION_2} \
    --format "value(masterAuthorizedNetworksConfig.cidrBlocks.cidrBlock)"`
   gcloud container clusters update ${CLUSTER_2} --project ${PROJECT_2} --zone ${LOCATION_2} \
   --enable-master-authorized-networks \
   --master-authorized-networks ${POD_IP_CIDR_1},${EXISTING_CIDR_2//;/,}
   

   如需了解详情，请参阅创建具有授权网络的集群。

3. 验证授权网络是否已更新：

   gcloud container clusters describe ${CLUSTER_1} --project ${PROJECT_1} --zone ${LOCATION_1} \
    --format "value(masterAuthorizedNetworksConfig.cidrBlocks.cidrBlock)"
   

   gcloud container clusters describe ${CLUSTER_2} --project ${PROJECT_2} --zone ${LOCATION_2} \
    --format "value(masterAuthorizedNetworksConfig.cidrBlocks.cidrBlock)"
   

启用控制平面全球访问权限

仅当您的网格符合以下所有条件时，才应遵循此部分：

• 您使用的是专用集群。
• 网格中的集群使用不同的区域。

您必须启用控制平面全球访问权限，以允许每个集群中的 istiod 调用远程集群的 GKE 控制平面。

1. 启用控制平面全球访问权限：

   gcloud container clusters update ${CLUSTER_1} --project ${PROJECT_1} --zone ${LOCATION_1} \
    --enable-master-global-access
   

   gcloud container clusters update ${CLUSTER_2} --project ${PROJECT_2} --zone ${LOCATION_2} \
    --enable-master-global-access
   

2. 验证控制平面是否已启用访问权限：

   gcloud container clusters describe ${CLUSTER_1} --zone ${LOCATION_1}
   

   gcloud container clusters describe ${CLUSTER_2} --zone ${LOCATION_2}
   

   输出中的 privateClusterConfig 部分显示 masterGlobalAccessConfig 的状态。

验证您的部署

本部分介绍如何将示例 HelloWorld 服务部署到多集群环境，以验证跨集群负载均衡是否正常工作。

启用 Sidecar 注入

1. 使用以下命令查找 istiod 服务中使用的修订版本标签值，您将在后续步骤中用到该值。

   注意：如果您的集群具有不同的 Anthos Service Mesh 版本，则您必须为每个集群运行以下命令。

   kubectl -n istio-system get pods -l app=istiod --show-labels

   输出类似于以下内容：

   NAME                                READY   STATUS    RESTARTS   AGE   LABELS
   istiod-asm-173-3-5788d57586-bljj4   1/1     Running   0          23h   app=istiod,istio.io/rev=asm-173-3,istio=istiod,pod-template-hash=5788d57586
   istiod-asm-173-3-5788d57586-vsklm   1/1     Running   1          23h   app=istiod,istio.io/rev=asm-173-3,istio=istiod,pod-template-hash=5788d57586
   

   在输出中的 LABELS 列下，记下 istiod 修订版本标签的值，该值位于前缀 istio.io/rev= 之后。在此示例中，该值为 asm-173-3。在下一部分的步骤中使用该修订版本值。

安装 HelloWorld 服务

在每个集群中创建示例命名空间和服务定义。 在以下命令中，将 REVISION 替换为您在上一步中记下的 istiod 修订版本标签。

重要说明：如果您使用的是 Anthos Service Mesh 代管式控制层面，请在以下步骤中将 REVISION 替换为 asm-managed。

for CTX in ${CTX_1} ${CTX_2}
  do
    kubectl create --context=${CTX} namespace sample
    kubectl label --context=${CTX} namespace sample \
      istio-injection- istio.io/rev=REVISION --overwrite
  done
    

其中，REVISION 是您之前记下的 istiod 修订版本标签。

输出如下：

   label "istio-injection" not found.
   namespace/sample labeled
   

您可以安全地忽略 label "istio-injection" not found.

1. 在这两个集群中创建 HelloWorld 服务：

   kubectl create --context=${CTX_1} \
       -f ${PROJECT_DIR}/samples/helloworld/helloworld.yaml \
       -l service=helloworld -n sample
   

   kubectl create --context=${CTX_2} \
       -f ${PROJECT_DIR}/samples/helloworld/helloworld.yaml \
       -l service=helloworld -n sample
   

将 HelloWorld v1 和 v2 部署到每个集群

1. 将 HelloWorld v1 部署到 CLUSTER_1，并将 v2 部署到 CLUSTER_2，这可帮助以后验证跨集群负载均衡：

   kubectl create --context=${CTX_1} \
     -f ${PROJECT_DIR}/samples/helloworld/helloworld.yaml \
     -l version=v1 -n sample

   kubectl create --context=${CTX_2} \
     -f ${PROJECT_DIR}/samples/helloworld/helloworld.yaml \
     -l version=v2 -n sample

2. 使用以下命令确认 HelloWorld v1 和 v2 正在运行。验证输出是否如下所示：

   kubectl get pod --context=${CTX_1} -n sample

   NAME                            READY     STATUS    RESTARTS   AGE
   helloworld-v1-86f77cd7bd-cpxhv  2/2       Running   0          40s

   kubectl get pod --context=${CTX_2} -n sample

   NAME                            READY     STATUS    RESTARTS   AGE
   helloworld-v2-758dd55874-6x4t8  2/2       Running   0          40s

部署 Sleep 服务

1. 将 Sleep 服务部署到这两个集群。此 pod 将出于演示目的生成虚假网络流量：

   for CTX in ${CTX_1} ${CTX_2}
     do
       kubectl apply --context=${CTX} \
         -f ${PROJECT_DIR}/samples/sleep/sleep.yaml -n sample
     done

2. 等待在每个集群中启动 Sleep 服务。验证输出是否如下所示：

   kubectl get pod --context=${CTX_1} -n sample -l app=sleep

   NAME                             READY   STATUS    RESTARTS   AGE
   sleep-754684654f-n6bzf           2/2     Running   0          5s

   kubectl get pod --context=${CTX_2} -n sample -l app=sleep

   NAME                             READY   STATUS    RESTARTS   AGE
   sleep-754684654f-dzl9j           2/2     Running   0          5s

验证跨集群负载均衡

多次调用 HelloWorld 服务，并检查输出以验证来自 v1 和 v2 的交替回复：

1. 调用 HelloWorld 服务：

   kubectl exec --context="${CTX_1}" -n sample -c sleep \
       "$(kubectl get pod --context="${CTX_1}" -n sample -l \
       app=sleep -o jsonpath='{.items[0].metadata.name}')" \
       -- curl -sS helloworld.sample:5000/hello
   

   输出类似于如下所示内容：

   Hello version: v2, instance: helloworld-v2-758dd55874-6x4t8
   Hello version: v1, instance: helloworld-v1-86f77cd7bd-cpxhv
   ...

2. 再次调用 HelloWorld 服务：

   kubectl exec --context="${CTX_2}" -n sample -c sleep \
       "$(kubectl get pod --context="${CTX_2}" -n sample -l \
       app=sleep -o jsonpath='{.items[0].metadata.name}')" \
       -- curl -sS helloworld.sample:5000/hello
   

   输出类似于如下所示内容：

   Hello version: v2, instance: helloworld-v2-758dd55874-6x4t8
   Hello version: v1, instance: helloworld-v1-86f77cd7bd-cpxhv
   ...

恭喜，您已成功验证负载均衡的多集群 Anthos Service Mesh！

清理 HelloWorld 服务

完成负载均衡验证后，请从集群中移除 HelloWorld 和 Sleep 服务。

kubectl delete ns sample --context ${CTX_1}
kubectl delete ns sample --context ${CTX_2}