AKS 上的多区域部署

本主题介绍如何在 Microsoft® Azure Kubernetes Service (AKS) 上为 Apigee Hybrid 设置多区域部署。

多区域部署的拓扑包括以下内容：

主动-主动：您的应用部署在多个地理位置，并且您的部署需要低延迟时间 API 响应时。您可以选择在距离您客户端最近的多个地理位置部署 Hybrid。例如：美国西海岸、美国东海岸、欧洲、亚太区域。
主动-被动：您拥有主要区域和故障切换或灾难恢复区域时。

多区域混合部署中的区域通过 Cassandra 通信，如下图所示：

前提条件

在为多个区域配置 Hybrid 之前，您必须先满足以下前提条件：

按照混合安装指南中的说明，在移到集群设置步骤之前，先满足 Google Cloud 和组织配置等前提条件。
Cassandra 多区域要求：
- 如果 pod 网络命名空间在不同集群中的 pod 之间没有连接（集群以“孤岛网络模式”运行，这是 AKS 安装的默认情况），请在 Apigee Hybrid 多区域安装的所有区域的替换文件中设置 cassandra.hostNetwork: true，以启用 Kubernetes hostNetwork 功能。
- 请先在现有集群上启用 hostNetwork，然后再将多区域配置扩展到新区域。
- 启用 hostNetwork 后，请确保工作器节点可以执行 DNS 反向查找。Apigee cassandra 使用 DNS 正向和反向查找在启动时获取主机 IP。
  提示：如果 DNS 解析不起作用，请尝试此解决方法。
  在每个 cassandra 工作器节点的 /etc/hosts 文件中添加静态主机条目，如下所示：
```
echo -e "\\n127.0.1.1 ${HOSTNAME}" >> "/etc/hosts"
```
  或
```
"\\nWORKER-NODE-IP ${HOSTNAME}" >> "/etc/hosts"
```
- 在跨所有区域的 Kubernetes 集群之间打开 Cassandra 端口 7000 和 7001，使跨区域和数据中心的工作器节点能够进行通信。请参阅配置端口。

如需了解详情，请参阅 Kubernetes 文档。

在每个区域中创建虚拟网络

按照 Azure Kubernetes Service (AKS) 文档中的说明执行以下操作：

在每个区域中创建虚拟网络。
在区域之间建立网络对等互连。
验证网络对等互连。

创建多区域集群

在多个具有不同 CIDR 块的区域中设置 Kubernetes 集群。另请参阅第 1 步：创建集群。使用您之前创建的位置和虚拟网络名称。

在跨所有区域的 Kubernetes 集群之间打开 Cassandra 端口 7000 和 7001（在问题排查期间可能会使用 7000 作为备用选项）

配置多区域种子主机

本部分介绍如何将现有 Cassandra 集群扩展到新区域。此设置允许新区域引导集群并加入现有数据中心。如果没有此配置，多区域 Kubernetes 集群不会相互了解。

在检索种子名称之前，将 kubectl 上下文设置为原始集群：
```
kubectl config use-context original-cluster-name
```
运行以下 kubectl 命令，确定当前区域中 Cassandra 的种子主机地址。

种子主机地址允许新区域实例在第一次启动时查找原始集群，以了解集群的拓扑。种子主机地址被指定为集群中的联络点。
```
kubectl get pods -o wide -n apigee | grep apigee-cassandra

apigee-cassandra-default-0  1/1   Running   0   4d17h   120.38.1.9  aks-agentpool-21207753-vmss000000
```
确定上一个命令返回的哪些 IP 将成为多区域种子主机。在本示例中，只有一个节点 Cassandra 集群正在运行时，种子主机为 120.38.1.9。
在数据中心 2 中，将替换文件复制到名称包含集群名称的新文件。例如 overrides_your_cluster_name.yaml。
在数据中心 2 中，在 overrides_your_cluster_name.yaml 中配置 cassandra.multiRegionSeedHost 和 cassandra.datacenter，其中 multiRegionSeedHost 是上一个命令返回的其中一个 IP：
```
cassandra:
  multiRegionSeedHost: seed_host_IP
  datacenter: data_center_name
  rack: rack_name
```
例如：
```
cassandra:
  multiRegionSeedHost: 120.38.1.9
  datacenter: "dc-1"
  rack: "ra-1"
```
在新数据中心/区域中，安装 Hybrid 之前，在 overrides_your_cluster_name.yaml 中设置您在第一个区域中设置的相同 TLS 证书和凭据。
注意：务必在第二个数据中心使用与原始数据中心中提供的相同 Cassandra TLS 证书和凭据。您在第一个数据中心的替换文件中设置的凭据必须与您在第二个数据中心的替换文件中指定的凭据匹配。如需了解详情，请参阅为 Cassandra 配置 TLS。

设置新区域

配置种子主机后，您可以设置新区域。

要设置新区域，请执行以下操作：

将证书从现有集群复制到新集群。Cassandra 和其他混合组件会将新 CA 根用于 mTLS。因此，务必确保集群具有一致的证书。
1. 将上下文设置为原始命名空间：
```
kubectl config use-context original-cluster-name
```
2. 将当前命名空间配置导出到文件：
```
$ kubectl get namespace apigee -o yaml > apigee-namespace.yaml
```
  apigee 是默认命名空间。
3. 将 apigee-ca 密钥导出到文件：
```
kubectl -n cert-manager get secret apigee-ca -o yaml > apigee-ca.yaml
```
4. 将上下文设置为新区域的集群名称：
```
kubectl config use-context new-cluster-name
```
5. 将命名空间配置导入新集群。如果您在新区域中使用不同的命名空间，请务必更新文件中的“命名空间”：
```
kubectl apply -f apigee-namespace.yaml
```
6. 将密钥导入新集群：
```
kubectl -n cert-manager apply -f apigee-ca.yaml
```
在新区域中安装 Hybrid。确保 overrides_your_cluster_name.yaml 文件包含在第一个区域中配置的相同 TLS 证书，如上一部分所述。
执行以下两个命令以在新区域中安装 Hybrid：
```
apigeectl init -f overrides_your_cluster_name.yaml
```
```
apigeectl apply -f overrides_your_cluster_name.yaml
```
在新数据中心的所有节点上运行 nodetool rebuild。这可能需要几分钟到几小时的时间，具体取决于数据大小。
```
kubectl exec apigee-cassandra-default-0 -n apigee  -- nodetool -u JMX_user -pw JMX_password rebuild -- dc-1
```
其中 JMX_user 和 JMX_password 是 Cassandra JMX 用户的用户名和密码。

从日志中验证重建进程。此外，使用 nodetool status 命令验证数据大小：

kubectl logs apigee-cassandra-default-0 -f -n apigee

kubectl exec apigee-cassandra-default-0 -n apigee  -- nodetool -u JMX_user -pw JMX_password status

以下示例显示了日志条目示例：

INFO  01:42:24 rebuild from dc: dc-1, (All keyspaces), (All tokens)
INFO  01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Executing streaming plan for Rebuild
INFO  01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.1.45
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.1.45
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.4.36
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.432KiB), sending 0 files(0.000KiB)
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.1.45 is complete
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.4.36
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.5.22
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.693KiB), sending 0 files(0.000KiB)
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.4.36 is complete
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.5.22
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 3 files(0.720KiB), sending 0 files(0.000KiB)
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.5.22 is complete
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] All sessions completed

更新种子主机。从 overrides-DC_name.yaml 中移除 multiRegionSeedHost: 10.0.0.11 并重新应用。
种子主机是本地集群成员。要启动新区域，需要外部种子主机。区域启动后，您需要将种子主机更改回其在 overrides.yaml 中的本地集群，然后重新应用配置。
```
apigeectl apply -f overrides-DC_name.yaml
```