本主題說明如何在 Microsoft® Azure Kubernetes Service (AKS) 上,為 Apigee hybrid 設定多區部署。
多地區部署的拓撲包括:
- Active-Active:如果您在多個地理位置部署應用程式,且需要低延遲的 API 回應,您可以選擇在距離客戶最近的多個地理區域部署混合式雲端。例如:美國西岸、美國東岸、歐洲、亞太/澳洲/紐西蘭。
- 主動-被動:當您有主要區域和容錯或災難復原區域時。
多區域混合式部署中的區域會透過 Cassandra 進行通訊,如下圖所示:
必要條件
為多個區域設定混合式連線之前,您必須完成下列先決條件:
- 請按照混合式安裝指南的說明,完成 Google Cloud 和機構設定等先決條件,再繼續進行叢集設定步驟。
- Cassandra 多區域規定:
- 如果 Pod 網路命名空間無法連線至不同叢集中的 Pod (叢集會在「島嶼網路模式」中執行,這是 AKS 安裝作業的預設情況),請為 Apigee 混合多地區安裝作業中的所有區域,在覆寫檔案中設定
cassandra.hostNetwork: true
,啟用 KuberneteshostNetwork
功能。 - 請先在現有叢集上啟用
hostNetwork
,再將多區域設定擴展至新區域。 - 啟用
hostNetwork
時,請確認 worker 節點可以執行反向 DNS 查詢。Apigee cassandra 會同時使用正向和反向 DNS 查詢,在啟動時取得主機 IP。 - 在所有區域的 Kubernetes 叢集之間開啟 Cassandra 7000 和 7001 連接埠,讓各區域和資料中心的工作站節點能夠通訊。請參閱「設定連接埠」。
- 如果 Pod 網路命名空間無法連線至不同叢集中的 Pod (叢集會在「島嶼網路模式」中執行,這是 AKS 安裝作業的預設情況),請為 Apigee 混合多地區安裝作業中的所有區域,在覆寫檔案中設定
詳情請參閱 Kubernetes 說明文件。
在各個區域中建立虛擬網路
請按照 Azure Kubernetes Service (AKS) 說明文件操作:
- 在各個區域建立虛擬網路。
- 在區域之間建立網路對等互連。
- 驗證網路對等連線。
建立多區域叢集
在具有不同 CIDR 區塊的多個區域中設定 Kubernetes 叢集。另請參閱「步驟 1:建立叢集」。使用先前建立的位置和虛擬網路名稱。
在所有區域的 Kubernetes 叢集之間開啟 Cassandra 通訊埠 7000 和 7001 (7000 可用於疑難排解時做為備用選項)
設定多區域種子主機
本節說明如何將現有的 Cassandra 叢集擴展至新區域。這項設定可讓新區域啟動叢集,並加入現有的資料中心。如果沒有這項設定,多區域 Kubernetes 叢集就不會彼此互通。
- 擷取種子名稱前,請先將 kubectl 結構定義設為原始叢集:
kubectl config use-context original-cluster-name
執行下列
kubectl
指令,即可找出目前區域中 Cassandra 的種子主機位址。種子主機位址可讓新的區域例項在首次啟動時找到原始叢集,以便瞭解叢集的拓撲。種子主機位址會指定為叢集中的聯絡點。
kubectl get pods -o wide -n apigee | grep apigee-cassandra apigee-cassandra-default-0 1/1 Running 0 4d17h 120.38.1.9 aks-agentpool-21207753-vmss000000
- 決定先前指令傳回的哪些 IP 將成為多區域種子主機。在本例中,只有單一節點的 Cassandra 叢集在執行,因此種子主機為
120.38.1.9
。 - 在資料中心 2 中,將覆寫檔案複製到名稱包含叢集名稱的新檔案中。例如
overrides_your_cluster_name.yaml
。 - 在資料中心 2 中,在
overrides_your_cluster_name.yaml
中設定cassandra.multiRegionSeedHost
和cassandra.datacenter
,其中multiRegionSeedHost
是先前指令傳回的 IP 之一:cassandra: multiRegionSeedHost: seed_host_IP datacenter: data_center_name rack: rack_name
例如:
cassandra: multiRegionSeedHost: 120.38.1.9 datacenter: "dc-1" rack: "ra-1"
- 在新資料中心/區域中,在安裝混合型服務前,請在
overrides_your_cluster_name.yaml
中設定與第一個區域相同的 TLS 憑證和憑證。
設定新區域
設定種子主機後,您就可以設定新的區域。
如要設定新的區域,請按照下列步驟操作:
- 將憑證從現有叢集複製到新叢集。Cassandra 和其他混合式元件會使用新的 CA 根目錄,以便進行 mTLS。因此,叢集中的憑證必須保持一致。
- 將內容設定為原始命名空間:
kubectl config use-context original-cluster-name
- 將目前的命名空間設定匯出至檔案:
$ kubectl get namespace apigee -o yaml > apigee-namespace.yaml
apigee 是預設命名空間。
- 將
apigee-ca
密鑰匯出至檔案:kubectl -n cert-manager get secret apigee-ca -o yaml > apigee-ca.yaml
- 將結構定義設為新區域的叢集名稱:
kubectl config use-context new-cluster-name
- 將命名空間設定匯入新叢集。
如果您在新區域中使用其他命名空間,請務必更新檔案中的「命名空間」:
kubectl apply -f apigee-namespace.yaml
將 Secret 匯入新叢集:
kubectl -n cert-manager apply -f apigee-ca.yaml
- 將內容設定為原始命名空間:
- 在新區域中安裝混合式。請確認
overrides_your_cluster_name.yaml
檔案包含與第一個區域相同的 TLS 憑證,如前一個部分所述。執行下列兩個指令,即可在新區域中安裝混合型:
apigeectl init -f overrides_your_cluster_name.yaml
apigeectl apply -f overrides_your_cluster_name.yaml
- 在新資料中心的所有節點上依序執行
nodetool rebuild
。視資料大小而定,這項作業可能需要數分鐘至數小時才能完成。kubectl exec apigee-cassandra-default-0 -n apigee -- nodetool -u JMX_user -pw JMX_password rebuild -- dc-1
其中 JMX_user 和 JMX_password 分別是 Cassandra JMX 使用者的使用者名稱和密碼。
- 請透過記錄檔確認重建程序。此外,請使用
nodetool status
指令驗證資料大小:kubectl logs apigee-cassandra-default-0 -f -n apigee
kubectl exec apigee-cassandra-default-0 -n apigee -- nodetool -u JMX_user -pw JMX_password status
以下範例顯示記錄項目:
INFO 01:42:24 rebuild from dc: dc-1, (All keyspaces), (All tokens) INFO 01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Executing streaming plan for Rebuild INFO 01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.1.45 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.1.45 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.4.36 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.432KiB), sending 0 files(0.000KiB) INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.1.45 is complete INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.4.36 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.5.22 INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.693KiB), sending 0 files(0.000KiB) INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.4.36 is complete INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.5.22 INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 3 files(0.720KiB), sending 0 files(0.000KiB) INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.5.22 is complete INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] All sessions completed
- 更新種子主機。從
overrides-DC_name.yaml
中移除multiRegionSeedHost: 10.0.0.11
,然後重新套用。apigeectl apply -f overrides-DC_name.yaml