このトピックでは、Microsoft®Azure Kubernetes Service（AMP）で Apigee ハイブリッドに対してマルチリージョン デプロイを設定する方法について説明します。
マルチリージョン デプロイのトポロジには次のものがあります。
- アクティブ - アクティブ: 複数の地理的ロケーションにアプリケーションをデプロイし、それらのデプロイで API レスポンスのレイテンシを低く抑える必要がある場合。クライアントに最も近い複数の地理的ロケーションにハイブリッドをデプロイすることもできます。例: 米国西海岸、米国東海岸、ヨーロッパ、APAC。
- アクティブ - パッシブ: プライマリ リージョンとフェイルオーバー リージョンまたは障害復旧リージョンがある場合。
次の図に示すように、マルチリージョン ハイブリッド デプロイのリージョンは Cassandra を介して通信します。
前提条件
複数のリージョンでハイブリッドを構成する前に、次の前提条件を満たす必要があります。
- Google Cloud や組織の構成などの前提条件についてはハイブリッド インストール ガイドに従ってから、クラスタ設定のステップに進んでください。
- Cassandra マルチリージョンの要件:
- Pod ネットワークの名前空間が、ファイアウォール、VPN、VPC ピアリング、vNet ピアリングなどのリージョン間で接続されていることを確認します。
- Pod ネットワークの名前空間が異なるクラスタ内の Pod 間で接続できない場合（たとえば、ほとんどの AKS インストールでクラスタが「アイランド ネットワーク モード」で実行されている場合）、Apigee ハイブリッド マルチリージョン インストールのすべてのリージョンのオーバーライド ファイルで
cassandra.hostNetwork: trueを指定し、Kubernetes のhostNetwork機能を有効にします。Kubernetes の
hostNetwork機能については、Kubernetes ドキュメントのホスト Namespace をご覧ください。 - マルチリージョン構成を新しいリージョンに展開する前に、既存のクラスタで
hostNetworkを有効にします。 hostNetworkが有効になっている場合は、ワーカーノードが リバース DNS ルックアップを実行できることを確認してください。Apigee Cassandra は、起動時にホスト IP を取得するために前方と逆方向の DNS ルックアップを使用します。- すべてのリージョンの Kubernetes クラスタ間で Cassandra ポート 7000 と 7001 を開き、リージョンおよびデータセンター間でワーカーノードが通信できるようにします。ポートの構成をご覧ください。
詳細については、Kubernetes のドキュメントをご覧ください。
各リージョンに仮想ネットワークを作成する
Azure の推奨事項に従ってクロスリージョン通信を確立します。具体的には、VNet-to-VNet: 異なるリージョン間での Connecting Virtual Networks in Azureをご覧ください。
マルチリージョン クラスタを作成する
異なる CIDR ブロックを持つ複数のリージョンで Kubernetes クラスタを設定します。ステップ 1: クラスタを作成するもご覧ください。ロケーションと先ほど作成した仮想ネットワーク名を使用します。
すべてのリージョンの Kubernetes クラスタ間で Cassandra ポート 7000 と 7001 を開きます（トラブルシューティング中にバックアップ オプションとして 7000 を使用できます）。
マルチリージョン シードホストを構成する
このセクションでは、既存の Cassandra クラスタを新しいリージョンに拡張する方法について説明します。この設定によって、新しいリージョンがクラスタをブートストラップし、既存のデータセンターに参加できるようになります。この構成なしでは、マルチリージョンの Kubernetes クラスタは相互に認識しません。
- シード名を取得する前に、kubectl コンテキストを元のクラスタに設定します。
kubectl config use-context original-cluster-name
次の
kubectlコマンドを実行して、現在のリージョンの Cassandra のシードホスト アドレスを特定します。シードホスト アドレスによって、新しいリージョン インスタンスは最初の起動時に元のクラスタを見つけて、クラスタのトポロジを学習することができます。シードホスト アドレスは、クラスタ内のコンタクト ポイントとして指定されます。
kubectl get pods -o wide -n apigee | grep apigee-cassandra apigee-cassandra-default-0 1/1 Running 0 4d17h 120.38.1.9 aks-agentpool-21207753-vmss000000
- 以前のコマンドで返された IP の中からマルチリージョン シードホストになるものを決定します。この例では、単一ノードの cassandra クラスタのみが実行されており、シードホストは
120.38.1.9です。 - データセンター 2 で、名前にクラスタ名が含まれる新しいファイルにオーバーライド ファイルをコピーします。例:
overrides_your_cluster_name.yaml。 - データセンター 2 では、
overrides_your_cluster_name.yamlでcassandra.multiRegionSeedHostとcassandra.datacenterを構成します。ここでmultiRegionSeedHostは、前のコマンドで返された IP の 1 つです。cassandra: multiRegionSeedHost: seed_host_IP datacenter: data_center_name rack: rack_name
例:
cassandra: multiRegionSeedHost: 120.38.1.9 datacenter: "centralus" rack: "ra-1"
- 新しいデータセンター / リージョンで、ハイブリッドをインストールする前に、最初のリージョンで設定したものと同じ TLS 証明書と認証情報を
overrides_your_cluster_name.yamlに設定します。
新しいリージョンを設定する
シードホストを構成したら、新しいリージョンを設定できます。
新しいリージョンを設定するには:
- 証明書を既存のクラスタから新しいクラスタにコピーします。新しい CA ルートは、Cassandra などのハイブリッド コンポーネントによって mTLS に使用されます。したがって、クラスタ全体で一貫した証明書を使用することが不可欠です。
- コンテキストを元の名前空間に設定します。
kubectl config use-context original-cluster-name
- 現在の名前空間の構成をファイルにエクスポートします。
$ kubectl get namespace namespace -o yaml > apigee-namespace.yaml
apigee-caシークレットをファイルにエクスポートします。kubectl -n cert-manager get secret apigee-ca -o yaml > apigee-ca.yaml
- コンテキストを新しいリージョンのクラスタ名に設定します。
kubectl config use-context new-cluster-name
- 名前空間の構成を新しいクラスタにインポートします。新しいリージョンで別の名前空間を使用する場合は、ファイル内の「namespace」を必ず更新してください。
kubectl apply -f apigee-namespace.yaml
シークレットを新しいクラスタにインポートします。
kubectl -n cert-manager apply -f apigee-ca.yaml
- コンテキストを元の名前空間に設定します。
- 新しいリージョンにハイブリッドをインストールします。前のセクションで説明したように、
overrides_your_cluster_name.yamlファイルには、最初のリージョンで構成したものと同じ TLS 証明書を指定してください。次の 2 つのコマンドを実行して、ハイブリッドを新しいリージョンにインストールします。
apigeectl init -f overrides_your_cluster_name.yaml
apigeectl apply -f overrides_your_cluster_name.yaml
- 新しいデータセンターのすべてのノードで
nodetool rebuildを順次実行します。データのサイズによっては、数分から数時間かかることがあります。kubectl exec apigee-cassandra-default-0 -n apigee -- nodetool -u JMX_user -pw JMX_password rebuild -- dc-1
ここで、JMX_user と JMX_password は Cassandra JMX ユーザーのユーザー名とパスワードです。
- ログから再構築プロセスを確認します。また、
nodetool statusコマンドを使用してデータサイズも確認します。kubectl logs apigee-cassandra-default-0 -f -n apigee
kubectl exec apigee-cassandra-default-0 -n apigee -- nodetool -u JMX_user -pw JMX_password status
次の例は、ログエントリの例を示しています。
INFO 01:42:24 rebuild from dc: dc-1, (All keyspaces), (All tokens) INFO 01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Executing streaming plan for Rebuild INFO 01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.1.45 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.1.45 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.4.36 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.432KiB), sending 0 files(0.000KiB) INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.1.45 is complete INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.4.36 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.5.22 INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.693KiB), sending 0 files(0.000KiB) INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.4.36 is complete INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.5.22 INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 3 files(0.720KiB), sending 0 files(0.000KiB) INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.5.22 is complete INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] All sessions completed
- シードホストを更新します。
overrides-DC_name.yamlからmultiRegionSeedHost: 10.0.0.11を削除してから再び適用します。apigeectl apply -f overrides-DC_name.yaml