このトピックでは、GKE 上の Apigee ハイブリッド、オンプレミスにデプロイされた Anthos GKE、Microsoft® Azure Kubernetes Service(AKS)、Amazon Elastic Kubernetes Service(EKS)、および RedHat OpenShift のマルチリージョン デプロイについて説明します。前提条件と手順では、ご使用のプラットフォームを選択してください。
マルチリージョン デプロイのトポロジには次のものがあります。
- アクティブ - アクティブ: 複数の地理的ロケーションにアプリケーションをデプロイし、それらのデプロイで API レスポンスのレイテンシを低く抑える必要がある場合。クライアントに最も近い複数の地理的ロケーションにハイブリッドをデプロイすることもできます。例: 米国西海岸、米国東海岸、ヨーロッパ、APAC。
- アクティブ - パッシブ: プライマリ リージョンとフェイルオーバー リージョンまたは障害復旧リージョンがある場合。
次の図に示すように、マルチリージョン ハイブリッド デプロイのリージョンは Cassandra を介して通信します。
前提条件
複数リージョンにハイブリッドを構成する前に、次の前提条件を満たす必要があります。
GKE
- 異なるネットワーク(異なるクラウド プロバイダ、異なる VPC ネットワーク、クラウドとオンプレミスなど)間でマルチリージョンの Apigee デプロイをインストールする場合は、Cassandra がノード間の通信に使用できるようにネットワーク間の内部接続を提供する必要があります。これは、VPN またはクラウド固有の接続ソリューションで実現できます。
- 異なる CIDR ブロックを持つ複数のリージョンで Kubernetes クラスタを設定します。
- 各クラスタに cert-manager がインストールされていることを確認します。
- リージョン間通信を設定します。
- すべての Cassandra Pod が自身のホスト名を解決できることを確認します。hostNetwork が false に設定されている場合、ホスト名は Cassandra Pod の名前です。hostNetwork が true に設定されている場合、ホスト名は Cassandra Pod を実行している Kubernetes ノードのホスト名になります。
- Cassandra マルチリージョンの要件:
- Pod ネットワークの Namespace が、ファイアウォール、VPN、VPC ピアリング、vNet ピアリングなどのリージョン間で接続されていることを確認します。この処理は、ほとんどの GKE インストールについて実施する必要があります。
- Pod ネットワークの Namespace がクラスタ間の接続を持たない場合(クラスタがアイランド ネットワーク モードで実行されている場合)、Apigee ハイブリッド マルチリージョン インストールのリージョンのすべてのオーバーライド ファイルで
cassandra.hostNetwork: true
を設定して KuberneteshostNetwork
機能を有効にします。Kubernetes の
hostNetwork
機能については、Kubernetes ドキュメントのホスト Namespace をご覧ください。 - マルチリージョン構成を新しいリージョンに拡張する前に、既存のクラスタで
hostNetwork
を有効にします。 hostNetwork
が有効になっている場合は、ワーカーノードがホスト名のフォワード DNS ルックアップを実行できることを確認してください。Apigee Cassandra は、起動時にフォワード DNS ルックアップを使用してホスト IP を取得します。- すべてのリージョンの Kubernetes クラスタ間で Cassandra ポートを開き、リージョン間とデータセンター間でワーカーノードが通信できるようにします。Cassandra のポート番号については、ポートの構成をご覧ください。
詳細については、Kubernetes のドキュメントをご覧ください。
GKE On-Prem
- 異なるネットワーク(異なるクラウド プロバイダ、異なる VPC ネットワーク、クラウドとオンプレミスなど)間でマルチリージョンの Apigee デプロイをインストールする場合は、Cassandra がノード間の通信に使用できるようにネットワーク間の内部接続を提供する必要があります。これは、VPN またはクラウド固有の接続ソリューションで実現できます。
- 異なる CIDR ブロックを持つ複数のリージョンで Kubernetes クラスタを設定します。
- 各クラスタに cert-manager がインストールされていることを確認します。
- リージョン間通信を設定します。
- すべての Cassandra Pod が自身のホスト名を解決できることを確認します。hostNetwork が false に設定されている場合、ホスト名は Cassandra Pod の名前です。hostNetwork が true に設定されている場合、ホスト名は Cassandra Pod を実行している Kubernetes ノードのホスト名になります。
- Cassandra マルチリージョンの要件:
- Pod ネットワークの Namespace がクラスタ間の接続を持たない場合(クラスタが GKE On-Prem インストールのデフォルトであるアイランド ネットワーク モードで実行されている場合)は、Apigee ハイブリッド マルチリージョン インストールのすべてのリージョンのオーバーライド ファイルで
cassandra.hostNetwork: true
を設定して Kubernetes のhostNetwork
機能を有効にします。Kubernetes の
hostNetwork
機能については、Kubernetes ドキュメントのホスト Namespace をご覧ください。 - マルチリージョン構成を新しいリージョンに拡張する前に、既存のクラスタで
hostNetwork
を有効にします。 hostNetwork
が有効になっている場合は、ワーカーノードがホスト名のフォワード DNS ルックアップを実行できることを確認してください。Apigee Cassandra は、起動時にフォワード DNS ルックアップを使用してホスト IP を取得します。- すべてのリージョンの Kubernetes クラスタ間で Cassandra ポートを開き、リージョン間とデータセンター間でワーカーノードが通信できるようにします。Cassandra のポート番号については、ポートの構成をご覧ください。
- Pod ネットワークの Namespace がクラスタ間の接続を持たない場合(クラスタが GKE On-Prem インストールのデフォルトであるアイランド ネットワーク モードで実行されている場合)は、Apigee ハイブリッド マルチリージョン インストールのすべてのリージョンのオーバーライド ファイルで
詳細については、Kubernetes のドキュメントをご覧ください。
AKS
- 異なるネットワーク(異なるクラウド プロバイダ、異なる VPC ネットワーク、クラウドとオンプレミスなど)間でマルチリージョンの Apigee デプロイをインストールする場合は、Cassandra がノード間の通信に使用できるようにネットワーク間の内部接続を提供する必要があります。これは、VPN またはクラウド固有の接続ソリューションで実現できます。
- クラスタの設定手順に進む前に、Google Cloud や組織の構成などの前提条件について、ハイブリッド インストール ガイドに従ってください。
- 各クラスタに cert-manager がインストールされていることを確認します。
- すべての Cassandra Pod が自身のホスト名を解決できることを確認します。hostNetwork が false に設定されている場合、ホスト名は Cassandra Pod の名前です。hostNetwork が true に設定されている場合、ホスト名は Cassandra Pod を実行している Kubernetes ノードのホスト名になります。
- Cassandra マルチリージョンの要件:
- Pod ネットワークの Namespace がクラスタ間の接続を持たない場合(AKS インストールのデフォルトの場合、クラスタはアイランド ネットワーク モードで稼働します)、Apigee ハイブリッド マルチリージョン インストールのすべてのリージョンをオーバーライドするファイルで
cassandra.hostNetwork: true
を設定して、KuberneteshostNetwork
機能を有効にします。Kubernetes の
hostNetwork
機能については、Kubernetes ドキュメントのホスト Namespace をご覧ください。 - マルチリージョン構成を新しいリージョンに拡張する前に、既存のクラスタで
hostNetwork
を有効にします。 hostNetwork
が有効になっている場合は、ワーカーノードがホスト名のフォワード DNS ルックアップを実行できることを確認してください。Apigee Cassandra は、起動時にフォワード DNS ルックアップを使用してホスト IP を取得します。- すべてのリージョンの Kubernetes クラスタ間で Cassandra ポートを開き、リージョン間とデータセンター間でワーカーノードが通信できるようにします。Cassandra のポート番号については、ポートの構成をご覧ください。
- Pod ネットワークの Namespace がクラスタ間の接続を持たない場合(AKS インストールのデフォルトの場合、クラスタはアイランド ネットワーク モードで稼働します)、Apigee ハイブリッド マルチリージョン インストールのすべてのリージョンをオーバーライドするファイルで
詳細については、Kubernetes のドキュメントをご覧ください。
EKS
- 異なるネットワーク(異なるクラウド プロバイダ、異なる VPC ネットワーク、クラウドとオンプレミスなど)間でマルチリージョンの Apigee デプロイをインストールする場合は、Cassandra がノード間の通信に使用できるようにネットワーク間の内部接続を提供する必要があります。これは、VPN またはクラウド固有の接続ソリューションで実現できます。
- クラスタの設定手順に進む前に、Google Cloud や組織の構成などの前提条件について、ハイブリッド インストール ガイドに従ってください。
- 各クラスタに cert-manager がインストールされていることを確認します。
- すべての Cassandra Pod が自身のホスト名を解決できることを確認します。hostNetwork が false に設定されている場合、ホスト名は Cassandra Pod の名前です。hostNetwork が true に設定されている場合、ホスト名は Cassandra Pod を実行している Kubernetes ノードのホスト名になります。
- Cassandra マルチリージョンの要件:
- Pod ネットワークの Namespace がクラスタ間の接続を持たない場合(クラスタがアイランド ネットワーク モードで実行されている場合)、Apigee ハイブリッド マルチリージョン インストールのすべてのリージョンのオーバーライド ファイルで
cassandra.hostNetwork: true
を設定して Kubernetes のhostNetwork
機能を有効にします。Amazon EKS は、デフォルトで完全統合ネットワーク モデルを使用します。Kubernetes の
hostNetwork
機能については、Kubernetes ドキュメントのホスト Namespace をご覧ください。 - マルチリージョン構成を新しいリージョンに拡張する前に、既存のクラスタで
hostNetwork
を有効にします。 hostNetwork
が有効になっている場合は、ワーカーノードがホスト名のフォワード DNS ルックアップを実行できることを確認してください。Apigee Cassandra は、起動時にフォワード DNS ルックアップを使用してホスト IP を取得します。- すべてのリージョンの Kubernetes クラスタ間で Cassandra ポートを開き、リージョン間とデータセンター間でワーカーノードが通信できるようにします。Cassandra のポート番号については、ポートの構成をご覧ください。
- Pod ネットワークの Namespace がクラスタ間の接続を持たない場合(クラスタがアイランド ネットワーク モードで実行されている場合)、Apigee ハイブリッド マルチリージョン インストールのすべてのリージョンのオーバーライド ファイルで
詳細については、Kubernetes のドキュメントをご覧ください。
OpenShift
- 異なるネットワーク(異なるクラウド プロバイダ、異なる VPC ネットワーク、クラウドとオンプレミスなど)間でマルチリージョンの Apigee デプロイをインストールする場合は、Cassandra がノード間の通信に使用できるようにネットワーク間の内部接続を提供する必要があります。これは、VPN またはクラウド固有の接続ソリューションで実現できます。
- クラスタの設定手順に進む前に、Google Cloud や組織の構成などの前提条件について、ハイブリッド インストール ガイドに従ってください。
- 各クラスタに cert-manager がインストールされていることを確認します。
- すべての Cassandra Pod が自身のホスト名を解決できることを確認します。hostNetwork が false に設定されている場合、ホスト名は Cassandra Pod の名前です。hostNetwork が true に設定されている場合、ホスト名は Cassandra Pod を実行している Kubernetes ノードのホスト名になります。
- Cassandra マルチリージョンの要件:
- Pod ネットワークの Namespace がクラスタ間の接続を持たない場合(OpenShift インストールのデフォルトの場合、クラスタはアイランド ネットワーク モードで稼働します)は、Apigee ハイブリッド マルチリージョン インストールのすべてのリージョンをオーバーライドするファイルで
cassandra.hostNetwork: true
を設定して、KuberneteshostNetwork
機能を有効にします。Kubernetes の
hostNetwork
機能については、Kubernetes ドキュメントのホスト Namespace をご覧ください。 - マルチリージョン構成を新しいリージョンに拡張する前に、既存のクラスタで
hostNetwork
を有効にします。 hostNetwork
が有効になっている場合は、ワーカーノードがホスト名のフォワード DNS ルックアップを実行できることを確認してください。Apigee Cassandra は、起動時にフォワード DNS ルックアップを使用してホスト IP を取得します。- すべてのリージョンの Kubernetes クラスタ間で Cassandra ポートを開き、リージョン間とデータセンター間でワーカーノードが通信できるようにします。Cassandra のポート番号については、ポートの構成をご覧ください。
- Pod ネットワークの Namespace がクラスタ間の接続を持たない場合(OpenShift インストールのデフォルトの場合、クラスタはアイランド ネットワーク モードで稼働します)は、Apigee ハイブリッド マルチリージョン インストールのすべてのリージョンをオーバーライドするファイルで
詳細については、Kubernetes のドキュメントをご覧ください。
Apigee ハイブリッドをマルチリージョン用に構成する
このセクションでは、Apigee ハイブリッドをマルチリージョン用に構成する方法について説明します。
GKE
マルチリージョン シードホストを構成する
このセクションでは、既存の Cassandra クラスタを新しいリージョンに拡張する方法について説明します。この設定によって、新しいリージョンがクラスタをブートストラップし、既存のデータセンターに参加できるようになります。この構成がないと、マルチリージョンの Kubernetes クラスタが相互に認識できません。
- シード名を取得する前に、kubectl コンテキストを元のクラスタに設定します。
kubectl config use-context original-cluster-name
次の
kubectl
コマンドを実行して、現在のリージョンの Cassandra のシードホスト アドレスを特定します。シードホスト アドレスによって、新しいリージョン インスタンスは最初の起動時に元のクラスタを検索し、クラスタのトポロジを学習できます。シードホスト アドレスは、クラスタ内のコンタクト ポイントとなります。
kubectl get pods -o wide -n apigee
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE apigee-cassandra-default-0 1/1 Running 0 5d 10.0.0.11 gke-k8s-dc-2-default-pool-a2206492-p55d apigee-cassandra-default-1 1/1 Running 0 5d 10.0.2.4 gke-k8s-dc-2-default-pool-e9daaab3-tjmz apigee-cassandra-default-2 1/1 Running 0 5d 10.0.3.5 gke-k8s-dc-2-default-pool-e589awq3-kjch
- 以前のコマンドで返された IP の中からマルチリージョン シードホストにするものを決めます。
- データセンター 2 で、ランタイム プレーン コンポーネントの管理の
cassandra.multiRegionSeedHost
とcassandra.datacenter
を構成します。ここで、multiRegionSeedHost
は前述のコマンドで返された IP の 1 つです。cassandra: multiRegionSeedHost: seed_host_IP datacenter: data_center_name rack: rack_name hostNetwork: false clusterName: cluster_name # must be the same for all regions
次に例を示します。
cassandra: multiRegionSeedHost: 10.0.0.11 datacenter: "dc-2" rack: "ra-1" hostNetwork: false clusterName: my-apigee-cluster
- 新しいデータセンターまたはリージョンでは、ハイブリッドをインストールする前に、最初のリージョンで設定したものと同じ TLS 証明書と認証情報を
overrides.yaml
で設定します。
新しいリージョンを設定する
シードホストを構成したら、新しいリージョンを設定できます。
新しいリージョンを設定するには:
- 証明書を既存のクラスタから新しいクラスタにコピーします。新しい CA ルートは、Cassandra などのハイブリッド コンポーネントによって mTLS に使用されます。したがって、クラスタ全体で一貫した証明書を使用することが不可欠です。
- コンテキストを元の名前空間に設定します。
kubectl config use-context original-cluster-name
- 現在の名前空間の構成をファイルにエクスポートします。
kubectl get namespace namespace -o yaml > apigee-namespace.yaml
apigee-ca
Secret をファイルにエクスポートします。kubectl -n cert-manager get secret apigee-ca -o yaml > apigee-ca.yaml
- 新しいリージョンのクラスタ名にコンテキストを設定します。
kubectl config use-context new-cluster-name
- 新しいクラスタに名前空間の構成をインポートします。新しいリージョンで別の名前空間を使用する場合は、ファイル内の「namespace」を必ず更新してください。
kubectl apply -f apigee-namespace.yaml
新しいクラスタに Secret をインポートします。
kubectl -n cert-manager apply -f apigee-ca.yaml
- コンテキストを元の名前空間に設定します。
- 新しいリージョンにハイブリッドをインストールします。前のセクションで説明したように、
overrides-DC_name.yaml
ファイルには、最初のリージョンで構成したものと同じ TLS 証明書を指定してください。次の 2 つのコマンドを実行して、ハイブリッドを新しいリージョンにインストールします。
apigeectl init -f overrides/overrides-DC_name.yaml
apigeectl apply -f overrides/overrides-DC_name.yaml
- 次のコマンドを実行して、ハイブリッドのインストールが成功したことを確認します。
apigeectl check-ready -f overrides_DC_name.yaml
- 次のコマンドを実行して、Cassandra クラスタの設定を確認します。出力には、既存のデータセンターと新しいデータセンターの両方が表示されるはずです。
kubectl exec apigee-cassandra-default-0 -n apigee \ -- nodetool -u JMX_user -pw JMX_password status
成功した設定を示す例:
Datacenter: dc-1 ==================== Status=Up/Down |/ State=Normal/Leaving/Joining/Moving -- Address Load Tokens Owns Host ID Rack UN 10.132.87.93 68.07 GiB 256 ? fb51465c-167a-42f7-98c9-b6eba1de34de c UN 10.132.84.94 69.9 GiB 256 ? f621a5ac-e7ee-48a9-9a14-73d69477c642 b UN 10.132.84.105 76.95 GiB 256 ? 0561086f-e95b-4232-ba6c-ad519ff30336 d Datacenter: dc-2 ==================== Status=Up/Down |/ State=Normal/Leaving/Joining/Moving -- Address Load Tokens Owns Host ID Rack UN 10.132.0.8 71.61 GiB 256 ? 8894a98b-8406-45de-99e2-f404ab10b5d6 c UN 10.132.9.204 75.1 GiB 256 ? afa0ffa3-630b-4f1e-b46f-fc3df988092e a UN 10.132.3.133 68.08 GiB 256 ? 25ae39ab-b39e-4d4f-9cb7-de095ab873db b
- 新しいデータセンターのすべての Pod で Cassandra を設定します。
- 次のコマンドを使用して、クラスタから
apigeeorg
を取得します。kubectl get apigeeorg -n apigee -o json | jq .items[].metadata.name
次に例を示します。
Ex: kubectl get apigeeorg -n apigee -o json | jq .items[].metadata.name "rg-hybrid-b7d3b9c"
- cassandra データ レプリケーションのカスタム リソース(
YAML
)ファイルを作成します。ファイルには任意の名前を付けることができます。以下の例では、datareplication.yaml
というファイル名は使用します。このファイルには、次のものが含まれている必要があります。
apiVersion: apigee.cloud.google.com/v1alpha1 kind: CassandraDataReplication metadata: name: REGION_EXPANSION namespace: NAMESPACE spec: organizationRef: APIGEEORG_VALUE force: false source: region: SOURCE_REGION
ここで
- REGION_EXPANSION は、このメタデータに付ける名前です。任意の名前を使用できます。
- NAMESPACE は、
overrides.yaml
で定義されている名前空間です。通常はapigee
です。 - APIGEEORG_VALUE は、前の手順の
kubectl get apigeeorg -n apigee -o json | jq .items[].metadata.name
コマンドの出力値です。例:rg-hybrid-b7d3b9c
- SOURCE_REGION は、ソース リージョン(ソース リージョンの overrides.yaml の cassandra セクションの下にあるデータセンターの値)です。
例:
apiVersion: apigee.cloud.google.com/v1alpha1 kind: CassandraDataReplication metadata: name: region-expansion namespace: apigee spec: organizationRef: rg-hybrid-b7d3b9c force: false source: region: "dc-1"
- 次のコマンドを使用して
CassandraDataReplication
を適用します。kubectl apply -f datareplication.yaml
- 次のコマンドを使用して、再ビルドのステータスを確認します。
kubectl -n apigee get apigeeds -o json | jq .items[].status.cassandraDataReplication
結果は次のようになります。
{ "rebuildDetails": { "apigee-cassandra-default-0": { "state": "complete", "updated": 1623105760 }, "apigee-cassandra-default-1": { "state": "complete", "updated": 1623105765 }, "apigee-cassandra-default-2": { "state": "complete", "updated": 1623105770 } }, "state": "complete", "updated": 1623105770 }
- 次のコマンドを使用して、クラスタから
- ログで再ビルドプロセスを確認します。また、
nodetool status
コマンドを使用してデータサイズを確認します。kubectl logs apigee-cassandra-default-0 -f -n apigee
kubectl exec apigee-cassandra-default-0 -n apigee -- nodetool -u JMX_user -pw JMX_password status
次に、ログエントリの例を示します。
INFO 01:42:24 rebuild from dc: dc-1, (All keyspaces), (All tokens) INFO 01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Executing streaming plan for Rebuild INFO 01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.1.45 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.1.45 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.4.36 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.432KiB), sending 0 files(0.000KiB) INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.1.45 is complete INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.4.36 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.5.22 INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.693KiB), sending 0 files(0.000KiB) INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.4.36 is complete INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.5.22 INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 3 files(0.720KiB), sending 0 files(0.000KiB) INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.5.22 is complete INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] All sessions completed
- シードホストを更新します。
overrides-DC_name.yaml
からmultiRegionSeedHost: 10.0.0.11
を削除してから再度適用します。apigeectl apply -f overrides/overrides-DC_name.yaml
Cassandra クラスタのステータスを確認する
次のコマンドは、2 つのデータセンターでクラスタが正常に設定されているかどうかを確認するのに役立ちます。このコマンドを実行すると、2 つのリージョンの nodetool ステータスがチェックされます。
kubectl exec apigee-cassandra-default-0 -n apigee -- nodetool -u JMX_user -pw JMX_password status Datacenter: dc-1 ======================= Status=Up/Down |/ State=Normal/Leaving/Joining/Moving -- Address Load Tokens Owns (effective) Host ID Rack UN 10.12.1.45 112.09 KiB 256 100.0% 3c98c816-3f4d-48f0-9717-03d0c998637f ra-1 UN 10.12.4.36 95.27 KiB 256 100.0% 0a36383d-1d9e-41e2-924c-7b62be12d6cc ra-1 UN 10.12.5.22 88.7 KiB 256 100.0% 3561f4fa-af3d-4ea4-93b2-79ac7e938201 ra-1 Datacenter: us-west1 ==================== Status=Up/Down |/ State=Normal/Leaving/Joining/Moving -- Address Load Tokens Owns (effective) Host ID Rack UN 10.0.4.33 78.69 KiB 256 0.0% a200217d-260b-45cd-b83c-182b27ff4c99 ra-1 UN 10.0.0.21 78.68 KiB 256 0.0% 9f3364b9-a7a1-409c-9356-b7d1d312e52b ra-1 UN 10.0.1.26 15.46 KiB 256 0.0% 1666df0f-702e-4c5b-8b6e-086d0f2e47fa ra-1
GKE On-Prem
マルチリージョン シードホストを構成する
このセクションでは、既存の Cassandra クラスタを新しいリージョンに拡張する方法について説明します。この設定によって、新しいリージョンがクラスタをブートストラップし、既存のデータセンターに参加できるようになります。この構成がないと、マルチリージョンの Kubernetes クラスタが相互に認識できません。
- 元のクラスタの
overrides.yaml
ファイルで、cassandra:hostNetwork
がtrue
に設定されていることを確認します。次のようになります。cassandra: hostNetwork: true
hostNetwork: true
を設定するタイミングについて詳しくは、前提条件をご覧ください。 cassandra:hostNetwork
がtrue
に設定されていない場合は、次の操作を行います。cassandra.hostNetwork
をtrue
に変更します。-
次のコマンドを使用して
overrides.yaml
構成ファイルを適用します。apigeectl apply -f overrides.yaml --datastore
- Cassandra Pod がローリング再起動を完了するまで待ちます。
-
次のコマンドを使用して、Cassandra クラスタが正常であることを確認します。
kubectl exec -it -n apigee apigee-cassandra-default-0 -- /bin/bash
nodetool -u $APIGEE_JMX_USER -pw $APIGEE_JMX_PASSWORD status
出力のすべての Cassandra ノードが UN(Up/Normal)ステータスであることを確認します。
nodetool -u $APIGEE_JMX_USER -pw $APIGEE_JMX_PASSWORD describecluster
出力にアクセス不可のノードがリストされていないことを確認します。
- シード名を取得する前に、kubectl コンテキストを元のクラスタに設定します。
kubectl config use-context original-cluster-name
次の
kubectl
コマンドを実行して、現在のリージョンの Cassandra のシードホスト アドレスを特定します。シードホスト アドレスによって、新しいリージョン インスタンスは最初の起動時に元のクラスタを検索し、クラスタのトポロジを学習できます。シードホスト アドレスは、クラスタ内のコンタクト ポイントとなります。
kubectl get pods -o wide -n apigee
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE apigee-cassandra-default-0 1/1 Running 0 5d 10.0.0.11 gke-k8s-dc-2-default-pool-a2206492-p55d apigee-cassandra-default-1 1/1 Running 0 5d 10.0.2.4 gke-k8s-dc-2-default-pool-e9daaab3-tjmz apigee-cassandra-default-2 1/1 Running 0 5d 10.0.3.5 gke-k8s-dc-2-default-pool-e589awq3-kjch
- 以前のコマンドで返された IP の中からマルチリージョン シードホストにするものを決めます。
-
データセンター 2 では、オーバーライド ファイルで
cassandra.multiRegionSeedHost
を構成します。ここで、multiRegionSeedHost
は、前のコマンドで返された IP の 1 つです。cassandra: hostNetwork: true multiRegionSeedHost: seed_host_IP datacenter: data_center_name rack: rack_name clusterName: cluster_name # must be the same for all regions
次に例を示します。
cassandra: hostNetwork: true multiRegionSeedHost: 10.0.0.11 datacenter: "dc-2" rack: "ra-1" clusterName: my-apigee-cluster
- 新しいデータセンターまたはリージョンでは、ハイブリッドをインストールする前に、最初のリージョンで設定したものと同じ TLS 証明書と認証情報を
overrides.yaml
で設定します。
新しいリージョンを設定する
シードホストを構成したら、新しいリージョンを設定できます。
新しいリージョンを設定するには:
- 証明書を既存のクラスタから新しいクラスタにコピーします。新しい CA ルートは、Cassandra などのハイブリッド コンポーネントによって mTLS に使用されます。したがって、クラスタ全体で一貫した証明書を使用することが不可欠です。
- コンテキストを元の名前空間に設定します。
kubectl config use-context original-cluster-name
- 現在の名前空間の構成をファイルにエクスポートします。
kubectl get namespace namespace -o yaml > apigee-namespace.yaml
apigee-ca
Secret をファイルにエクスポートします。kubectl -n cert-manager get secret apigee-ca -o yaml > apigee-ca.yaml
- 新しいリージョンのクラスタ名にコンテキストを設定します。
kubectl config use-context new-cluster-name
- 新しいクラスタに名前空間の構成をインポートします。新しいリージョンで別の名前空間を使用する場合は、ファイル内の「namespace」を必ず更新してください。
kubectl apply -f apigee-namespace.yaml
新しいクラスタに Secret をインポートします。
kubectl -n cert-manager apply -f apigee-ca.yaml
- コンテキストを元の名前空間に設定します。
- 新しいリージョンにハイブリッドをインストールします。前のセクションで説明したように、
overrides-DC_name.yaml
ファイルには、最初のリージョンで構成したものと同じ TLS 証明書を指定してください。次の 2 つのコマンドを実行して、ハイブリッドを新しいリージョンにインストールします。
apigeectl init -f overrides/overrides-DC_name.yaml
apigeectl apply -f overrides/overrides-DC_name.yaml
- 次のコマンドを実行して、ハイブリッドのインストールが成功したことを確認します。
apigeectl check-ready -f overrides_DC_name.yaml
- 次のコマンドを実行して、Cassandra クラスタの設定を確認します。出力には、既存のデータセンターと新しいデータセンターの両方が表示されるはずです。
kubectl exec apigee-cassandra-default-0 -n apigee \ -- nodetool -u JMX_user -pw JMX_password status
成功した設定を示す例:
Datacenter: dc-1 ==================== Status=Up/Down |/ State=Normal/Leaving/Joining/Moving -- Address Load Tokens Owns Host ID Rack UN 10.132.87.93 68.07 GiB 256 ? fb51465c-167a-42f7-98c9-b6eba1de34de c UN 10.132.84.94 69.9 GiB 256 ? f621a5ac-e7ee-48a9-9a14-73d69477c642 b UN 10.132.84.105 76.95 GiB 256 ? 0561086f-e95b-4232-ba6c-ad519ff30336 d Datacenter: dc-2 ==================== Status=Up/Down |/ State=Normal/Leaving/Joining/Moving -- Address Load Tokens Owns Host ID Rack UN 10.132.0.8 71.61 GiB 256 ? 8894a98b-8406-45de-99e2-f404ab10b5d6 c UN 10.132.9.204 75.1 GiB 256 ? afa0ffa3-630b-4f1e-b46f-fc3df988092e a UN 10.132.3.133 68.08 GiB 256 ? 25ae39ab-b39e-4d4f-9cb7-de095ab873db b
- 新しいデータセンターのすべての Pod で Cassandra を設定します。
- 次のコマンドを使用して、クラスタから
apigeeorg
を取得します。kubectl get apigeeorg -n apigee -o json | jq .items[].metadata.name
次に例を示します。
Ex: kubectl get apigeeorg -n apigee -o json | jq .items[].metadata.name "rg-hybrid-b7d3b9c"
- cassandra データ レプリケーションのカスタム リソース(
YAML
)ファイルを作成します。ファイルには任意の名前を付けることができます。以下の例では、datareplication.yaml
というファイル名は使用します。このファイルには、次のものが含まれている必要があります。
apiVersion: apigee.cloud.google.com/v1alpha1 kind: CassandraDataReplication metadata: name: REGION_EXPANSION namespace: NAMESPACE spec: organizationRef: APIGEEORG_VALUE force: false source: region: SOURCE_REGION
ここで
- REGION_EXPANSION は、このメタデータに付ける名前です。任意の名前を使用できます。
- NAMESPACE は、
overrides.yaml
で定義されている名前空間です。通常はapigee
です。 - APIGEEORG_VALUE は、前の手順の
kubectl get apigeeorg -n apigee -o json | jq .items[].metadata.name
コマンドの出力値です。例:rg-hybrid-b7d3b9c
- SOURCE_REGION は、ソース リージョン(ソース リージョンの overrides.yaml の cassandra セクションの下にあるデータセンターの値)です。
例:
apiVersion: apigee.cloud.google.com/v1alpha1 kind: CassandraDataReplication metadata: name: region-expansion namespace: apigee spec: organizationRef: rg-hybrid-b7d3b9c force: false source: region: "dc-1"
- 次のコマンドを使用して
CassandraDataReplication
を適用します。kubectl apply -f datareplication.yaml
- 次のコマンドを使用して、再ビルドのステータスを確認します。
kubectl -n apigee get apigeeds -o json | jq .items[].status.cassandraDataReplication
結果は次のようになります。
{ "rebuildDetails": { "apigee-cassandra-default-0": { "state": "complete", "updated": 1623105760 }, "apigee-cassandra-default-1": { "state": "complete", "updated": 1623105765 }, "apigee-cassandra-default-2": { "state": "complete", "updated": 1623105770 } }, "state": "complete", "updated": 1623105770 }
- 次のコマンドを使用して、クラスタから
- ログで再ビルドプロセスを確認します。また、
nodetool status
コマンドを使用してデータサイズを確認します。kubectl logs apigee-cassandra-default-0 -f -n apigee
kubectl exec apigee-cassandra-default-0 -n apigee -- nodetool -u JMX_user -pw JMX_password status
次に、ログエントリの例を示します。
INFO 01:42:24 rebuild from dc: dc-1, (All keyspaces), (All tokens) INFO 01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Executing streaming plan for Rebuild INFO 01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.1.45 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.1.45 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.4.36 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.432KiB), sending 0 files(0.000KiB) INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.1.45 is complete INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.4.36 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.5.22 INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.693KiB), sending 0 files(0.000KiB) INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.4.36 is complete INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.5.22 INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 3 files(0.720KiB), sending 0 files(0.000KiB) INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.5.22 is complete INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] All sessions completed
- シードホストを更新します。
overrides-DC_name.yaml
からmultiRegionSeedHost: 10.0.0.11
を削除してから再度適用します。apigeectl apply -f overrides/overrides-DC_name.yaml
Cassandra クラスタのステータスを確認する
次のコマンドは、2 つのデータセンターでクラスタが正常に設定されているかどうかを確認するのに役立ちます。このコマンドを実行すると、2 つのリージョンの nodetool ステータスがチェックされます。
kubectl exec apigee-cassandra-default-0 -n apigee -- nodetool -u JMX_user -pw JMX_password status Datacenter: dc-1 ======================= Status=Up/Down |/ State=Normal/Leaving/Joining/Moving -- Address Load Tokens Owns (effective) Host ID Rack UN 10.12.1.45 112.09 KiB 256 100.0% 3c98c816-3f4d-48f0-9717-03d0c998637f ra-1 UN 10.12.4.36 95.27 KiB 256 100.0% 0a36383d-1d9e-41e2-924c-7b62be12d6cc ra-1 UN 10.12.5.22 88.7 KiB 256 100.0% 3561f4fa-af3d-4ea4-93b2-79ac7e938201 ra-1 Datacenter: us-west1 ==================== Status=Up/Down |/ State=Normal/Leaving/Joining/Moving -- Address Load Tokens Owns (effective) Host ID Rack UN 10.0.4.33 78.69 KiB 256 0.0% a200217d-260b-45cd-b83c-182b27ff4c99 ra-1 UN 10.0.0.21 78.68 KiB 256 0.0% 9f3364b9-a7a1-409c-9356-b7d1d312e52b ra-1 UN 10.0.1.26 15.46 KiB 256 0.0% 1666df0f-702e-4c5b-8b6e-086d0f2e47fa ra-1
AKS
各リージョンで仮想ネットワークを作成する
Azure の推奨事項に従ってクロスリージョン通信を確立します。具体的には、VNet-to-VNet: 異なるリージョン間での Azure 仮想ネットワークの接続をご覧ください。
マルチリージョン クラスタを作成する
異なる CIDR ブロックを持つ複数のリージョンに Kubernetes クラスタを設定します。ステップ 1: クラスタを作成するもご覧ください。以前に作成したロケーションと仮想ネットワーク名を使用します。
すべてのリージョンの Kubernetes クラスタ間で Cassandra ポートを開き、リージョン間とデータセンター間でワーカーノードが通信できるようにします。Cassandra のポート番号については、ポートの構成をご覧ください。
マルチリージョン シードホストを構成する
このセクションでは、既存の Cassandra クラスタを新しいリージョンに拡張する方法について説明します。この設定によって、新しいリージョンがクラスタをブートストラップし、既存のデータセンターに参加できるようになります。この構成がないと、マルチリージョンの Kubernetes クラスタが相互に認識できません。
- 元のクラスタの
overrides.yaml
ファイルで、cassandra:hostNetwork
がtrue
に設定されていることを確認します。次のようになります。cassandra: hostNetwork: true
hostNetwork: true
を設定するタイミングについて詳しくは、前提条件をご覧ください。 cassandra:hostNetwork
がtrue
に設定されていない場合は、次の操作を行います。cassandra.hostNetwork
をtrue
に変更します。-
次のコマンドを使用して
overrides.yaml
構成ファイルを適用します。apigeectl apply -f overrides.yaml --datastore
- Cassandra Pod がローリング再起動を完了するまで待ちます。
-
次のコマンドを使用して、Cassandra クラスタが正常であることを確認します。
kubectl exec -it -n apigee apigee-cassandra-default-0 -- /bin/bash
nodetool -u $APIGEE_JMX_USER -pw $APIGEE_JMX_PASSWORD status
出力のすべての Cassandra ノードが UN(Up/Normal)ステータスであることを確認します。
nodetool -u $APIGEE_JMX_USER -pw $APIGEE_JMX_PASSWORD describecluster
出力にアクセス不可のノードがリストされていないことを確認します。
- シード名を取得する前に、kubectl コンテキストを元のクラスタに設定します。
kubectl config use-context original-cluster-name
次の
kubectl
コマンドを実行して、現在のリージョンの Cassandra のシードホスト アドレスを特定します。シードホスト アドレスによって、新しいリージョン インスタンスは最初の起動時に元のクラスタを検索し、クラスタのトポロジを学習できます。シードホスト アドレスは、クラスタ内のコンタクト ポイントとなります。
kubectl get pods -o wide -n apigee | grep apigee-cassandra
apigee-cassandra-default-0 1/1 Running 0 4d17h 120.38.1.9 aks-agentpool-21207753-vmss000000
-
以前のコマンドで返された IP の中からマルチリージョン シードホストにするものを決めます。この例では、単一ノードの cassandra クラスタのみが動作しており、シードホストは
120.38.1.9
です。 - データセンター 2 では、名前にクラスタ名を含む新しいファイルにオーバーライド ファイルがコピーされます。例:
overrides_your_cluster_name.yaml
。 - データセンター 2 では、
overrides_your_cluster_name.yaml
でcassandra.multiRegionSeedHost
とcassandra.datacenter
を構成します。ここでmultiRegionSeedHost
は、前のコマンドで返された IP の 1 つです。cassandra: multiRegionSeedHost: seed_host_IP datacenter: data_center_name rack: rack_name hostNetwork: true clusterName: cluster_name # must be the same for all regions
次に例を示します。
cassandra: multiRegionSeedHost: 120.38.1.9 datacenter: "centralus" rack: "ra-1" hostNetwork: true clusterName: my-apigee-cluster
- 新しいデータセンターまたはリージョンでは、ハイブリッドをインストールする前に、最初のリージョンで設定したものと同じ TLS 証明書と認証情報を
overrides_your_cluster_name.yaml
で設定します。
新しいリージョンを設定する
シードホストを構成したら、新しいリージョンを設定できます。
新しいリージョンを設定するには:
- 証明書を既存のクラスタから新しいクラスタにコピーします。新しい CA ルートは、Cassandra などのハイブリッド コンポーネントによって mTLS に使用されます。したがって、クラスタ全体で一貫した証明書を使用することが不可欠です。
- コンテキストを元の名前空間に設定します。
kubectl config use-context original-cluster-name
- 現在の名前空間の構成をファイルにエクスポートします。
kubectl get namespace namespace -o yaml > apigee-namespace.yaml
apigee-ca
Secret をファイルにエクスポートします。kubectl -n cert-manager get secret apigee-ca -o yaml > apigee-ca.yaml
- 新しいリージョンのクラスタ名にコンテキストを設定します。
kubectl config use-context new-cluster-name
- 新しいクラスタに名前空間の構成をインポートします。新しいリージョンで別の名前空間を使用する場合は、ファイル内の「namespace」を必ず更新してください。
kubectl apply -f apigee-namespace.yaml
新しいクラスタに Secret をインポートします。
kubectl -n cert-manager apply -f apigee-ca.yaml
- コンテキストを元の名前空間に設定します。
- 新しいリージョンにハイブリッドをインストールします。前のセクションで説明したように、
overrides_your_cluster_name.yaml
ファイルには、最初のリージョンで構成したものと同じ TLS 証明書を指定してください。次の 2 つのコマンドを実行して、ハイブリッドを新しいリージョンにインストールします。
apigeectl init -f overrides_your_cluster_name.yaml
apigeectl apply -f overrides_your_cluster_name.yaml
- 次のコマンドを実行して、ハイブリッドのインストールが成功したことを確認します。
apigeectl check-ready -f overrides_your_cluster_name.yaml
- 次のコマンドを実行して、Cassandra クラスタの設定を確認します。出力には、既存のデータセンターと新しいデータセンターの両方が表示されるはずです。
kubectl exec apigee-cassandra-default-0 -n apigee \ -- nodetool -u JMX_user -pw JMX_password status
成功した設定を示す例:
Datacenter: dc-1 ==================== Status=Up/Down |/ State=Normal/Leaving/Joining/Moving -- Address Load Tokens Owns Host ID Rack UN 10.132.87.93 68.07 GiB 256 ? fb51465c-167a-42f7-98c9-b6eba1de34de c UN 10.132.84.94 69.9 GiB 256 ? f621a5ac-e7ee-48a9-9a14-73d69477c642 b UN 10.132.84.105 76.95 GiB 256 ? 0561086f-e95b-4232-ba6c-ad519ff30336 d Datacenter: dc-2 ==================== Status=Up/Down |/ State=Normal/Leaving/Joining/Moving -- Address Load Tokens Owns Host ID Rack UN 10.132.0.8 71.61 GiB 256 ? 8894a98b-8406-45de-99e2-f404ab10b5d6 c UN 10.132.9.204 75.1 GiB 256 ? afa0ffa3-630b-4f1e-b46f-fc3df988092e a UN 10.132.3.133 68.08 GiB 256 ? 25ae39ab-b39e-4d4f-9cb7-de095ab873db b
- 新しいデータセンターのすべての Pod で Cassandra を設定します。
- 次のコマンドを使用して、クラスタから
apigeeorg
を取得します。kubectl get apigeeorg -n apigee -o json | jq .items[].metadata.name
次に例を示します。
Ex: kubectl get apigeeorg -n apigee -o json | jq .items[].metadata.name "rg-hybrid-b7d3b9c"
- cassandra データ レプリケーションのカスタム リソース(
YAML
)ファイルを作成します。ファイルには任意の名前を付けることができます。以下の例では、datareplication.yaml
というファイル名は使用します。このファイルには、次のものが含まれている必要があります。
apiVersion: apigee.cloud.google.com/v1alpha1 kind: CassandraDataReplication metadata: name: REGION_EXPANSION namespace: NAMESPACE spec: organizationRef: APIGEEORG_VALUE force: false source: region: SOURCE_REGION
ここで
- REGION_EXPANSION は、このメタデータに付ける名前です。任意の名前を使用できます。
- NAMESPACE は、
overrides.yaml
で定義されている名前空間です。通常はapigee
です。 - APIGEEORG_VALUE は、前の手順の
kubectl get apigeeorg -n apigee -o json | jq .items[].metadata.name
コマンドの出力値です。例:rg-hybrid-b7d3b9c
- SOURCE_REGION は、ソース リージョン(ソース リージョンの overrides.yaml の cassandra セクションの下にあるデータセンターの値)です。
例:
apiVersion: apigee.cloud.google.com/v1alpha1 kind: CassandraDataReplication metadata: name: region-expansion namespace: apigee spec: organizationRef: rg-hybrid-b7d3b9c force: false source: region: "dc-1"
- 次のコマンドを使用して
CassandraDataReplication
を適用します。kubectl apply -f datareplication.yaml
- 次のコマンドを使用して、再ビルドのステータスを確認します。
kubectl -n apigee get apigeeds -o json | jq .items[].status.cassandraDataReplication
結果は次のようになります。
{ "rebuildDetails": { "apigee-cassandra-default-0": { "state": "complete", "updated": 1623105760 }, "apigee-cassandra-default-1": { "state": "complete", "updated": 1623105765 }, "apigee-cassandra-default-2": { "state": "complete", "updated": 1623105770 } }, "state": "complete", "updated": 1623105770 }
- 次のコマンドを使用して、クラスタから
- ログで再ビルドプロセスを確認します。また、
nodetool status
コマンドを使用してデータサイズを確認します。kubectl logs apigee-cassandra-default-0 -f -n apigee
kubectl exec apigee-cassandra-default-0 -n apigee -- nodetool -u JMX_user -pw JMX_password status
次に、ログエントリの例を示します。
INFO 01:42:24 rebuild from dc: dc-1, (All keyspaces), (All tokens) INFO 01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Executing streaming plan for Rebuild INFO 01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.1.45 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.1.45 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.4.36 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.432KiB), sending 0 files(0.000KiB) INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.1.45 is complete INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.4.36 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.5.22 INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.693KiB), sending 0 files(0.000KiB) INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.4.36 is complete INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.5.22 INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 3 files(0.720KiB), sending 0 files(0.000KiB) INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.5.22 is complete INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] All sessions completed
- シードホストを更新します。
overrides-DC_name.yaml
からmultiRegionSeedHost: 120.38.1.9
を削除してから再度適用します。apigeectl apply -f overrides/overrides-DC_name.yaml
Cassandra クラスタのステータスを確認する
次のコマンドは、2 つのデータセンターでクラスタが正常に設定されているかどうかを確認するのに役立ちます。このコマンドは、2 つのリージョンの nodetool ステータスをチェックします。
kubectl exec apigee-cassandra-default-0 -n apigee -- nodetool -u JMX_user -pw JMX_password status Datacenter: dc-1 ======================= Status=Up/Down |/ State=Normal/Leaving/Joining/Moving -- Address Load Tokens Owns (effective) Host ID Rack UN 10.12.1.45 112.09 KiB 256 100.0% 3c98c816-3f4d-48f0-9717-03d0c998637f ra-1 UN 10.12.4.36 95.27 KiB 256 100.0% 0a36383d-1d9e-41e2-924c-7b62be12d6cc ra-1 UN 10.12.5.22 88.7 KiB 256 100.0% 3561f4fa-af3d-4ea4-93b2-79ac7e938201 ra-1 Datacenter: us-west1 ==================== Status=Up/Down |/ State=Normal/Leaving/Joining/Moving -- Address Load Tokens Owns (effective) Host ID Rack UN 10.0.4.33 78.69 KiB 256 0.0% a200217d-260b-45cd-b83c-182b27ff4c99 ra-1 UN 10.0.0.21 78.68 KiB 256 0.0% 9f3364b9-a7a1-409c-9356-b7d1d312e52b ra-1 UN 10.0.1.26 15.46 KiB 256 0.0% 1666df0f-702e-4c5b-8b6e-086d0f2e47fa ra-1
EKS
各リージョンで仮想ネットワークを作成する
VPC ピアリングとはで説明されているように、リージョン間の通信を確立するための AWS の推奨事項に従います。AWS では、異なるリージョンを使用することをリージョン間 VPC ピアリングと呼びます。
マルチリージョン クラスタを作成する
異なる CIDR ブロックを持つ複数のリージョンに Kubernetes クラスタを設定します。ステップ 1: クラスタを作成するもご覧ください。以前に作成したロケーションと仮想ネットワーク名を使用します。
すべてのリージョンの Kubernetes クラスタ間で Cassandra ポートを開き、リージョン間とデータセンター間でワーカーノードが通信できるようにします。Cassandra のポート番号については、ポートの構成をご覧ください。
マルチリージョン シードホストを構成する
このセクションでは、既存の Cassandra クラスタを新しいリージョンに拡張する方法について説明します。この設定によって、新しいリージョンがクラスタをブートストラップし、既存のデータセンターに参加できるようになります。この構成がないと、マルチリージョンの Kubernetes クラスタが相互に認識できません。
- 元のクラスタの
overrides.yaml
ファイルで、cassandra:hostNetwork
がtrue
に設定されていることを確認します。次のようになります。cassandra: hostNetwork: true
hostNetwork: true
を設定するタイミングについて詳しくは、前提条件をご覧ください。 cassandra:hostNetwork
がtrue
に設定されていない場合は、次の操作を行います。cassandra.hostNetwork
をtrue
に変更します。-
次のコマンドを使用して
overrides.yaml
構成ファイルを適用します。apigeectl apply -f overrides.yaml --datastore
- Cassandra Pod がローリング再起動を完了するまで待ちます。
-
次のコマンドを使用して、Cassandra クラスタが正常であることを確認します。
kubectl exec -it -n apigee apigee-cassandra-default-0 -- /bin/bash
nodetool -u $APIGEE_JMX_USER -pw $APIGEE_JMX_PASSWORD status
出力のすべての Cassandra ノードが UN(Up/Normal)ステータスであることを確認します。
nodetool -u $APIGEE_JMX_USER -pw $APIGEE_JMX_PASSWORD describecluster
出力にアクセス不可のノードがリストされていないことを確認します。
- シード名を取得する前に、kubectl コンテキストを元のクラスタに設定します。
kubectl config use-context original-cluster-name
次の
kubectl
コマンドを実行して、現在のリージョンの Cassandra のシードホスト アドレスを特定します。シードホスト アドレスによって、新しいリージョン インスタンスは最初の起動時に元のクラスタを検索し、クラスタのトポロジを学習できます。シードホスト アドレスは、クラスタ内のコンタクト ポイントとなります。
kubectl get pods -o wide -n apigee | grep apigee-cassandra
apigee-cassandra-default-0 1/1 Running 0 4d17h 120.38.1.9 aks-agentpool-21207753-vmss000000
-
以前のコマンドで返された IP の中からマルチリージョン シードホストにするものを決めます。この例では、単一ノードの cassandra クラスタのみが動作しており、シードホストは
120.38.1.9
です。 - データセンター 2 では、名前にクラスタ名を含む新しいファイルにオーバーライド ファイルがコピーされます。例:
overrides_your_cluster_name.yaml
。 - データセンター 2 では、
overrides_your_cluster_name.yaml
でcassandra.multiRegionSeedHost
とcassandra.datacenter
を構成します。ここでmultiRegionSeedHost
は、前のコマンドで返された IP の 1 つです。cassandra: multiRegionSeedHost: seed_host_IP datacenter: data_center_name rack: rack_name hostNetwork: true clusterName: cluster_name # must be the same for all regions
次に例を示します。
cassandra: multiRegionSeedHost: 120.38.1.9 datacenter: "centralus" rack: "ra-1" hostNetwork: true clusterName: my-apigee-cluster
- 新しいデータセンターまたはリージョンでは、ハイブリッドをインストールする前に、最初のリージョンで設定したものと同じ TLS 証明書と認証情報を
overrides_your_cluster_name.yaml
で設定します。
新しいリージョンを設定する
シードホストを構成したら、新しいリージョンを設定できます。
新しいリージョンを設定するには:
- 証明書を既存のクラスタから新しいクラスタにコピーします。新しい CA ルートは、Cassandra などのハイブリッド コンポーネントによって mTLS に使用されます。したがって、クラスタ全体で一貫した証明書を使用することが不可欠です。
- コンテキストを元の名前空間に設定します。
kubectl config use-context original-cluster-name
- 現在の名前空間の構成をファイルにエクスポートします。
kubectl get namespace namespace -o yaml > apigee-namespace.yaml
apigee-ca
Secret をファイルにエクスポートします。kubectl -n cert-manager get secret apigee-ca -o yaml > apigee-ca.yaml
- 新しいリージョンのクラスタ名にコンテキストを設定します。
kubectl config use-context new-cluster-name
- 新しいクラスタに名前空間の構成をインポートします。新しいリージョンで別の名前空間を使用する場合は、ファイル内の「namespace」を必ず更新してください。
kubectl apply -f apigee-namespace.yaml
新しいクラスタに Secret をインポートします。
kubectl -n cert-manager apply -f apigee-ca.yaml
- コンテキストを元の名前空間に設定します。
- 新しいリージョンにハイブリッドをインストールします。前のセクションで説明したように、
overrides_your_cluster_name.yaml
ファイルには、最初のリージョンで構成したものと同じ TLS 証明書を指定してください。次の 2 つのコマンドを実行して、ハイブリッドを新しいリージョンにインストールします。
apigeectl init -f overrides_your_cluster_name.yaml
apigeectl apply -f overrides_your_cluster_name.yaml
- 次のコマンドを実行して、ハイブリッドのインストールが成功したことを確認します。
apigeectl check-ready -f overrides_your_cluster_name.yaml
- 次のコマンドを実行して、Cassandra クラスタの設定を確認します。出力には、既存のデータセンターと新しいデータセンターの両方が表示されるはずです。
kubectl exec apigee-cassandra-default-0 -n apigee \ -- nodetool -u JMX_user -pw JMX_password status
成功した設定を示す例:
Datacenter: dc-1 ==================== Status=Up/Down |/ State=Normal/Leaving/Joining/Moving -- Address Load Tokens Owns Host ID Rack UN 10.132.87.93 68.07 GiB 256 ? fb51465c-167a-42f7-98c9-b6eba1de34de c UN 10.132.84.94 69.9 GiB 256 ? f621a5ac-e7ee-48a9-9a14-73d69477c642 b UN 10.132.84.105 76.95 GiB 256 ? 0561086f-e95b-4232-ba6c-ad519ff30336 d Datacenter: dc-2 ==================== Status=Up/Down |/ State=Normal/Leaving/Joining/Moving -- Address Load Tokens Owns Host ID Rack UN 10.132.0.8 71.61 GiB 256 ? 8894a98b-8406-45de-99e2-f404ab10b5d6 c UN 10.132.9.204 75.1 GiB 256 ? afa0ffa3-630b-4f1e-b46f-fc3df988092e a UN 10.132.3.133 68.08 GiB 256 ? 25ae39ab-b39e-4d4f-9cb7-de095ab873db b
- 新しいデータセンターのすべての Pod で Cassandra を設定します。
- 次のコマンドを使用して、クラスタから
apigeeorg
を取得します。kubectl get apigeeorg -n apigee -o json | jq .items[].metadata.name
次に例を示します。
Ex: kubectl get apigeeorg -n apigee -o json | jq .items[].metadata.name "rg-hybrid-b7d3b9c"
- cassandra データ レプリケーションのカスタム リソース(
YAML
)ファイルを作成します。ファイルには任意の名前を付けることができます。以下の例では、datareplication.yaml
というファイル名は使用します。このファイルには、次のものが含まれている必要があります。
apiVersion: apigee.cloud.google.com/v1alpha1 kind: CassandraDataReplication metadata: name: REGION_EXPANSION namespace: NAMESPACE spec: organizationRef: APIGEEORG_VALUE force: false source: region: SOURCE_REGION
ここで
- REGION_EXPANSION は、このメタデータに付ける名前です。任意の名前を使用できます。
- NAMESPACE は、
overrides.yaml
で定義されている名前空間です。通常はapigee
です。 - APIGEEORG_VALUE は、前の手順の
kubectl get apigeeorg -n apigee -o json | jq .items[].metadata.name
コマンドの出力値です。例:rg-hybrid-b7d3b9c
- SOURCE_REGION は、ソース リージョン(ソース リージョンの overrides.yaml の cassandra セクションの下にあるデータセンターの値)です。
例:
apiVersion: apigee.cloud.google.com/v1alpha1 kind: CassandraDataReplication metadata: name: region-expansion namespace: apigee spec: organizationRef: rg-hybrid-b7d3b9c force: false source: region: "dc-1"
- 次のコマンドを使用して
CassandraDataReplication
を適用します。kubectl apply -f datareplication.yaml
- 次のコマンドを使用して、再ビルドのステータスを確認します。
kubectl -n apigee get apigeeds -o json | jq .items[].status.cassandraDataReplication
結果は次のようになります。
{ "rebuildDetails": { "apigee-cassandra-default-0": { "state": "complete", "updated": 1623105760 }, "apigee-cassandra-default-1": { "state": "complete", "updated": 1623105765 }, "apigee-cassandra-default-2": { "state": "complete", "updated": 1623105770 } }, "state": "complete", "updated": 1623105770 }
- 次のコマンドを使用して、クラスタから
- ログで再ビルドプロセスを確認します。また、
nodetool status
コマンドを使用してデータサイズを確認します。kubectl logs apigee-cassandra-default-0 -f -n apigee
kubectl exec apigee-cassandra-default-0 -n apigee -- nodetool -u JMX_user -pw JMX_password status
次に、ログエントリの例を示します。
INFO 01:42:24 rebuild from dc: dc-1, (All keyspaces), (All tokens) INFO 01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Executing streaming plan for Rebuild INFO 01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.1.45 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.1.45 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.4.36 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.432KiB), sending 0 files(0.000KiB) INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.1.45 is complete INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.4.36 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.5.22 INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.693KiB), sending 0 files(0.000KiB) INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.4.36 is complete INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.5.22 INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 3 files(0.720KiB), sending 0 files(0.000KiB) INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.5.22 is complete INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] All sessions completed
- シードホストを更新します。
overrides-DC_name.yaml
からmultiRegionSeedHost: 10.0.0.11
を削除してから再度適用します。apigeectl apply -f overrides/overrides-DC_name.yaml
Cassandra クラスタのステータスを確認する
次のコマンドは、2 つのデータセンターでクラスタが正常に設定されているかどうかを確認するのに役立ちます。このコマンドを実行すると、2 つのリージョンの nodetool ステータスがチェックされます。
kubectl exec apigee-cassandra-default-0 -n apigee -- nodetool -u JMX_user -pw JMX_password status Datacenter: dc-1 ======================= Status=Up/Down |/ State=Normal/Leaving/Joining/Moving -- Address Load Tokens Owns (effective) Host ID Rack UN 10.12.1.45 112.09 KiB 256 100.0% 3c98c816-3f4d-48f0-9717-03d0c998637f ra-1 UN 10.12.4.36 95.27 KiB 256 100.0% 0a36383d-1d9e-41e2-924c-7b62be12d6cc ra-1 UN 10.12.5.22 88.7 KiB 256 100.0% 3561f4fa-af3d-4ea4-93b2-79ac7e938201 ra-1 Datacenter: us-west1 ==================== Status=Up/Down |/ State=Normal/Leaving/Joining/Moving -- Address Load Tokens Owns (effective) Host ID Rack UN 10.0.4.33 78.69 KiB 256 0.0% a200217d-260b-45cd-b83c-182b27ff4c99 ra-1 UN 10.0.0.21 78.68 KiB 256 0.0% 9f3364b9-a7a1-409c-9356-b7d1d312e52b ra-1 UN 10.0.1.26 15.46 KiB 256 0.0% 1666df0f-702e-4c5b-8b6e-086d0f2e47fa ra-1
OpenShift
マルチリージョン シードホストを構成する
このセクションでは、既存の Cassandra クラスタを新しいリージョンに拡張する方法について説明します。この設定によって、新しいリージョンがクラスタをブートストラップし、既存のデータセンターに参加できるようになります。この構成がないと、マルチリージョンの Kubernetes クラスタが相互に認識できません。
- 元のクラスタの
overrides.yaml
ファイルで、cassandra:hostNetwork
がtrue
に設定されていることを確認します。次のようになります。cassandra: hostNetwork: true
hostNetwork: true
を設定するタイミングについて詳しくは、前提条件をご覧ください。 cassandra:hostNetwork
がtrue
に設定されていない場合は、次の操作を行います。cassandra.hostNetwork
をtrue
に変更します。-
次のコマンドを使用して
overrides.yaml
構成ファイルを適用します。apigeectl apply -f overrides.yaml --datastore
- Cassandra Pod がローリング再起動を完了するまで待ちます。
-
次のコマンドを使用して、Cassandra クラスタが正常であることを確認します。
kubectl exec -it -n apigee apigee-cassandra-default-0 -- /bin/bash
nodetool -u $APIGEE_JMX_USER -pw $APIGEE_JMX_PASSWORD status
出力のすべての Cassandra ノードが UN(Up/Normal)ステータスであることを確認します。
nodetool -u $APIGEE_JMX_USER -pw $APIGEE_JMX_PASSWORD describecluster
出力にアクセス不可のノードがリストされていないことを確認します。
- シード名を取得する前に、kubectl コンテキストを元のクラスタに設定します。
kubectl config use-context original-cluster-name
次の
kubectl
コマンドを実行して、現在のリージョンの Cassandra のシードホスト アドレスを特定します。シードホスト アドレスによって、新しいリージョン インスタンスは最初の起動時に元のクラスタを検索し、クラスタのトポロジを学習できます。シードホスト アドレスは、クラスタ内のコンタクト ポイントとなります。
kubectl get pods -o wide -n apigee
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE apigee-cassandra-default-0 1/1 Running 0 5d 10.0.0.11 gke-k8s-dc-2-default-pool-a2206492-p55d apigee-cassandra-default-1 1/1 Running 0 5d 10.0.2.4 gke-k8s-dc-2-default-pool-e9daaab3-tjmz apigee-cassandra-default-2 1/1 Running 0 5d 10.0.3.5 gke-k8s-dc-2-default-pool-e589awq3-kjch
-
マルチリージョン シードホストとして使用するソース Cassandra ホストの IP アドレスを選択します。この例では
apigee-cassandra-default-0
です。クラスタは稼働中であり、シードホストは10.0.0.11
です。 - データセンター 2 では、名前にクラスタ名を含む新しいファイルにオーバーライド ファイルがコピーされます。例:
overrides_your_cluster_name.yaml
。 - データセンター 2 では、
overrides_your_cluster_name.yaml
でcassandra.multiRegionSeedHost
とcassandra.datacenter
を構成します。ここでmultiRegionSeedHost
は、前のコマンドで返された IP の 1 つです。cassandra: hostNetwork: true multiRegionSeedHost: seed_host_IP # Cassandra pod IP address from the source region. datacenter: data_center_name rack: rack_name clusterName: cluster_name # must be the same for all regions
次に例を示します。
cassandra: hostNetwork: true multiRegionSeedHost: 10.0.0.11 datacenter: "dc-2" rack: "ra-1" clusterName: my-apigee-cluster
- 新しいデータセンターまたはリージョンでは、ハイブリッドをインストールする前に、最初のリージョンで設定したものと同じ TLS 証明書と認証情報を
overrides_your_cluster_name.yaml
で設定します。
新しいリージョンを設定する
シードホストを構成したら、新しいリージョンを設定できます。
新しいリージョンを設定するには:
- 証明書を既存のクラスタから新しいクラスタにコピーします。新しい CA ルートは、Cassandra などのハイブリッド コンポーネントによって mTLS に使用されます。したがって、クラスタ全体で一貫した証明書を使用することが不可欠です。
- コンテキストを元の名前空間に設定します。
kubectl config use-context original-cluster-name
- 現在の名前空間の構成をファイルにエクスポートします。
kubectl get namespace namespace -o yaml > apigee-namespace.yaml
apigee-ca
Secret をファイルにエクスポートします。kubectl -n cert-manager get secret apigee-ca -o yaml > apigee-ca.yaml
- 新しいリージョンのクラスタ名にコンテキストを設定します。
kubectl config use-context new-cluster-name
- 新しいクラスタに名前空間の構成をインポートします。新しいリージョンで別の名前空間を使用する場合は、ファイル内の「namespace」を必ず更新してください。
kubectl apply -f apigee-namespace.yaml
新しいクラスタに Secret をインポートします。
kubectl -n cert-manager apply -f apigee-ca.yaml
- コンテキストを元の名前空間に設定します。
- 新しいリージョンにハイブリッドをインストールします。前のセクションで説明したように、
overrides_your_cluster_name.yaml
ファイルには、最初のリージョンで構成したものと同じ TLS 証明書を指定してください。次の 2 つのコマンドを実行して、ハイブリッドを新しいリージョンにインストールします。
apigeectl init -f overrides_your_cluster_name.yaml
apigeectl apply -f overrides_your_cluster_name.yaml
- 次のコマンドを実行して、ハイブリッドのインストールが成功したことを確認します。
apigeectl check-ready -f overrides_your_cluster_name.yaml
- 次のコマンドを実行して、Cassandra クラスタの設定を確認します。出力には、既存のデータセンターと新しいデータセンターの両方が表示されるはずです。
kubectl exec apigee-cassandra-default-0 -n apigee \ -- nodetool -u JMX_user -pw JMX_password status
成功した設定を示す例:
Datacenter: dc-1 ==================== Status=Up/Down |/ State=Normal/Leaving/Joining/Moving -- Address Load Tokens Owns Host ID Rack UN 10.132.87.93 68.07 GiB 256 ? fb51465c-167a-42f7-98c9-b6eba1de34de c UN 10.132.84.94 69.9 GiB 256 ? f621a5ac-e7ee-48a9-9a14-73d69477c642 b UN 10.132.84.105 76.95 GiB 256 ? 0561086f-e95b-4232-ba6c-ad519ff30336 d Datacenter: dc-2 ==================== Status=Up/Down |/ State=Normal/Leaving/Joining/Moving -- Address Load Tokens Owns Host ID Rack UN 10.132.0.8 71.61 GiB 256 ? 8894a98b-8406-45de-99e2-f404ab10b5d6 c UN 10.132.9.204 75.1 GiB 256 ? afa0ffa3-630b-4f1e-b46f-fc3df988092e a UN 10.132.3.133 68.08 GiB 256 ? 25ae39ab-b39e-4d4f-9cb7-de095ab873db b
- 新しいデータセンターのすべての Pod で Cassandra を設定します。
- 次のコマンドを使用して、クラスタから
apigeeorg
を取得します。kubectl get apigeeorg -n apigee -o json | jq .items[].metadata.name
次に例を示します。
Ex: kubectl get apigeeorg -n apigee -o json | jq .items[].metadata.name "rg-hybrid-b7d3b9c"
- cassandra データ レプリケーションのカスタム リソース(
YAML
)ファイルを作成します。ファイルには任意の名前を付けることができます。以下の例では、datareplication.yaml
というファイル名は使用します。このファイルには、次のものが含まれている必要があります。
apiVersion: apigee.cloud.google.com/v1alpha1 kind: CassandraDataReplication metadata: name: REGION_EXPANSION namespace: NAMESPACE spec: organizationRef: APIGEEORG_VALUE force: false source: region: SOURCE_REGION
ここで
- REGION_EXPANSION は、このメタデータに付ける名前です。任意の名前を使用できます。
- NAMESPACE は、
overrides.yaml
で定義されている名前空間です。通常はapigee
です。 - APIGEEORG_VALUE は、前の手順の
kubectl get apigeeorg -n apigee -o json | jq .items[].metadata.name
コマンドの出力値です。例:rg-hybrid-b7d3b9c
- SOURCE_REGION は、ソース リージョン(ソース リージョンの overrides.yaml の cassandra セクションの下にあるデータセンターの値)です。
例:
apiVersion: apigee.cloud.google.com/v1alpha1 kind: CassandraDataReplication metadata: name: region-expansion namespace: apigee spec: organizationRef: rg-hybrid-b7d3b9c force: false source: region: "dc-1"
- 次のコマンドを使用して
CassandraDataReplication
を適用します。kubectl apply -f datareplication.yaml
- 次のコマンドを使用して、再ビルドのステータスを確認します。
kubectl -n apigee get apigeeds -o json | jq .items[].status.cassandraDataReplication
結果は次のようになります。
{ "rebuildDetails": { "apigee-cassandra-default-0": { "state": "complete", "updated": 1623105760 }, "apigee-cassandra-default-1": { "state": "complete", "updated": 1623105765 }, "apigee-cassandra-default-2": { "state": "complete", "updated": 1623105770 } }, "state": "complete", "updated": 1623105770 }
- 次のコマンドを使用して、クラスタから
- ログで再ビルドプロセスを確認します。また、
nodetool status
コマンドを使用してデータサイズを確認します。kubectl logs apigee-cassandra-default-0 -f -n apigee
kubectl exec apigee-cassandra-default-0 -n apigee -- nodetool -u JMX_user -pw JMX_password status
次に、ログエントリの例を示します。
INFO 01:42:24 rebuild from dc: dc-1, (All keyspaces), (All tokens) INFO 01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Executing streaming plan for Rebuild INFO 01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.1.45 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.1.45 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.4.36 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.432KiB), sending 0 files(0.000KiB) INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.1.45 is complete INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.4.36 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.5.22 INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.693KiB), sending 0 files(0.000KiB) INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.4.36 is complete INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.5.22 INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 3 files(0.720KiB), sending 0 files(0.000KiB) INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.5.22 is complete INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] All sessions completed
- シードホストを更新します。
overrides-DC_name.yaml
からmultiRegionSeedHost: 10.0.0.11
を削除してから再度適用します。apigeectl apply -f overrides/overrides-DC_name.yaml
Cassandra クラスタのステータスを確認する
次のコマンドは、2 つのデータセンターでクラスタが正常に設定されているかどうかを確認するのに役立ちます。このコマンドを実行すると、2 つのリージョンの nodetool ステータスがチェックされます。
kubectl exec apigee-cassandra-default-0 -n apigee -- nodetool -u JMX_user -pw JMX_password status Datacenter: dc-1 ======================= Status=Up/Down |/ State=Normal/Leaving/Joining/Moving -- Address Load Tokens Owns (effective) Host ID Rack UN 10.12.1.45 112.09 KiB 256 100.0% 3c98c816-3f4d-48f0-9717-03d0c998637f ra-1 UN 10.12.4.36 95.27 KiB 256 100.0% 0a36383d-1d9e-41e2-924c-7b62be12d6cc ra-1 UN 10.12.5.22 88.7 KiB 256 100.0% 3561f4fa-af3d-4ea4-93b2-79ac7e938201 ra-1 Datacenter: us-west1 ==================== Status=Up/Down |/ State=Normal/Leaving/Joining/Moving -- Address Load Tokens Owns (effective) Host ID Rack UN 10.0.4.33 78.69 KiB 256 0.0% a200217d-260b-45cd-b83c-182b27ff4c99 ra-1 UN 10.0.0.21 78.68 KiB 256 0.0% 9f3364b9-a7a1-409c-9356-b7d1d312e52b ra-1 UN 10.0.1.26 15.46 KiB 256 0.0% 1666df0f-702e-4c5b-8b6e-086d0f2e47fa ra-1
トラブルシューティング
Cassandra のデータ レプリケーションの失敗をご覧ください。