Implementación multirregional

Estás viendo la versión 1.11 de la documentación de Apigee Hybrid. Para obtener más información, consulta Versiones compatibles.

Version 1.11 

   Versiones compatibles:

• v1.13 (la más reciente)                        
• v1.12                         
• v1.11                         
• Lista de versiones compatibles

   Versiones no compatibles

• v1.10                                      
• v1.9                                         
• v1.8                                         
• v1.7                                         
• v1.6                                         
• v1.5                                         
• v1.4                                         
• v1.3                                         
• v1.2                                         
• v1.1                                         

En este tema, se describe una implementación multirregional de Apigee Hybrid en GKE, Anthos GKE implementado de forma local, Microsoft® Azure Kubernetes Service (AKS), Amazon Elastic Kubernetes Service (EKS) y Red Hat OpenShift. Selecciona tu plataforma en los requisitos previos y procedimientos.

Las topologías para la implementación multirregión incluyen lo siguiente:

• Activa-Activa: Cuando tienes aplicaciones implementadas en varias ubicaciones geográficas y necesitas una respuesta de API con baja latencia para tus implementaciones. Tienes la opción de implementar Hybrid en varias ubicaciones geográficas más cercanas a tus clientes. Por ejemplo, la costa oeste de EE.UU., la costa este de EE.UU., Europa y APAC.
• Activo-pasivo: Cuando tienes una región principal y una de conmutación por error o una de recuperación ante desastres.

Las regiones de una implementación híbrida multirregional se comunican a través de Cassandra, como se muestra en la siguiente imagen:

Requisitos previos

Antes de configurar Hybrid para varias regiones, debes completar los siguientes requisitos:

GKE

• Cuando instalas implementaciones multirregionales de Apigee entre diferentes redes (p. ej., diferentes proveedores de servicios en la nube, diferentes redes de VPC, entornos locales y en la nube, etc.), debes proporcionar conectividad interna entre estas redes independientes que Cassandra puede hacer. Se usan para comunicarse entre nodos. Esto se puede lograr con VPN o soluciones de conectividad específicas de la nube.
• Si usas Workload Identity en una cuenta para autenticar las cuentas de servicio, te recomendamos que uses Workload Identity en cada clúster que expandas. Consulta Habilita Workload Identity con Apigee Hybrid.
• Configura los clústeres de Kubernetes en varias regiones con diferentes bloques CIDR
• Asegúrate de que cert-manager esté instalado en cada clúster.
• Configura la comunicación entre regiones
• Asegúrate de que todos los Pods de Cassandra puedan resolver sus propios nombres de host. Si hostNetwork está configurado como falso, el nombre de host es el nombre del pod de Cassandra. Si hostNetwork está configurado como verdadero, el nombre de host es el nombre de host del nodo de Kubernetes que ejecuta el pod de Cassandra.
  Sugerencia: Para verificar si la resolución de nombre de host funciona, usa estos comandos.
  
  Si hostNetwork se configuró como falso, usa el comando 1. Si hostNetwork está configurado como verdadero, usa el comando 2.
  
  Si la resolución de nombre de host funciona, el resultado mostrará una dirección IP. Si la resolución del nombre de host falla, el resultado incluirá el mensaje “No se encontró el host”.
  
  Comando 1:

  kubectl run -l app=alpine --image=alpine --restart=Never --rm -i -t alpine-linux -n apigee -- hostname -i

  
  Comando 2:

  kubectl run -l app=alpine --image=alpine --restart=Never --rm -i -t alpine-linux -n apigee --overrides='{"kind":"Pod", "apiVersion":"v1", "spec": {"hostNetwork":true}}' -- hostname -i

• Requisitos multirregionales de Cassandra:
  • Asegúrate de que el espacio de nombres de la red del Pod tenga conectividad en todas las regiones, incluidos los firewalls, la VPN, el intercambio de tráfico entre VPC y el intercambio de tráfico de vNet. Este es el caso de la mayoría de las instalaciones de GKE.
  • Si el espacio de nombres de la red del Pod no tiene conectividad entre clústeres (los clústeres se ejecutan en “modo de red de islas”), habilita la función hostNetwork de Kubernetes mediante la configuración de cassandra.hostNetwork: true en el archivo de anulaciones para todas las regiones en la instalación multirregional de Apigee Hybrid.

    Para obtener más información sobre la necesidad de hostNetwork, consulta Clústeres de modo isla y hostNetwork a continuación.

  • Habilita hostNetwork en clústeres existentes antes de expandir la configuración multirregional a regiones nuevas.
  • Cuando hostNetwork esté habilitado, asegúrate de que los nodos trabajadores puedan realizar la búsqueda de DNS de los nombres de host. Apigee Cassandra usa la búsqueda de DNS de reenvío para obtener la IP del host durante el inicio.
    Sugerencia: Si la resolución de DNS no funciona, prueba esta solución alternativa.

    Agrega una entrada de host estática en el archivo /etc/hosts de cada nodo trabajador de Cassandra similar a lo siguiente:

    echo -e "\\n127.0.1.1 ${HOSTNAME}" >> "/etc/hosts"

    o

    "\\nWORKER-NODE-IP ${HOSTNAME}" >> "/etc/hosts"

  • Abre el puerto TCP 7001 entre clústeres de Kubernetes en todas las regiones para permitir que se comuniquen los nodos trabajadores en las regiones y los centros de datos. Consulta Configura puertos para obtener información sobre los números de puerto de Cassandra.

Consulta la documentación de Kubernetes para obtener información detallada.

Nota: Apigee recomienda que te asegures de que los tiempos de tus servidores estén sincronizados.

Varias funciones, como el vencimiento y la revocación de tokens, dependen de los horarios precisos del sistema. Si alojas los componentes del entorno de ejecución en diferentes centros de datos, asegúrate de que los tiempos del sistema estén sincronizados.

Puedes usar una herramienta como ntpdate para verificar que los horarios del servidor estén sincronizados.

GKE On‑Prem

• Cuando instalas implementaciones multirregionales de Apigee entre diferentes redes (p. ej., diferentes proveedores de servicios en la nube, diferentes redes de VPC, entornos locales y en la nube, etc.), debes proporcionar conectividad interna entre estas redes independientes que Cassandra puede hacer. Se usan para comunicarse entre nodos. Esto se puede lograr con VPN o soluciones de conectividad específicas de la nube.
• Configura los clústeres de Kubernetes en varias regiones con diferentes bloques CIDR
• Asegúrate de que cert-manager esté instalado en cada clúster.
• Configura la comunicación entre regiones
• Asegúrate de que todos los Pods de Cassandra puedan resolver sus propios nombres de host. Si hostNetwork está configurado como falso, el nombre de host es el nombre del pod de Cassandra. Si hostNetwork está configurado como verdadero, el nombre de host es el nombre de host del nodo de Kubernetes que ejecuta el pod de Cassandra.
  Sugerencia: Para verificar si la resolución de nombre de host funciona, usa estos comandos.
  
  Si hostNetwork se configuró como falso, usa el comando 1. Si hostNetwork está configurado como verdadero, usa el comando 2.
  
  Si la resolución de nombre de host funciona, el resultado mostrará una dirección IP. Si la resolución del nombre de host falla, el resultado incluirá el mensaje “No se encontró el host”.
  
  Comando 1:

  kubectl run -l app=alpine --image=alpine --restart=Never --rm -i -t alpine-linux -n apigee -- hostname -i

  
  Comando 2:

  kubectl run -l app=alpine --image=alpine --restart=Never --rm -i -t alpine-linux -n apigee --overrides='{"kind":"Pod", "apiVersion":"v1", "spec": {"hostNetwork":true}}' -- hostname -i

• Requisitos multirregionales de Cassandra:
  • Si el espacio de nombres de la red del Pod no tiene conectividad entre clústeres (los clústeres se ejecutan en “modo de red de islas”, que es el caso predeterminado en las instalaciones de GKE On-Prem), habilita la función hostNetwork de Kubernetes mediante la configuración de cassandra.hostNetwork: true en el archivo de anulaciones para todas las regiones en la instalación multirregional de Apigee Hybrid.

    Para obtener más información sobre la necesidad de hostNetwork, consulta Clústeres de modo isla y hostNetwork a continuación.

  • Habilita hostNetwork en clústeres existentes antes de expandir la configuración multirregional a regiones nuevas.
  • Cuando hostNetwork esté habilitado, asegúrate de que los nodos trabajadores puedan realizar la búsqueda directa de DNS de los nombres de host. Apigee Cassandra usa la búsqueda directa de DNS de reenvío para obtener la IP del host durante el inicio.
    Sugerencia: Si la resolución de DNS no funciona, prueba esta solución alternativa.

    Agrega una entrada de host estática en el archivo /etc/hosts de cada nodo trabajador de Cassandra similar a lo siguiente:

    echo -e "\\n127.0.1.1 ${HOSTNAME}" >> "/etc/hosts"

    o

    "\\nWORKER-NODE-IP ${HOSTNAME}" >> "/etc/hosts"

  • Abre puertos de Cassandra entre clústeres de Kubernetes en todas las regiones para permitir que se comuniquen los nodos trabajadores en las regiones y los centros de datos. Consulta Configura puertos para conocer los números de puerto de Cassandra.

Consulta la documentación de Kubernetes para obtener información detallada.

Nota: Apigee recomienda que te asegures de que los tiempos de tus servidores estén sincronizados.

Varias funciones, como el vencimiento y la revocación de tokens, dependen de los horarios precisos del sistema. Si alojas los componentes del entorno de ejecución en diferentes centros de datos, asegúrate de sincronizar los tiempos del sistema.

Puedes usar una herramienta como ntpdate para verificar que los horarios del servidor estén sincronizados.

AKS

• Cuando instalas implementaciones multirregionales de Apigee entre diferentes redes (p. ej., diferentes proveedores de servicios en la nube, diferentes redes de VPC, entornos locales y en la nube, etc.), debes proporcionar conectividad interna entre estas redes independientes que Cassandra puede hacer. Se usan para comunicarse entre nodos. Esto se puede lograr con VPN o soluciones de conectividad específicas de la nube.
• Antes de pasar a los pasos de configuración del clúster, sigue la guía de instalación de Hybrid para conocer los requisitos previos, como Google Cloud y la configuración de la organización.
• Asegúrate de que cert-manager esté instalado en cada clúster.
• Asegúrate de que todos los Pods de Cassandra puedan resolver sus propios nombres de host. Si hostNetwork está configurado como falso, el nombre de host es el nombre del pod de Cassandra. Si hostNetwork está configurado como verdadero, el nombre de host es el nombre de host del nodo de Kubernetes que ejecuta el pod de Cassandra.
  Sugerencia: Para verificar si la resolución de nombre de host funciona, usa estos comandos.
  
  Si hostNetwork se configuró como falso, usa el comando 1. Si hostNetwork está configurado como verdadero, usa el comando 2.
  
  Si la resolución de nombre de host funciona, el resultado mostrará una dirección IP. Si la resolución del nombre de host falla, el resultado incluirá el mensaje “No se encontró el host”.
  
  Comando 1:

  kubectl run -l app=alpine --image=alpine --restart=Never --rm -i -t alpine-linux -n apigee -- hostname -i

  
  Comando 2:

  kubectl run -l app=alpine --image=alpine --restart=Never --rm -i -t alpine-linux -n apigee --overrides='{"kind":"Pod", "apiVersion":"v1", "spec": {"hostNetwork":true}}' -- hostname -i

• Requisitos multirregionales de Cassandra:
  • Si el espacio de nombres de la red del Pod no tiene conectividad entre clústeres (los clústeres se ejecutan en “modo de red de islas”, que es el caso predeterminado de las instalaciones de AKS), habilita la función hostNetwork de Kubernetes mediante la configuración de cassandra.hostNetwork: true en el archivo de anulaciones para todas las regiones en la instalación multirregional de Apigee Hybrid.

    Para obtener más información sobre la necesidad de hostNetwork, consulta Clústeres de modo isla y hostNetwork a continuación.

  • Habilita hostNetwork en clústeres existentes antes de expandir la configuración multirregional a regiones nuevas.
  • Cuando hostNetwork esté habilitado, asegúrate de que los nodos trabajadores puedan realizar la búsqueda de DNS de los nombres de host. Apigee Cassandra usa la búsqueda de DNS de reenvío para obtener la IP del host durante el inicio.
    Sugerencia: Si la resolución de DNS no funciona, prueba esta solución alternativa.

    Agrega una entrada de host estática en el archivo /etc/hosts de cada nodo trabajador de Cassandra similar a lo siguiente:

    echo -e "\\n127.0.1.1 ${HOSTNAME}" >> "/etc/hosts"

    o

    "\\nWORKER-NODE-IP ${HOSTNAME}" >> "/etc/hosts"

  • Abre puertos de Cassandra entre clústeres de Kubernetes en todas las regiones para permitir que se comuniquen los nodos trabajadores en las regiones y los centros de datos. Consulta Configura puertos para conocer los números de puerto de Cassandra.

Consulta la documentación de Kubernetes para obtener información detallada.

Nota: Apigee recomienda que te asegures de que los tiempos de tus servidores estén sincronizados.

Varias funciones, como el vencimiento y la revocación de tokens, dependen de los tiempos precisos del sistema. Si alojas los componentes del entorno de ejecución en diferentes centros de datos, asegúrate de que los tiempos del sistema estén sincronizados.

Puedes usar una herramienta como ntpdate para verificar que los horarios del servidor estén sincronizados.

EKS

• Cuando instalas implementaciones multirregionales de Apigee entre diferentes redes (p. ej., diferentes proveedores de servicios en la nube, diferentes redes de VPC, entornos locales y en la nube, etc.), debes proporcionar conectividad interna entre estas redes independientes que Cassandra puede hacer. Se usan para comunicarse entre nodos. Esto se puede lograr con VPN o soluciones de conectividad específicas de la nube.
• Antes de pasar a los pasos de configuración del clúster, sigue la guía de instalación de Hybrid para conocer los requisitos previos, como Google Cloud y la configuración de la organización.
• Asegúrate de que cert-manager esté instalado en cada clúster.
• Asegúrate de que todos los Pods de Cassandra puedan resolver sus propios nombres de host. Si hostNetwork está configurado como falso, el nombre de host es el nombre del pod de Cassandra. Si hostNetwork está configurado como verdadero, el nombre de host es el nombre de host del nodo de Kubernetes que ejecuta el pod de Cassandra.
  Sugerencia: Para verificar si la resolución de nombre de host funciona, usa estos comandos.
  
  Si hostNetwork se configuró como falso, usa el comando 1. Si hostNetwork está configurado como verdadero, usa el comando 2.
  
  Si la resolución de nombre de host funciona, el resultado mostrará una dirección IP. Si la resolución del nombre de host falla, el resultado incluirá el mensaje “No se encontró el host”.
  
  Comando 1:

  kubectl run -l app=alpine --image=alpine --restart=Never --rm -i -t alpine-linux -n apigee -- hostname -i

  
  Comando 2:

  kubectl run -l app=alpine --image=alpine --restart=Never --rm -i -t alpine-linux -n apigee --overrides='{"kind":"Pod", "apiVersion":"v1", "spec": {"hostNetwork":true}}' -- hostname -i

• Requisitos multirregionales de Cassandra:
  • Si el espacio de nombres de la red del Pod no tiene conectividad entre clústeres (los clústeres se ejecutan en “modo de red de islas”), habilita la función hostNetwork de Kubernetes mediante la configuración de cassandra.hostNetwork: true en el archivo de anulaciones para todas las regiones en la instalación multirregional de Apigee Hybrid. Amazon EKS usa el modelo de red completamente integrado de forma predeterminada.

    Para obtener más información sobre la necesidad de hostNetwork, consulta Clústeres de modo isla y hostNetwork a continuación.

  • Habilita hostNetwork en clústeres existentes antes de expandir la configuración multirregional a regiones nuevas.
  • Cuando hostNetwork esté habilitado, asegúrate de que los nodos trabajadores puedan realizar la búsqueda de DNS de los nombres de host. Apigee Cassandra usa la búsqueda de DNS de reenvío para obtener la IP del host durante el inicio.
    Sugerencia: Si la resolución de DNS no funciona, prueba esta solución alternativa.

    Agrega una entrada de host estática en el archivo /etc/hosts de cada nodo trabajador de Cassandra similar a lo siguiente:

    echo -e "\\n127.0.1.1 ${HOSTNAME}" >> "/etc/hosts"

    o

    "\\nWORKER-NODE-IP ${HOSTNAME}" >> "/etc/hosts"

  • Abre puertos de Cassandra entre clústeres de Kubernetes en todas las regiones para permitir que se comuniquen los nodos trabajadores en las regiones y los centros de datos. Consulta Configura puertos para conocer los números de puerto de Cassandra.

Consulta la documentación de Kubernetes para obtener información detallada.

Nota: Apigee recomienda que te asegures de que los tiempos de tus servidores estén sincronizados.

Varias funciones, como el vencimiento y la revocación de tokens, dependen de los tiempos precisos del sistema. Si alojas los componentes del entorno de ejecución en diferentes centros de datos, asegúrate de que los tiempos del sistema estén sincronizados.

Puedes usar una herramienta como ntpdate para verificar que los horarios del servidor estén sincronizados.

OpenShift

• Cuando instalas implementaciones multirregionales de Apigee entre diferentes redes (p. ej., diferentes proveedores de servicios en la nube, diferentes redes de VPC, entornos locales y en la nube, etc.), debes proporcionar conectividad interna entre estas redes independientes que Cassandra puede hacer. Se usan para comunicarse entre nodos. Esto se puede lograr con VPN o soluciones de conectividad específicas de la nube.
• Antes de pasar a los pasos de configuración del clúster, sigue la guía de instalación de Hybrid para conocer los requisitos previos, como Google Cloud y la configuración de la organización.
• Asegúrate de que cert-manager esté instalado en cada clúster.
• Asegúrate de que todos los Pods de Cassandra puedan resolver sus propios nombres de host. Si hostNetwork está configurado como falso, el nombre de host es el nombre del pod de Cassandra. Si hostNetwork está configurado como verdadero, el nombre de host es el nombre de host del nodo de Kubernetes que ejecuta el pod de Cassandra.
  Sugerencia: Para verificar si la resolución de nombre de host funciona, usa estos comandos.
  
  Si hostNetwork se configuró como falso, usa el comando 1. Si hostNetwork está configurado como verdadero, usa el comando 2.
  
  Si la resolución de nombre de host funciona, el resultado mostrará una dirección IP. Si la resolución del nombre de host falla, el resultado incluirá el mensaje “No se encontró el host”.
  
  Comando 1:

  kubectl run -l app=alpine --image=alpine --restart=Never --rm -i -t alpine-linux -n apigee -- hostname -i

  
  Comando 2:

  kubectl run -l app=alpine --image=alpine --restart=Never --rm -i -t alpine-linux -n apigee --overrides='{"kind":"Pod", "apiVersion":"v1", "spec": {"hostNetwork":true}}' -- hostname -i

• Requisitos multirregionales de Cassandra:
  • Si el espacio de nombres de la red del Pod no tiene conectividad entre clústeres (los clústeres se ejecutan en “modo de red de islas”, que es el caso predeterminado en las instalaciones de OpenShift), habilita la función hostNetwork de Kubernetes mediante la configuración de cassandra.hostNetwork: true en el archivo de anulaciones para todas las regiones en la instalación multirregional de Apigee Hybrid.

    Para obtener más información sobre la necesidad de hostNetwork, consulta Clústeres de modo isla y hostNetwork a continuación.

  • Habilita hostNetwork en clústeres existentes antes de expandir la configuración multirregional a regiones nuevas.
  • Cuando hostNetwork esté habilitado, asegúrate de que los nodos trabajadores puedan realizar la búsqueda de DNS de los nombres de host. Apigee Cassandra usa la búsqueda de DNS de reenvío para obtener la IP del host durante el inicio.
    Sugerencia: Si la resolución de DNS no funciona, prueba esta solución alternativa.

    Agrega una entrada de host estática en el archivo /etc/hosts de cada nodo trabajador de Cassandra similar a lo siguiente:

    echo -e "\\n127.0.1.1 ${HOSTNAME}" >> "/etc/hosts"

    o

    "\\nWORKER-NODE-IP ${HOSTNAME}" >> "/etc/hosts"

  • Abre puertos de Cassandra entre clústeres de Kubernetes en todas las regiones para permitir que se comuniquen los nodos trabajadores en las regiones y los centros de datos. Consulta Configura puertos para conocer los números de puerto de Cassandra.

Consulta la documentación de Kubernetes para obtener información detallada.

Nota: Apigee recomienda que te asegures de que los tiempos de tus servidores estén sincronizados.

Varias funciones, como el vencimiento y la revocación de tokens, dependen de los tiempos precisos del sistema. Si alojas los componentes del entorno de ejecución en diferentes centros de datos, asegúrate de que los tiempos del sistema estén sincronizados.

Puedes usar una herramienta como ntpdate para verificar que los horarios del servidor estén sincronizados.

Clústeres en modo isla y hostNetwork

Hay dos modelos principales de red para clústeres de Kubernetes: el más completo (o plano) y el de isla. Apigee recomienda usar el modelo de red plana cuando sea posible, ya que facilita la conectividad de Cassandra multirregional. Cuando se configura un clúster de Kubernetes en modo isla, la red de Pods está aislada. Los Pods no pueden comunicarse directamente con los Pods que se ejecutan en otros clústeres mediante la dirección IP del Pod. Consulta Implementaciones de modelos de red típicas para obtener más información sobre las diferencias entre estos dos modelos de red y ejemplos de cada una.

Cuando Apigee Hybrid se ejecuta en dos o más clústeres de Kubernetes con un modelo de red de modo isla, es necesario habilitar la configuración hostNetwork para Cassandra a través de la propiedad cassandra.hostNetwork. De forma predeterminada, los Pods de Kubernetes se aíslan en espacios de nombres de red individuales que evitan que usen la IP del nodo trabajador de Kubernetes. Cuando hostNetwork se configura como true, el Pod no está aislado dentro de su propio espacio de nombres de red y, en su lugar, usa la dirección IP y el nombre de host del nodo trabajador de Kubernetes en el que está programado el Pod. Esto permite que Cassandra use de forma nativa la IP del nodo trabajador de Kubernetes como su IP, lo que proporciona un medio para que Cassandra establezca una malla completa entre todos los Pods de Cassandra en varios clústeres que se ejecutan en modo isla.

Resolución de nombres de host de Cassandra

Aunque un Pod de Cassandra no resuelve otros Pods de Cassandra por nombre de host, en el inicio, Cassandra verifica que su propio nombre de host se pueda resolver mediante DNS. Como el nombre de host del Pod es el mismo que el nombre de host del nodo trabajador de Kubernetes cuando hostNetwork se establece como verdadero, el nombre de host del nodo trabajador debe poder resolverse en una dirección IP a través del servicio DNS del clúster. Si el nombre de host del nodo trabajador de Kubernetes no se puede resolver, el Pod de Cassandra no podrá iniciarse por completo. Por lo tanto, es importante que los nombres de host del nodo trabajador de Kubernetes se puedan resolver desde los Pods en el clúster cuando configuras hostNetwork como true.

Configura Apigee Hybrid para varias regiones

En esta sección, se describe cómo configurar Apigee Hybrid para varias regiones.

GKE

Importante: Cuando expandas Apigee Hybrid a un nuevo centro de datos regional, asegúrate de instalar la misma versión híbrida que tienes en tu centro de datos existente. Evita ejecutar diferentes versiones de Hybrid en varios centros de datos.

Advertencia: Si la instalación falla en una región nueva, no continúes con la instalación de una región. En su lugar, borra y vuelve a crear la instalación híbrida en la región con errores.

Configura el host de origen multirregión

En esta sección, se describe cómo expandir el clúster existente de Cassandra a una región nueva. Esta configuración permite que la región nueva inicie el clúster y se una al centro de datos existente. Sin esta configuración, los clústeres de Kubernetes multirregionales no se reconocerían entre sí.

Sigue los procedimientos de la herramienta que usas para administrar y, además, instalar Apigee Hybrid:

Gráficos de Helm

1. Para la primera región creada, obtén los Pods en el espacio de nombres de Apigee:

   kubectl get pods -o wide -n apigee
   

2. Identifica la dirección del host de origen multirregional para Cassandra en esta región, por ejemplo, 10.0.0.11.

3. Prepara el archivo overrides.yaml para la segunda región y agrega la dirección IP del host de origen de la siguiente manera:

   cassandra:
     multiRegionSeedHost: "SEED_HOST_IP_ADDRESS"
     datacenter: "DATACENTER_NAME"
     rack: "RACK_NAME"
     hostNetwork: false
     clusterName: CLUSTER_NAME

   Reemplaza lo siguiente:

   • SEED_HOST_IP_ADDRESS por la dirección IP del host de origen, por ejemplo, 10.0.0.11.
   • DATACENTER_NAME por el nombre del centro de datos, por ejemplo, dc-2.
   • RACK_NAME por el nombre del bastidor, por ejemplo, ra-1.
   • CLUSTER_NAME por el nombre del clúster de Cassandra. De forma predeterminada, el valor es apigeecluster. Si usas un nombre de clúster diferente, debes especificar un valor para cassandra.clusterName. Puedes elegir tu propio valor, pero debe ser el mismo en todas las regiones.

Configura la segunda región

Para configurar la región nueva, haz lo siguiente:

1. Instala cert-manager en la región 2:

   kubectl apply -f https://github.com/cert-manager/cert-manager/releases/download/v1.11.1/cert-manager.yaml
   

2. Copia tu certificado del clúster existente en el clúster nuevo. Cassandra y otros componentes híbridos para mTLS usan la raíz de CA nueva. Por lo tanto, es fundamental tener certificados coherentes en todo el clúster.

   1. Establece el contexto en el espacio de nombres original:

      kubectl config use-context ORIGINAL_CLUSTER_NAME
      

   2. Exporta la configuración del espacio de nombres actual a un archivo:

      kubectl get namespace apigee -o yaml > apigee-namespace.yaml
      

   3. Exporta el Secret apigee-ca a un archivo:

      kubectl -n cert-manager get secret apigee-ca -o yaml > apigee-ca.yaml
      

   4. Establece el contexto en el nombre del clúster de la región nueva:

      kubectl config use-context NEW_CLUSTER_NAME
      

   5. Importa la configuración del espacio de nombres al clúster nuevo. Asegúrate de actualizar el espacio de nombres en el archivo si usas un espacio de nombres diferente en la región nueva:

      kubectl apply -f apigee-namespace.yaml
      

   6. Importa el secreto al clúster nuevo:

      kubectl -n cert-manager apply -f apigee-ca.yaml
      

3. Sigue los pasos para instalar las CRD de Apigee Hybrid en la región nueva.

4. Ahora usa gráficos de Helm para instalar Apigee Hybrid en la región nueva con los siguientes comandos del gráfico de Helm (como se hace en la región 1):

   Nota: Puedes usar las mismas CRD para mantener una mayor coherencia; para ello, usa la misma carpeta en la que descargaste los gráficos. También puedes mantener tu archivo de anulaciones único entre la región 1 y la 2; para ello, asigna a tus anulaciones un nombre único, como overrides-region_name.yaml, etc.
   Importante: Omite la marca ‑‑atomic para clústeres migrados.

   helm upgrade operator apigee-operator \
     --install \
     --create-namespace \
     --namespace apigee-system \
     --atomic \
     -f overrides-DATACENTER_NAME.yaml
   helm upgrade datastore apigee-datastore \
     --install \
     --namespace apigee \
     --atomic \
     -f overrides-DATACENTER_NAME.yaml
   helm upgrade telemetry apigee-telemetry \
     --install \
     --namespace apigee \
     --atomic \
     -f overrides-DATACENTER_NAME.yaml
   helm upgrade redis apigee-redis \
     --install \
     --namespace apigee \
     --atomic \
     -f overrides-DATACENTER_NAME.yaml
   helm upgrade ingress-manager apigee-ingress-manager \
     --install \
     --namespace apigee \
     --atomic \
     -f overrides-DATACENTER_NAME.yaml
   helm upgrade ORG_NAME apigee-org \
     --install \
     --namespace apigee \
     --atomic \
     -f overrides-DATACENTER_NAME.yaml
   # repeat the below command for each env mentioned on the overrides
   helm upgrade ENV_NAME apigee-env/ \
     --install \
     --namespace apigee \
     --atomic \
     --set env=ENV_NAME \
     -f overrides-DATACENTER_NAME.yaml
   # repeat the below command for each env group mentioned on the overrides
   helm upgrade apigee-virtualhost-ENV_GROUP_NAME apigee-virtualhost/ \
     --install \
     --namespace apigee \
     --atomic \
     --set envgroup=ENV_GROUP_NAME \
     -f overrides-DATACENTER_NAME.yaml
   

5. Ejecuta el siguiente comando para verificar la configuración del clúster de Cassandra. El resultado debería mostrar los centros de datos nuevos y existentes.
   Advertencia: Si el resultado de este comando no muestra los centros de datos existentes ni los nuevos, la configuración falló. En este caso, no continúes.

   Para solucionar el problema, la instalación híbrida en la región nueva debe borrarse y volver a crearse. Consulta Desinstala el entorno de ejecución de Hybrid. Si la configuración falla, no intentes continuar ni intentar unirte al clúster.

   kubectl exec apigee-cassandra-default-0 -n apigee  \
   -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status

   Ejemplo que muestra una configuración realizada correctamente:

   Datacenter: dc-1
   ====================
   Status=Up/Down
   |/ State=Normal/Leaving/Joining/Moving
   --  Address        Load       Tokens  Owns  Host ID                               Rack
   UN  10.132.87.93   68.07 GiB  256     ?     fb51465c-167a-42f7-98c9-b6eba1de34de  c
   UN  10.132.84.94   69.9 GiB   256     ?     f621a5ac-e7ee-48a9-9a14-73d69477c642  b
   UN  10.132.84.105  76.95 GiB  256     ?     0561086f-e95b-4232-ba6c-ad519ff30336  d
   
   Datacenter: dc-2
   ====================
   Status=Up/Down
   |/ State=Normal/Leaving/Joining/Moving
   --  Address        Load       Tokens  Owns  Host ID                               Rack
   UN  10.132.0.8     71.61 GiB  256     ?     8894a98b-8406-45de-99e2-f404ab10b5d6  c
   UN  10.132.9.204   75.1 GiB   256     ?     afa0ffa3-630b-4f1e-b46f-fc3df988092e  a
   UN  10.132.3.133   68.08 GiB  256     ?     25ae39ab-b39e-4d4f-9cb7-de095ab873db  b

6. Configura Cassandra en todos los Pods de los nuevos centros de datos.
   1. Obtén apigeeorg del clúster con el siguiente comando:

      kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
      

      Por ejemplo:

      Ex: kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
      "rg-hybrid-b7d3b9c"
      

   2. Crea un archivo de recurso personalizado de replicación de datos de Cassandra (YAML). El archivo puede tener cualquier nombre. En los siguientes ejemplos, el archivo tendrá el nombre datareplication.yaml.

      El archivo debe contener la siguiente información:

      apiVersion: apigee.cloud.google.com/v1alpha1
      kind: CassandraDataReplication
      metadata:
      name: REGION_EXPANSION
      namespace: NAMESPACE
      spec:
      organizationRef: APIGEEORG_VALUE
      force: false
      source:
      region: SOURCE_REGION

      Aquí:

      • REGION_EXPANSION es el nombre que le asignas a estos metadatos. Puedes usar cualquier nombre.
      • NAMESPACE es el mismo espacio de nombres que se proporciona en overrides.yaml. Por lo general, es “apigee”.
      • APIGEEORG_VALUE es el valor de salida del comando kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name" en el paso anterior. Por ejemplo: rg-hybrid-b7d3b9c
      • SOURCE_REGION es la región de origen, el valor del centro de datos en la sección Cassandra de la región de origen overrides.yaml.

      Por ejemplo:

      apiVersion: apigee.cloud.google.com/v1alpha1
      kind: CassandraDataReplication
      metadata:
      name: region-expansion
      namespace: apigee
      spec:
      organizationRef: rg-hybrid-b7d3b9c
      force: false
      source:
      region: "dc-1"

   3. Aplica CassandraDataReplication con el siguiente comando:

      kubectl apply -f datareplication.yaml

7. Verifica el estado de recompilación con el siguiente comando.
   Nota: La operación de recompilación puede demorar varias horas según el tamaño de los datos.

   kubectl -n apigee get apigeeds -o json | jq ".items[].status.cassandraDataReplication"

   El resultado debería ser similar a lo siguiente:

   {
   "rebuildDetails": {
   "apigee-cassandra-default-0": {
   "state": "complete",
   "updated": 1623105760
   },
   "apigee-cassandra-default-1": {
   "state": "complete",
   "updated": 1623105765
   },
   "apigee-cassandra-default-2": {
   "state": "complete",
   "updated": 1623105770
   }
   },
   "state": "complete",
   "updated": 1623105770
   }

8. Una vez que se complete y verifique la replicación de datos, actualiza los hosts de origen:
   1. Quita multiRegionSeedHost: 10.0.0.11 de overrides-DATACENTER_NAME.yaml.

   2. Vuelve a aplicar el cambio para actualizar la CR del almacén de datos de Apigee:

      Importante: Omite la marca ‑‑atomic para los clústeres migrados.

      helm upgrade datastore apigee-datastore/ \
        --install \
        --namespace apigee \
        --atomic \
        -f overrides-DATACENTER_NAME.yaml
      

9. Verifica los procesos de recompilación de los registros. Además, verifica el tamaño de los datos con el comando nodetool status.
   Nota: Si la operación de recompilación muestra el estado completado y los registros de procesos de recompilación contienen “Todas las sesiones completadas”, todos los datos se copiaron de forma correcta en la región nueva.

   kubectl logs apigee-cassandra-default-0 -f -n apigee

   kubectl exec apigee-cassandra-default-0 -n apigee  -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status

   Nota: APIGEE_JMX_USER y APIGEE_JMX_PASSWORD se definen en las variables de entorno $APIGEE_JMX_USER y $APIGEE_JMX_PASSWORD.

   El siguiente ejemplo muestra entradas de registro de ejemplo:

   INFO  01:42:24 rebuild from dc: dc-1, (All keyspaces), (All tokens)
   INFO  01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Executing streaming plan for Rebuild
   INFO  01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.1.45
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.1.45
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.4.36
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.432KiB), sending 0 files(0.000KiB)
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.1.45 is complete
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.4.36
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.5.22
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.693KiB), sending 0 files(0.000KiB)
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.4.36 is complete
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.5.22
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 3 files(0.720KiB), sending 0 files(0.000KiB)
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.5.22 is complete
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] All sessions completed

apigeectl

1. Configure el contexto de kubectl en el clúster original antes de recuperar el nombre de origen:

   kubectl config use-context original-cluster-name

2. Ejecuta el siguiente comando kubectl para identificar una dirección de host de origen de Cassandra en la región actual.

   Una dirección de host de origen permite que una instancia regional nueva encuentre el clúster original en el primer startup para obtener la topología del clúster. La dirección del host de origen se designa como el punto de contacto en el clúster.

   kubectl get pods -o wide -n apigee -l app=apigee-cassandra --field-selector status.phase=Running

   NAME                      READY   STATUS      RESTARTS   AGE   IP          NODE                                          NOMINATED NODE
   apigee-cassandra-default-0        1/1     Running     0          5d    10.0.0.11   gke-k8s-dc-2-default-pool-a2206492-p55d
   apigee-cassandra-default-1        1/1     Running     0          5d    10.0.2.4    gke-k8s-dc-2-default-pool-e9daaab3-tjmz
   apigee-cassandra-default-2        1/1     Running     0          5d    10.0.3.5    gke-k8s-dc-2-default-pool-e589awq3-kjch

3. Decide cuál de las IP que se mostraron en el comando anterior será el host de origen de varias regiones.
4. En el centro de datos 2, configura cassandra.multiRegionSeedHost y cassandra.datacenter en Administra componentes del plano de entorno de ejecución, en el que multiRegionSeedHost es una de las IP que muestra el comando anterior:

   cassandra:
     multiRegionSeedHost: seed_host_IP
     datacenter: data_center_name
     rack: rack_name
     hostNetwork: false
     clusterName: cluster_name # must be the same for all regions

   Por ejemplo:

   cassandra:
     multiRegionSeedHost: 10.0.0.11
     datacenter: "dc-2"
     rack: "ra-1"
     hostNetwork: false
     clusterName: my-apigee-cluster

5. Antes de instalar Hybrid, en el centro de datos o la región nuevos, configura los mismos certificados TLS y las credenciales en overrides.yaml que configuraste en la primera región.
   Nota: Asegúrate de usar los mismos certificados y credenciales TLS de Cassandra en el segundo centro de datos, como lo hiciste para el centro de datos original. Las credenciales que establezcas en el archivo de anulación del primer centro de datos deben coincidir con las que especifiques en el archivo de anulación del segundo centro de datos. Si quieres obtener más detalles, consulta Configura TLS para Cassandra.

Configura la región nueva

Después de configurar el host de origen, puedes configurar la región nueva.

Para configurar la región nueva, haz lo siguiente:

1. Copia tu certificado del clúster existente en el clúster nuevo. Cassandra y otros componentes híbridos para mTLS usan la raíz de CA nueva. Por lo tanto, es fundamental tener certificados coherentes en todo el clúster.
   1. Establece el contexto en el espacio de nombres original:

      kubectl config use-context original-cluster-name

   2. Exporta la configuración del espacio de nombres actual a un archivo:

      kubectl get namespace namespace -o yaml > apigee-namespace.yaml

   3. Exporta el Secret apigee-ca a un archivo:

      kubectl -n cert-manager get secret apigee-ca -o yaml > apigee-ca.yaml

   4. Establece el contexto en el nombre del clúster de la región nueva:

      kubectl config use-context new-cluster-name

   5. Importa la configuración del espacio de nombres al clúster nuevo. Asegúrate de actualizar el “espacio de nombres” en el archivo si usas un espacio de nombres diferente en la región nueva:

      kubectl apply -f apigee-namespace.yaml

   6. Importa el secreto al clúster nuevo:

      kubectl -n cert-manager apply -f apigee-ca.yaml

2. Instala Hybrid en la nueva región. Asegúrate de que el archivo overrides-DC_name.yaml incluya los mismos certificados TLS que se configuraron en la primera región, como se explica en la sección anterior.

   Ejecuta los siguientes dos comandos para instalar el servicio híbrido en la región nueva:

   Importante: Cuando expandas Apigee Hybrid a un nuevo centro de datos regional, asegúrate de instalar la misma versión híbrida que tienes en tu centro de datos existente. Evita ejecutar diferentes versiones de Hybrid en varios centros de datos.

   apigeectl init -f overrides/overrides-DC_name.yaml

   apigeectl apply -f overrides/overrides-DC_name.yaml

3. Ejecuta el siguiente comando para verificar que la instalación híbrida se realice de forma correcta:

   apigeectl check-ready -f overrides_DC_name.yaml

4. Ejecuta el siguiente comando para verificar la configuración del clúster de Cassandra. El resultado debería mostrar los centros de datos nuevos y existentes.
   Advertencia: Si el resultado de este comando no muestra los centros de datos existentes ni los nuevos, la configuración falló. En este caso, no continúes.

   Para solucionar el problema, la instalación híbrida en la región nueva debe borrarse y volver a crearse. Consulta Desinstala el entorno de ejecución de Hybrid. Si la configuración falla, no intentes continuar ni intentar unirte al clúster.

   kubectl exec apigee-cassandra-default-0 -n apigee  \
     -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status

   Ejemplo que muestra una configuración realizada correctamente:

   Datacenter: dc-1
   ====================
   Status=Up/Down
   |/ State=Normal/Leaving/Joining/Moving
   --  Address        Load       Tokens  Owns  Host ID                               Rack
   UN  10.132.87.93   68.07 GiB  256     ?     fb51465c-167a-42f7-98c9-b6eba1de34de  c
   UN  10.132.84.94   69.9 GiB   256     ?     f621a5ac-e7ee-48a9-9a14-73d69477c642  b
   UN  10.132.84.105  76.95 GiB  256     ?     0561086f-e95b-4232-ba6c-ad519ff30336  d
   
   Datacenter: dc-2
   ====================
   Status=Up/Down
   |/ State=Normal/Leaving/Joining/Moving
   --  Address        Load       Tokens  Owns  Host ID                               Rack
   UN  10.132.0.8     71.61 GiB  256     ?     8894a98b-8406-45de-99e2-f404ab10b5d6  c
   UN  10.132.9.204   75.1 GiB   256     ?     afa0ffa3-630b-4f1e-b46f-fc3df988092e  a
   UN  10.132.3.133   68.08 GiB  256     ?     25ae39ab-b39e-4d4f-9cb7-de095ab873db  b

5. Configura Cassandra en todos los Pods de los nuevos centros de datos.
   1. Obtén apigeeorg del clúster con el siguiente comando:

      kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
      

      Por ejemplo:

      Ex: kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
      "rg-hybrid-b7d3b9c"
      

   2. Crea un archivo de recurso personalizado de replicación de datos de Cassandra (YAML). El archivo puede tener cualquier nombre. En los siguientes ejemplos, el archivo tendrá el nombre datareplication.yaml.

      El archivo debe contener la siguiente información:

      apiVersion: apigee.cloud.google.com/v1alpha1
      kind: CassandraDataReplication
      metadata:
        name: REGION_EXPANSION
        namespace: NAMESPACE
      spec:
        organizationRef: APIGEEORG_VALUE
        force: false
        source:
          region: SOURCE_REGION

      Aquí:

      • REGION_EXPANSION es el nombre que le asignas a estos metadatos. Puedes usar cualquier nombre.
      • NAMESPACE es el mismo espacio de nombres que se proporciona en overrides.yaml. Por lo general, es “apigee”.
      • APIGEEORG_VALUE es el valor de salida del comando kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name" en el paso anterior. Por ejemplo: rg-hybrid-b7d3b9c
      • SOURCE_REGION es la región de origen, el valor del centro de datos en la sección Cassandra de la región de origen overrides.yaml.

      Por ejemplo:

      apiVersion: apigee.cloud.google.com/v1alpha1
      kind: CassandraDataReplication
      metadata:
        name: region-expansion
        namespace: apigee
      spec:
        organizationRef: rg-hybrid-b7d3b9c
        force: false
        source:
          region: "dc-1"

   3. Aplica CassandraDataReplication con el siguiente comando:

      kubectl apply -f datareplication.yaml

   4. Verifica el estado de recompilación con el siguiente comando.
      Nota: La operación de recompilación puede demorar varias horas en función del tamaño de los datos.

      kubectl -n apigee get apigeeds -o json | jq ".items[].status.cassandraDataReplication"

      El resultado debería ser similar a lo siguiente:

      {
        "rebuildDetails": {
          "apigee-cassandra-default-0": {
            "state": "complete",
            "updated": 1623105760
          },
          "apigee-cassandra-default-1": {
            "state": "complete",
            "updated": 1623105765
          },
          "apigee-cassandra-default-2": {
            "state": "complete",
            "updated": 1623105770
          }
        },
        "state": "complete",
        "updated": 1623105770
      }

6. Verifica los procesos de recompilación de los registros. Además, verifica el tamaño de los datos mediante el comando nodetool status.
   Nota: Si la operación de recompilación muestra el estado completado y los registros de procesos de recompilación contienen “Todas las sesiones completadas”, todos los datos se copiaron de forma correcta en la región nueva.

   kubectl logs apigee-cassandra-default-0 -f -n apigee

   kubectl exec apigee-cassandra-default-0 -n apigee  -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status

   El siguiente ejemplo muestra entradas de registro de ejemplo:

   INFO  01:42:24 rebuild from dc: dc-1, (All keyspaces), (All tokens)
   INFO  01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Executing streaming plan for Rebuild
   INFO  01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.1.45
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.1.45
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.4.36
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.432KiB), sending 0 files(0.000KiB)
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.1.45 is complete
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.4.36
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.5.22
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.693KiB), sending 0 files(0.000KiB)
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.4.36 is complete
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.5.22
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 3 files(0.720KiB), sending 0 files(0.000KiB)
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.5.22 is complete
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] All sessions completed

7. Actualiza los hosts de origen. Quita multiRegionSeedHost: 10.0.0.11 de overrides-DC_name.yaml y vuelve a enviar la solicitud.
   Nota: Los hosts de origen son miembros del clúster local. Debes tener un host de origen externo para iniciar una nueva región. Una vez que se inicia una región, debes cambiar los hosts de origen a sus clústeres locales en overrides.yaml y, luego, volver a aplicar la configuración.

   apigeectl apply -f overrides/overrides-DC_name.yaml

Comprueba el estado del clúster de Cassandra

El siguiente comando es útil para ver si la configuración del clúster se realizó de forma correcta en dos centros de datos. El comando comprueba el estado de la herramienta del nodo de las dos regiones.

kubectl exec apigee-cassandra-default-0 -n apigee  -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status


Datacenter: dc-1
=======================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address     Load       Tokens       Owns (effective)  Host ID                               Rack
UN  10.12.1.45  112.09 KiB  256          100.0%            3c98c816-3f4d-48f0-9717-03d0c998637f  ra-1
UN  10.12.4.36  95.27 KiB  256          100.0%            0a36383d-1d9e-41e2-924c-7b62be12d6cc  ra-1
UN  10.12.5.22  88.7 KiB   256          100.0%            3561f4fa-af3d-4ea4-93b2-79ac7e938201  ra-1
Datacenter: us-west1
====================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address     Load       Tokens       Owns (effective)  Host ID                               Rack
UN  10.0.4.33   78.69 KiB  256          100.0%              a200217d-260b-45cd-b83c-182b27ff4c99  ra-1
UN  10.0.0.21   78.68 KiB  256          100.0%              9f3364b9-a7a1-409c-9356-b7d1d312e52b  ra-1
UN  10.0.1.26   15.46 KiB  256          100.0%              1666df0f-702e-4c5b-8b6e-086d0f2e47fa  ra-1

GKE On‑Prem

Importante: Cuando expandas Apigee Hybrid a un nuevo centro de datos regional, asegúrate de instalar la misma versión híbrida que tienes en tu centro de datos existente. Evita ejecutar diferentes versiones de Hybrid en varios centros de datos.

Advertencia: Si la instalación falla en una región nueva, no continúes con la instalación de una región. En su lugar, borra y vuelve a crear la instalación híbrida en la región con errores.

Configura el host de origen multirregión

En esta sección, se describe cómo expandir el clúster existente de Cassandra a una región nueva. Esta configuración permite que la región nueva inicie el clúster y se una al centro de datos existente. Sin esta configuración, los clústeres de Kubernetes multirregionales no se reconocerían entre sí.

Sigue los procedimientos de la herramienta que usas para administrar y, además, instalar Apigee Hybrid:

Gráficos de Helm

1. Para la primera región creada, obtén los Pods en el espacio de nombres de Apigee:

   kubectl get pods -o wide -n apigee
   

2. Identifica la dirección del host de origen multirregional para Cassandra en esta región, por ejemplo, 10.0.0.11.

3. Prepara el archivo overrides.yaml para la segunda región y agrega la dirección IP del host de origen de la siguiente manera:

   cassandra:
     multiRegionSeedHost: "SEED_HOST_IP_ADDRESS"
     datacenter: "DATACENTER_NAME"
     rack: "RACK_NAME"
     hostNetwork: false
     clusterName: CLUSTER_NAME

   Reemplaza lo siguiente:

   • SEED_HOST_IP_ADDRESS por la dirección IP del host de origen, por ejemplo, 10.0.0.11.
   • DATACENTER_NAME por el nombre del centro de datos, por ejemplo, dc-2.
   • RACK_NAME por el nombre del bastidor, por ejemplo, ra-1.
   • CLUSTER_NAME por el nombre del clúster de Cassandra. De forma predeterminada, el valor es apigeecluster. Si usas un nombre de clúster diferente, debes especificar un valor para cassandra.clusterName. Puedes elegir tu propio valor, pero debe ser el mismo en todas las regiones.

Configura la segunda región

Para configurar la región nueva, haz lo siguiente:

1. Instala cert-manager en la región 2:

   kubectl apply -f https://github.com/cert-manager/cert-manager/releases/download/v1.11.1/cert-manager.yaml
   

2. Copia tu certificado del clúster existente en el clúster nuevo. Cassandra y otros componentes híbridos para mTLS usan la raíz de CA nueva. Por lo tanto, es fundamental tener certificados coherentes en todo el clúster.

   1. Establece el contexto en el espacio de nombres original:

      kubectl config use-context ORIGINAL_CLUSTER_NAME
      

   2. Exporta la configuración del espacio de nombres actual a un archivo:

      kubectl get namespace apigee -o yaml > apigee-namespace.yaml
      

   3. Exporta el Secret apigee-ca a un archivo:

      kubectl -n cert-manager get secret apigee-ca -o yaml > apigee-ca.yaml
      

   4. Establece el contexto en el nombre del clúster de la región nueva:

      kubectl config use-context NEW_CLUSTER_NAME
      

   5. Importa la configuración del espacio de nombres al clúster nuevo. Asegúrate de actualizar el espacio de nombres en el archivo si usas un espacio de nombres diferente en la región nueva:

      kubectl apply -f apigee-namespace.yaml
      

   6. Importa el secreto al clúster nuevo:

      kubectl -n cert-manager apply -f apigee-ca.yaml
      

3. Sigue los pasos para instalar las CRD de Apigee Hybrid en la región nueva.

4. Ahora usa gráficos de Helm para instalar Apigee Hybrid en la región nueva con los siguientes comandos del gráfico de Helm (como se hace en la región 1):

   Nota: Puedes usar las mismas CRD para mantener una mayor coherencia; para ello, usa la misma carpeta en la que descargaste los gráficos. También puedes mantener tu archivo de anulaciones único entre la región 1 y la 2; para ello, asigna a tus anulaciones un nombre único, como overrides-region_name.yaml, etc.
   Importante: Omite la marca ‑‑atomic para clústeres migrados.

   helm upgrade operator apigee-operator \
     --install \
     --create-namespace \
     --namespace apigee-system \
     --atomic \
     -f overrides-DATACENTER_NAME.yaml
   helm upgrade datastore apigee-datastore \
     --install \
     --namespace apigee \
     --atomic \
     -f overrides-DATACENTER_NAME.yaml
   helm upgrade telemetry apigee-telemetry \
     --install \
     --namespace apigee \
     --atomic \
     -f overrides-DATACENTER_NAME.yaml
   helm upgrade redis apigee-redis \
     --install \
     --namespace apigee \
     --atomic \
     -f overrides-DATACENTER_NAME.yaml
   helm upgrade ingress-manager apigee-ingress-manager \
     --install \
     --namespace apigee \
     --atomic \
     -f overrides-DATACENTER_NAME.yaml
   helm upgrade ORG_NAME apigee-org \
     --install \
     --namespace apigee \
     --atomic \
     -f overrides-DATACENTER_NAME.yaml
   # repeat the below command for each env mentioned on the overrides
   helm upgrade ENV_NAME apigee-env/ \
     --install \
     --namespace apigee \
     --atomic \
     --set env=ENV_NAME \
     -f overrides-DATACENTER_NAME.yaml
   # repeat the below command for each env group mentioned on the overrides
   helm upgrade apigee-virtualhost-ENV_GROUP_NAME apigee-virtualhost/ \
     --install \
     --namespace apigee \
     --atomic \
     --set envgroup=ENV_GROUP_NAME \
     -f overrides-DATACENTER_NAME.yaml
   

5. Ejecuta el siguiente comando para verificar la configuración del clúster de Cassandra. El resultado debería mostrar los centros de datos nuevos y existentes.
   Advertencia: Si el resultado de este comando no muestra los centros de datos existentes ni los nuevos, la configuración falló. En este caso, no continúes.

   Para solucionar el problema, la instalación híbrida en la región nueva debe borrarse y volver a crearse. Consulta Desinstala el entorno de ejecución de Hybrid. Si la configuración falla, no intentes continuar ni intentar unirte al clúster.

   kubectl exec apigee-cassandra-default-0 -n apigee  \
   -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status

   Ejemplo que muestra una configuración realizada correctamente:

   Datacenter: dc-1
   ====================
   Status=Up/Down
   |/ State=Normal/Leaving/Joining/Moving
   --  Address        Load       Tokens  Owns  Host ID                               Rack
   UN  10.132.87.93   68.07 GiB  256     ?     fb51465c-167a-42f7-98c9-b6eba1de34de  c
   UN  10.132.84.94   69.9 GiB   256     ?     f621a5ac-e7ee-48a9-9a14-73d69477c642  b
   UN  10.132.84.105  76.95 GiB  256     ?     0561086f-e95b-4232-ba6c-ad519ff30336  d
   
   Datacenter: dc-2
   ====================
   Status=Up/Down
   |/ State=Normal/Leaving/Joining/Moving
   --  Address        Load       Tokens  Owns  Host ID                               Rack
   UN  10.132.0.8     71.61 GiB  256     ?     8894a98b-8406-45de-99e2-f404ab10b5d6  c
   UN  10.132.9.204   75.1 GiB   256     ?     afa0ffa3-630b-4f1e-b46f-fc3df988092e  a
   UN  10.132.3.133   68.08 GiB  256     ?     25ae39ab-b39e-4d4f-9cb7-de095ab873db  b

6. Configura Cassandra en todos los Pods de los nuevos centros de datos.
   1. Obtén apigeeorg del clúster con el siguiente comando:

      kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
      

      Por ejemplo:

      Ex: kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
      "rg-hybrid-b7d3b9c"
      

   2. Crea un archivo de recurso personalizado de replicación de datos de Cassandra (YAML). El archivo puede tener cualquier nombre. En los siguientes ejemplos, el archivo tendrá el nombre datareplication.yaml.

      El archivo debe contener la siguiente información:

      apiVersion: apigee.cloud.google.com/v1alpha1
      kind: CassandraDataReplication
      metadata:
      name: REGION_EXPANSION
      namespace: NAMESPACE
      spec:
      organizationRef: APIGEEORG_VALUE
      force: false
      source:
      region: SOURCE_REGION

      Aquí:

      • REGION_EXPANSION es el nombre que le asignas a estos metadatos. Puedes usar cualquier nombre.
      • NAMESPACE es el mismo espacio de nombres que se proporciona en overrides.yaml. Por lo general, es “apigee”.
      • APIGEEORG_VALUE es el valor de salida del comando kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name" en el paso anterior. Por ejemplo: rg-hybrid-b7d3b9c
      • SOURCE_REGION es la región de origen, el valor del centro de datos en la sección Cassandra de la región de origen overrides.yaml.

      Por ejemplo:

      apiVersion: apigee.cloud.google.com/v1alpha1
      kind: CassandraDataReplication
      metadata:
      name: region-expansion
      namespace: apigee
      spec:
      organizationRef: rg-hybrid-b7d3b9c
      force: false
      source:
      region: "dc-1"

   3. Aplica CassandraDataReplication con el siguiente comando:

      kubectl apply -f datareplication.yaml

7. Verifica el estado de recompilación con el siguiente comando.
   Nota: La operación de recompilación puede demorar varias horas según el tamaño de los datos.

   kubectl -n apigee get apigeeds -o json | jq ".items[].status.cassandraDataReplication"

   El resultado debería ser similar a lo siguiente:

   {
   "rebuildDetails": {
   "apigee-cassandra-default-0": {
   "state": "complete",
   "updated": 1623105760
   },
   "apigee-cassandra-default-1": {
   "state": "complete",
   "updated": 1623105765
   },
   "apigee-cassandra-default-2": {
   "state": "complete",
   "updated": 1623105770
   }
   },
   "state": "complete",
   "updated": 1623105770
   }

8. Una vez que se complete y verifique la replicación de datos, actualiza los hosts de origen:
   1. Quita multiRegionSeedHost: 10.0.0.11 de overrides-DATACENTER_NAME.yaml.

   2. Vuelve a aplicar el cambio para actualizar la CR del almacén de datos de Apigee:

      Importante: Omite la marca ‑‑atomic para los clústeres migrados.

      helm upgrade datastore apigee-datastore/ \
        --install \
        --namespace apigee \
        --atomic \
        -f overrides-DATACENTER_NAME.yaml
      

9. Verifica los procesos de recompilación de los registros. Además, verifica el tamaño de los datos con el comando nodetool status.
   Nota: Si la operación de recompilación muestra el estado completado y los registros de procesos de recompilación contienen “Todas las sesiones completadas”, todos los datos se copiaron de forma correcta en la región nueva.

   kubectl logs apigee-cassandra-default-0 -f -n apigee

   kubectl exec apigee-cassandra-default-0 -n apigee  -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status

   Nota: APIGEE_JMX_USER y APIGEE_JMX_PASSWORD se definen en las variables de entorno $APIGEE_JMX_USER y $APIGEE_JMX_PASSWORD.

   El siguiente ejemplo muestra entradas de registro de ejemplo:

   INFO  01:42:24 rebuild from dc: dc-1, (All keyspaces), (All tokens)
   INFO  01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Executing streaming plan for Rebuild
   INFO  01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.1.45
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.1.45
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.4.36
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.432KiB), sending 0 files(0.000KiB)
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.1.45 is complete
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.4.36
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.5.22
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.693KiB), sending 0 files(0.000KiB)
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.4.36 is complete
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.5.22
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 3 files(0.720KiB), sending 0 files(0.000KiB)
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.5.22 is complete
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] All sessions completed

apigeectl

1. En el archivo overrides.yaml de tu clúster original, asegúrate de que cassandra:hostNetwork esté configurado como true. Por ejemplo:

   cassandra:
     hostNetwork: true

   Consulta los Requisitos previos para obtener más información sobre cuándo configurar hostNetwork: true.

2. Si cassandra:hostNetwork no está configurado como true, haz lo siguiente:
   1. Cambia cassandra.hostNetwork a true.
   2. Aplica el archivo de configuración overrides.yaml con el siguiente comando:

        apigeectl apply -f overrides.yaml --datastore
        

   3. Espera a que los Pods de Cassandra completen un reinicio progresivo.

   4. Verifica que el clúster de Cassandra esté en buen estado con los siguientes comandos:

        kubectl exec -it -n apigee apigee-cassandra-default-0 -- /bin/bash
        

        nodetool -u  -pw APIGEE_JMX_PASSWORD status
        

      Asegúrate de que todos los nodos de Cassandra en el resultado estén en estado UN (Up/Normal):

        nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD describecluster
        

      Asegúrate de que no haya nodos inaccesibles en el resultado.

3. Configure el contexto de kubectl en el clúster original antes de recuperar el nombre de origen:

   kubectl config use-context original-cluster-name

4. Ejecuta el siguiente comando kubectl para identificar una dirección de host de origen de Cassandra en la región actual.

   Una dirección de host de origen permite que una instancia regional nueva encuentre el clúster original en el primer startup para obtener la topología del clúster. La dirección del host de origen se designa como el punto de contacto en el clúster.

   kubectl get pods -o wide -n apigee -l app=apigee-cassandra --field-selector status.phase=Running

   NAME                      READY   STATUS      RESTARTS   AGE   IP          NODE                                          NOMINATED NODE
   apigee-cassandra-default-0        1/1     Running     0          5d    10.0.0.11   gke-k8s-dc-2-default-pool-a2206492-p55d
   apigee-cassandra-default-1        1/1     Running     0          5d    10.0.2.4    gke-k8s-dc-2-default-pool-e9daaab3-tjmz
   apigee-cassandra-default-2        1/1     Running     0          5d    10.0.3.5    gke-k8s-dc-2-default-pool-e589awq3-kjch

5. Decide cuál de las IP que se mostraron en el comando anterior será el host de origen de varias regiones.
6. En el centro de datos 2, configura cassandra.multiRegionSeedHost en tu archivo de anulaciones, en el que multiRegionSeedHost es una de las IP que muestra el comando anterior:

   cassandra:
     hostNetwork: true
     multiRegionSeedHost: seed_host_IP
     datacenter: data_center_name
     rack: rack_name
     clusterName: cluster_name # must be the same for all regions

   Por ejemplo:

   cassandra:
     hostNetwork: true
     multiRegionSeedHost: 10.0.0.11
     datacenter: "dc-2"
     rack: "ra-1"
     clusterName: my-apigee-cluster

7. Antes de instalar Hybrid, en el centro de datos o la región nuevos, configura los mismos certificados TLS y las credenciales en overrides.yaml que configuraste en la primera región.
   Nota: Asegúrate de usar los mismos certificados y credenciales TLS de Cassandra en el segundo centro de datos, como lo hiciste para el centro de datos original. Las credenciales que establezcas en el archivo de anulación del primer centro de datos deben coincidir con las que especifiques en el archivo de anulación del segundo centro de datos. Si quieres obtener más detalles, consulta Configura TLS para Cassandra.

Configura la región nueva

Después de configurar el host de origen, puedes configurar la región nueva.

Para configurar la región nueva, haz lo siguiente:

1. Copia tu certificado del clúster existente en el clúster nuevo. Cassandra y otros componentes híbridos para mTLS usan la raíz de CA nueva. Por lo tanto, es fundamental tener certificados coherentes en todo el clúster.
   1. Establece el contexto en el espacio de nombres original:

      kubectl config use-context original-cluster-name

   2. Exporta la configuración del espacio de nombres actual a un archivo:

      kubectl get namespace namespace -o yaml > apigee-namespace.yaml

   3. Exporta el Secret apigee-ca a un archivo:

      kubectl -n cert-manager get secret apigee-ca -o yaml > apigee-ca.yaml

   4. Establece el contexto en el nombre del clúster de la región nueva:

      kubectl config use-context new-cluster-name

   5. Importa la configuración del espacio de nombres al clúster nuevo. Asegúrate de actualizar el “espacio de nombres” en el archivo si usas un espacio de nombres diferente en la región nueva:

      kubectl apply -f apigee-namespace.yaml

   6. Importa el secreto al clúster nuevo:

      kubectl -n cert-manager apply -f apigee-ca.yaml

2. Instala Hybrid en la nueva región. Asegúrate de que el archivo overrides-DC_name.yaml incluya los mismos certificados TLS que se configuraron en la primera región, como se explica en la sección anterior.

   Ejecuta los siguientes dos comandos para instalar el servicio híbrido en la región nueva:

   Importante: Cuando expandas Apigee Hybrid a un nuevo centro de datos regional, asegúrate de instalar la misma versión híbrida que tienes en tu centro de datos existente. Evita ejecutar diferentes versiones de Hybrid en varios centros de datos.

   apigeectl init -f overrides/overrides-DC_name.yaml

   apigeectl apply -f overrides/overrides-DC_name.yaml

3. Ejecuta el siguiente comando para verificar que la instalación híbrida se realice de forma correcta:

   apigeectl check-ready -f overrides_DC_name.yaml

4. Ejecuta el siguiente comando para verificar la configuración del clúster de Cassandra. El resultado debería mostrar los centros de datos nuevos y existentes.
   Advertencia: Si el resultado de este comando no muestra los centros de datos existentes ni los nuevos, la configuración falló. En este caso, no continúes.

   Para solucionar el problema, la instalación híbrida en la región nueva debe borrarse y volver a crearse. Consulta Desinstala el entorno de ejecución de Hybrid. Si la configuración falla, no intentes continuar ni intentar unirte al clúster.

   kubectl exec apigee-cassandra-default-0 -n apigee  \
     -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status

   Ejemplo que muestra una configuración realizada correctamente:

   Datacenter: dc-1
   ====================
   Status=Up/Down
   |/ State=Normal/Leaving/Joining/Moving
   --  Address        Load       Tokens  Owns  Host ID                               Rack
   UN  10.132.87.93   68.07 GiB  256     ?     fb51465c-167a-42f7-98c9-b6eba1de34de  c
   UN  10.132.84.94   69.9 GiB   256     ?     f621a5ac-e7ee-48a9-9a14-73d69477c642  b
   UN  10.132.84.105  76.95 GiB  256     ?     0561086f-e95b-4232-ba6c-ad519ff30336  d
   
   Datacenter: dc-2
   ====================
   Status=Up/Down
   |/ State=Normal/Leaving/Joining/Moving
   --  Address        Load       Tokens  Owns  Host ID                               Rack
   UN  10.132.0.8     71.61 GiB  256     ?     8894a98b-8406-45de-99e2-f404ab10b5d6  c
   UN  10.132.9.204   75.1 GiB   256     ?     afa0ffa3-630b-4f1e-b46f-fc3df988092e  a
   UN  10.132.3.133   68.08 GiB  256     ?     25ae39ab-b39e-4d4f-9cb7-de095ab873db  b

5. Configura Cassandra en todos los Pods de los nuevos centros de datos.
   1. Obtén apigeeorg del clúster con el siguiente comando:

      kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
      

      Por ejemplo:

      Ex: kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
      "rg-hybrid-b7d3b9c"
      

   2. Crea un archivo de recurso personalizado de replicación de datos de Cassandra (YAML). El archivo puede tener cualquier nombre. En los siguientes ejemplos, el archivo tendrá el nombre datareplication.yaml.

      El archivo debe contener la siguiente información:

      apiVersion: apigee.cloud.google.com/v1alpha1
      kind: CassandraDataReplication
      metadata:
        name: REGION_EXPANSION
        namespace: NAMESPACE
      spec:
        organizationRef: APIGEEORG_VALUE
        force: false
        source:
          region: SOURCE_REGION

      Aquí:

      • REGION_EXPANSION es el nombre que le asignas a estos metadatos. Puedes usar cualquier nombre.
      • NAMESPACE es el mismo espacio de nombres que se proporciona en overrides.yaml. Por lo general, es “apigee”.
      • APIGEEORG_VALUE es el valor de salida del comando kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name" en el paso anterior. Por ejemplo: rg-hybrid-b7d3b9c
      • SOURCE_REGION es la región de origen, el valor del centro de datos en la sección Cassandra de la región de origen overrides.yaml.

      Por ejemplo:

      apiVersion: apigee.cloud.google.com/v1alpha1
      kind: CassandraDataReplication
      metadata:
        name: region-expansion
        namespace: apigee
      spec:
        organizationRef: rg-hybrid-b7d3b9c
        force: false
        source:
          region: "dc-1"

   3. Aplica CassandraDataReplication con el siguiente comando:

      kubectl apply -f datareplication.yaml

   4. Verifica el estado de recompilación con el siguiente comando.
      Nota: La operación de recompilación puede demorar varias horas en función del tamaño de los datos.

      kubectl -n apigee get apigeeds -o json | jq ".items[].status.cassandraDataReplication"

      El resultado debería ser similar a lo siguiente:

      {
        "rebuildDetails": {
          "apigee-cassandra-default-0": {
            "state": "complete",
            "updated": 1623105760
          },
          "apigee-cassandra-default-1": {
            "state": "complete",
            "updated": 1623105765
          },
          "apigee-cassandra-default-2": {
            "state": "complete",
            "updated": 1623105770
          }
        },
        "state": "complete",
        "updated": 1623105770
      }

6. Verifica los procesos de recompilación de los registros. Además, verifica el tamaño de los datos mediante el comando nodetool status.
   Nota: Si la operación de recompilación muestra el estado completado y los registros de procesos de recompilación contienen “Todas las sesiones completadas”, todos los datos se copiaron de forma correcta en la región nueva.

   kubectl logs apigee-cassandra-default-0 -f -n apigee

   kubectl exec apigee-cassandra-default-0 -n apigee  -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status

   El siguiente ejemplo muestra entradas de registro de ejemplo:

   INFO  01:42:24 rebuild from dc: dc-1, (All keyspaces), (All tokens)
   INFO  01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Executing streaming plan for Rebuild
   INFO  01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.1.45
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.1.45
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.4.36
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.432KiB), sending 0 files(0.000KiB)
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.1.45 is complete
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.4.36
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.5.22
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.693KiB), sending 0 files(0.000KiB)
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.4.36 is complete
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.5.22
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 3 files(0.720KiB), sending 0 files(0.000KiB)
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.5.22 is complete
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] All sessions completed

7. Actualiza los hosts de origen. Quita multiRegionSeedHost: 10.0.0.11 de overrides-DC_name.yaml y vuelve a enviar la solicitud.
   Nota: Los hosts de origen son miembros del clúster local. Debes tener un host de origen externo para iniciar una nueva región. Una vez que se inicia una región, debes cambiar los hosts de origen a sus clústeres locales en overrides.yaml y, luego, volver a aplicar la configuración.

   apigeectl apply -f overrides/overrides-DC_name.yaml

Comprueba el estado del clúster de Cassandra

El siguiente comando es útil para ver si la configuración del clúster se realizó de forma correcta en dos centros de datos. El comando comprueba el estado de la herramienta del nodo de las dos regiones.

kubectl exec apigee-cassandra-default-0 -n apigee  -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status


Datacenter: dc-1
=======================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address     Load       Tokens       Owns (effective)  Host ID                               Rack
UN  10.12.1.45  112.09 KiB  256          100.0%            3c98c816-3f4d-48f0-9717-03d0c998637f  ra-1
UN  10.12.4.36  95.27 KiB  256          100.0%            0a36383d-1d9e-41e2-924c-7b62be12d6cc  ra-1
UN  10.12.5.22  88.7 KiB   256          100.0%            3561f4fa-af3d-4ea4-93b2-79ac7e938201  ra-1
Datacenter: us-west1
====================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address     Load       Tokens       Owns (effective)  Host ID                               Rack
UN  10.0.4.33   78.69 KiB  256          100.0%              a200217d-260b-45cd-b83c-182b27ff4c99  ra-1
UN  10.0.0.21   78.68 KiB  256          100.0%              9f3364b9-a7a1-409c-9356-b7d1d312e52b  ra-1
UN  10.0.1.26   15.46 KiB  256          100.0%              1666df0f-702e-4c5b-8b6e-086d0f2e47fa  ra-1

AKS

Importante: Cuando expandas Apigee Hybrid a un nuevo centro de datos regional, asegúrate de instalar la misma versión híbrida que tienes en tu centro de datos existente. Evita ejecutar diferentes versiones de Hybrid en varios centros de datos.

Advertencia: Si la instalación falla en una región nueva, no continúes con la instalación de una región. En su lugar, borra y vuelve a crear la instalación híbrida en la región con errores.

Crea una red virtual en cada región

Sigue las recomendaciones de Azure para establecer comunicación entre regiones aquí: De VNet a VNet: Conecta redes virtuales en Azure en diferentes regiones.

Crea clústeres multirregionales

Configura clústeres de Kubernetes en varias regiones con diferentes bloques CIDR. Consulta también el Paso 1: Crea un clúster. Usa las ubicaciones y los nombres de las redes virtuales que creaste antes.

Abre puertos de Cassandra entre clústeres de Kubernetes en todas las regiones para permitir que se comuniquen los nodos trabajadores en las regiones y los centros de datos. Consulta Configura puertos para conocer los números de puerto de Cassandra.

Configura el host de origen multirregión

En esta sección, se describe cómo expandir el clúster existente de Cassandra a una región nueva. Esta configuración permite que la región nueva inicie el clúster y se una al centro de datos existente. Sin esta configuración, los clústeres de Kubernetes multirregionales no se reconocerían entre sí.

Sigue los procedimientos de la herramienta que usas para administrar y, además, instalar Apigee Hybrid:

Gráficos de Helm

1. Para la primera región creada, obtén los Pods en el espacio de nombres de Apigee:

   kubectl get pods -o wide -n apigee
   

2. Identifica la dirección del host de origen multirregional para Cassandra en esta región, por ejemplo, 10.0.0.11.

3. Prepara el archivo overrides.yaml para la segunda región y agrega la dirección IP del host de origen de la siguiente manera:

   cassandra:
     multiRegionSeedHost: "SEED_HOST_IP_ADDRESS"
     datacenter: "DATACENTER_NAME"
     rack: "RACK_NAME"
     hostNetwork: false
     clusterName: CLUSTER_NAME

   Reemplaza lo siguiente:

   • SEED_HOST_IP_ADDRESS por la dirección IP del host de origen, por ejemplo, 10.0.0.11.
   • DATACENTER_NAME por el nombre del centro de datos, por ejemplo, dc-2.
   • RACK_NAME por el nombre del bastidor, por ejemplo, ra-1.
   • CLUSTER_NAME por el nombre del clúster de Cassandra. De forma predeterminada, el valor es apigeecluster. Si usas un nombre de clúster diferente, debes especificar un valor para cassandra.clusterName. Puedes elegir tu propio valor, pero debe ser el mismo en todas las regiones.

Configura la segunda región

Para configurar la región nueva, haz lo siguiente:

1. Instala cert-manager en la región 2:

   kubectl apply -f https://github.com/cert-manager/cert-manager/releases/download/v1.11.1/cert-manager.yaml
   

2. Copia tu certificado del clúster existente en el clúster nuevo. Cassandra y otros componentes híbridos para mTLS usan la raíz de CA nueva. Por lo tanto, es fundamental tener certificados coherentes en todo el clúster.

   1. Establece el contexto en el espacio de nombres original:

      kubectl config use-context ORIGINAL_CLUSTER_NAME
      

   2. Exporta la configuración del espacio de nombres actual a un archivo:

      kubectl get namespace apigee -o yaml > apigee-namespace.yaml
      

   3. Exporta el Secret apigee-ca a un archivo:

      kubectl -n cert-manager get secret apigee-ca -o yaml > apigee-ca.yaml
      

   4. Establece el contexto en el nombre del clúster de la región nueva:

      kubectl config use-context NEW_CLUSTER_NAME
      

   5. Importa la configuración del espacio de nombres al clúster nuevo. Asegúrate de actualizar el espacio de nombres en el archivo si usas un espacio de nombres diferente en la región nueva:

      kubectl apply -f apigee-namespace.yaml
      

   6. Importa el secreto al clúster nuevo:

      kubectl -n cert-manager apply -f apigee-ca.yaml
      

3. Sigue los pasos para instalar las CRD de Apigee Hybrid en la región nueva.

4. Ahora usa gráficos de Helm para instalar Apigee Hybrid en la región nueva con los siguientes comandos del gráfico de Helm (como se hace en la región 1):

   Nota: Puedes usar las mismas CRD para mantener una mayor coherencia; para ello, usa la misma carpeta en la que descargaste los gráficos. También puedes mantener tu archivo de anulaciones único entre la región 1 y la 2; para ello, asigna a tus anulaciones un nombre único, como overrides-region_name.yaml, etc.
   Importante: Omite la marca ‑‑atomic para clústeres migrados.

   helm upgrade operator apigee-operator \
     --install \
     --create-namespace \
     --namespace apigee-system \
     --atomic \
     -f overrides-DATACENTER_NAME.yaml
   helm upgrade datastore apigee-datastore \
     --install \
     --namespace apigee \
     --atomic \
     -f overrides-DATACENTER_NAME.yaml
   helm upgrade telemetry apigee-telemetry \
     --install \
     --namespace apigee \
     --atomic \
     -f overrides-DATACENTER_NAME.yaml
   helm upgrade redis apigee-redis \
     --install \
     --namespace apigee \
     --atomic \
     -f overrides-DATACENTER_NAME.yaml
   helm upgrade ingress-manager apigee-ingress-manager \
     --install \
     --namespace apigee \
     --atomic \
     -f overrides-DATACENTER_NAME.yaml
   helm upgrade ORG_NAME apigee-org \
     --install \
     --namespace apigee \
     --atomic \
     -f overrides-DATACENTER_NAME.yaml
   # repeat the below command for each env mentioned on the overrides
   helm upgrade ENV_NAME apigee-env/ \
     --install \
     --namespace apigee \
     --atomic \
     --set env=ENV_NAME \
     -f overrides-DATACENTER_NAME.yaml
   # repeat the below command for each env group mentioned on the overrides
   helm upgrade apigee-virtualhost-ENV_GROUP_NAME apigee-virtualhost/ \
     --install \
     --namespace apigee \
     --atomic \
     --set envgroup=ENV_GROUP_NAME \
     -f overrides-DATACENTER_NAME.yaml
   

5. Ejecuta el siguiente comando para verificar la configuración del clúster de Cassandra. El resultado debería mostrar los centros de datos nuevos y existentes.
   Advertencia: Si el resultado de este comando no muestra los centros de datos existentes ni los nuevos, la configuración falló. En este caso, no continúes.

   Para solucionar el problema, la instalación híbrida en la región nueva debe borrarse y volver a crearse. Consulta Desinstala el entorno de ejecución de Hybrid. Si la configuración falla, no intentes continuar ni intentar unirte al clúster.

   kubectl exec apigee-cassandra-default-0 -n apigee  \
   -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status

   Ejemplo que muestra una configuración realizada correctamente:

   Datacenter: dc-1
   ====================
   Status=Up/Down
   |/ State=Normal/Leaving/Joining/Moving
   --  Address        Load       Tokens  Owns  Host ID                               Rack
   UN  10.132.87.93   68.07 GiB  256     ?     fb51465c-167a-42f7-98c9-b6eba1de34de  c
   UN  10.132.84.94   69.9 GiB   256     ?     f621a5ac-e7ee-48a9-9a14-73d69477c642  b
   UN  10.132.84.105  76.95 GiB  256     ?     0561086f-e95b-4232-ba6c-ad519ff30336  d
   
   Datacenter: dc-2
   ====================
   Status=Up/Down
   |/ State=Normal/Leaving/Joining/Moving
   --  Address        Load       Tokens  Owns  Host ID                               Rack
   UN  10.132.0.8     71.61 GiB  256     ?     8894a98b-8406-45de-99e2-f404ab10b5d6  c
   UN  10.132.9.204   75.1 GiB   256     ?     afa0ffa3-630b-4f1e-b46f-fc3df988092e  a
   UN  10.132.3.133   68.08 GiB  256     ?     25ae39ab-b39e-4d4f-9cb7-de095ab873db  b

6. Configura Cassandra en todos los Pods de los nuevos centros de datos.
   1. Obtén apigeeorg del clúster con el siguiente comando:

      kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
      

      Por ejemplo:

      Ex: kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
      "rg-hybrid-b7d3b9c"
      

   2. Crea un archivo de recurso personalizado de replicación de datos de Cassandra (YAML). El archivo puede tener cualquier nombre. En los siguientes ejemplos, el archivo tendrá el nombre datareplication.yaml.

      El archivo debe contener la siguiente información:

      apiVersion: apigee.cloud.google.com/v1alpha1
      kind: CassandraDataReplication
      metadata:
      name: REGION_EXPANSION
      namespace: NAMESPACE
      spec:
      organizationRef: APIGEEORG_VALUE
      force: false
      source:
      region: SOURCE_REGION

      Aquí:

      • REGION_EXPANSION es el nombre que le asignas a estos metadatos. Puedes usar cualquier nombre.
      • NAMESPACE es el mismo espacio de nombres que se proporciona en overrides.yaml. Por lo general, es “apigee”.
      • APIGEEORG_VALUE es el valor de salida del comando kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name" en el paso anterior. Por ejemplo: rg-hybrid-b7d3b9c
      • SOURCE_REGION es la región de origen, el valor del centro de datos en la sección Cassandra de la región de origen overrides.yaml.

      Por ejemplo:

      apiVersion: apigee.cloud.google.com/v1alpha1
      kind: CassandraDataReplication
      metadata:
      name: region-expansion
      namespace: apigee
      spec:
      organizationRef: rg-hybrid-b7d3b9c
      force: false
      source:
      region: "dc-1"

   3. Aplica CassandraDataReplication con el siguiente comando:

      kubectl apply -f datareplication.yaml

7. Verifica el estado de recompilación con el siguiente comando.
   Nota: La operación de recompilación puede demorar varias horas según el tamaño de los datos.

   kubectl -n apigee get apigeeds -o json | jq ".items[].status.cassandraDataReplication"

   El resultado debería ser similar a lo siguiente:

   {
   "rebuildDetails": {
   "apigee-cassandra-default-0": {
   "state": "complete",
   "updated": 1623105760
   },
   "apigee-cassandra-default-1": {
   "state": "complete",
   "updated": 1623105765
   },
   "apigee-cassandra-default-2": {
   "state": "complete",
   "updated": 1623105770
   }
   },
   "state": "complete",
   "updated": 1623105770
   }

8. Una vez que se complete y verifique la replicación de datos, actualiza los hosts de origen:
   1. Quita multiRegionSeedHost: 10.0.0.11 de overrides-DATACENTER_NAME.yaml.

   2. Vuelve a aplicar el cambio para actualizar la CR del almacén de datos de Apigee:

      Importante: Omite la marca ‑‑atomic para los clústeres migrados.

      helm upgrade datastore apigee-datastore/ \
        --install \
        --namespace apigee \
        --atomic \
        -f overrides-DATACENTER_NAME.yaml
      

9. Verifica los procesos de recompilación de los registros. Además, verifica el tamaño de los datos con el comando nodetool status.
   Nota: Si la operación de recompilación muestra el estado completado y los registros de procesos de recompilación contienen “Todas las sesiones completadas”, todos los datos se copiaron de forma correcta en la región nueva.

   kubectl logs apigee-cassandra-default-0 -f -n apigee

   kubectl exec apigee-cassandra-default-0 -n apigee  -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status

   Nota: APIGEE_JMX_USER y APIGEE_JMX_PASSWORD se definen en las variables de entorno $APIGEE_JMX_USER y $APIGEE_JMX_PASSWORD.

   El siguiente ejemplo muestra entradas de registro de ejemplo:

   INFO  01:42:24 rebuild from dc: dc-1, (All keyspaces), (All tokens)
   INFO  01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Executing streaming plan for Rebuild
   INFO  01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.1.45
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.1.45
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.4.36
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.432KiB), sending 0 files(0.000KiB)
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.1.45 is complete
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.4.36
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.5.22
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.693KiB), sending 0 files(0.000KiB)
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.4.36 is complete
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.5.22
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 3 files(0.720KiB), sending 0 files(0.000KiB)
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.5.22 is complete
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] All sessions completed

apigeectl

1. En el archivo overrides.yaml de tu clúster original, asegúrate de que cassandra:hostNetwork esté configurado como true. Por ejemplo:

   cassandra:
     hostNetwork: true

   Consulta los Requisitos previos para obtener más información sobre cuándo configurar hostNetwork: true.

2. Si cassandra:hostNetwork no está configurado como true, haz lo siguiente:
   1. Cambia cassandra.hostNetwork a true.
   2. Aplica el archivo de configuración overrides.yaml con el siguiente comando:

        apigeectl apply -f overrides.yaml --datastore
        

   3. Espera a que los Pods de Cassandra completen un reinicio progresivo.

   4. Verifica que el clúster de Cassandra esté en buen estado con los siguientes comandos:

        kubectl exec -it -n apigee apigee-cassandra-default-0 -- /bin/bash
        

        nodetool -u  -pw APIGEE_JMX_PASSWORD status
        

      Asegúrate de que todos los nodos de Cassandra en el resultado estén en estado UN (Up/Normal):

        nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD describecluster
        

      Asegúrate de que no haya nodos inaccesibles en el resultado.

3. Configure el contexto de kubectl en el clúster original antes de recuperar el nombre de origen:

   kubectl config use-context original-cluster-name

4. Ejecuta el siguiente comando kubectl para identificar una dirección de host de origen de Cassandra en la región actual.

   Una dirección de host de origen permite que una instancia regional nueva encuentre el clúster original en el primer startup para obtener la topología del clúster. La dirección del host de origen se designa como el punto de contacto en el clúster.

   kubectl get pods -o wide -n apigee -l app=apigee-cassandra --field-selector status.phase=Running

   apigee-cassandra-default-0  1/1   Running   0   4d17h   120.38.1.9  aks-agentpool-21207753-vmss000000

5. Decide cuál de las IP que se mostraron en el comando anterior será el host de origen de varias regiones. En este ejemplo, en el que solo se ejecuta un clúster de Cassandra de nodo, el host de origen es 120.38.1.9.
6. En el centro de datos 2, copia tu archivo de anulación a un archivo nuevo cuyo nombre incluya el nombre del clúster. Por ejemplo, overrides_your_cluster_name.yaml.
7. En el centro de datos 2, configura cassandra.multiRegionSeedHost y cassandra.datacenter en overrides_your_cluster_name.yaml, en el que multiRegionSeedHost es una de las IP que muestra el comando anterior:

   cassandra:
        multiRegionSeedHost: seed_host_IP
        datacenter: data_center_name
        rack: rack_name
        hostNetwork: true

   clusterName: cluster_name # debe ser el mismo para todas las regiones

   Por ejemplo:

   cassandra:
     multiRegionSeedHost: 120.38.1.9
     datacenter: "centralus"
     rack: "ra-1"
     hostNetwork: true
     clusterName: my-apigee-cluster

8. Antes de instalar Hybrid, en el centro de datos o la región nuevos, configura los mismos certificados TLS y las credenciales en overrides_your_cluster_name.yaml que configuraste en la primera región.
   Nota: Asegúrate de usar los mismos certificados y credenciales TLS de Cassandra en el segundo centro de datos, como lo hiciste para el centro de datos original. Las credenciales que establezcas en el archivo de anulación del primer centro de datos deben coincidir con las que especifiques en el archivo de anulación del segundo centro de datos. Si quieres obtener más detalles, consulta Configura TLS para Cassandra.

Configura la región nueva

Después de configurar el host de origen, puedes configurar la región nueva.

Para configurar la región nueva, haz lo siguiente:

1. Copia tu certificado del clúster existente en el clúster nuevo. Cassandra y otros componentes híbridos para mTLS usan la raíz de CA nueva. Por lo tanto, es fundamental tener certificados coherentes en todo el clúster.
   1. Establece el contexto en el espacio de nombres original:

      kubectl config use-context original-cluster-name

   2. Exporta la configuración del espacio de nombres actual a un archivo:

      kubectl get namespace namespace -o yaml > apigee-namespace.yaml

   3. Exporta el Secret apigee-ca a un archivo:

      kubectl -n cert-manager get secret apigee-ca -o yaml > apigee-ca.yaml

   4. Establece el contexto en el nombre del clúster de la región nueva:

      kubectl config use-context new-cluster-name

   5. Importa la configuración del espacio de nombres al clúster nuevo. Asegúrate de actualizar el “espacio de nombres” en el archivo si usas un espacio de nombres diferente en la región nueva:

      kubectl apply -f apigee-namespace.yaml

   6. Importa el secreto al clúster nuevo:

      kubectl -n cert-manager apply -f apigee-ca.yaml

2. Instala Hybrid en la nueva región. Asegúrate de que el archivo overrides_your_cluster_name.yaml incluya los mismos certificados TLS que se configuraron en la primera región, como se explica en la sección anterior.

   Ejecuta los siguientes dos comandos para instalar el servicio híbrido en la región nueva:

   Importante: Cuando expandas Apigee Hybrid a un nuevo centro de datos regional, asegúrate de instalar la misma versión híbrida que tienes en tu centro de datos existente. Evita ejecutar diferentes versiones de Hybrid en varios centros de datos.

   apigeectl init -f overrides_your_cluster_name.yaml

   apigeectl apply -f overrides_your_cluster_name.yaml

3. Ejecuta el siguiente comando para verificar que la instalación híbrida se realice de forma correcta:

   apigeectl check-ready -f overrides_your_cluster_name.yaml

4. Ejecuta el siguiente comando para verificar la configuración del clúster de Cassandra. El resultado debería mostrar los centros de datos nuevos y existentes.
   Advertencia: Si el resultado de este comando no muestra los centros de datos existentes ni los nuevos, la configuración falló. En este caso, no continúes.

   Para solucionar el problema, la instalación híbrida en la región nueva debe borrarse y volver a crearse. Consulta Desinstala el entorno de ejecución de Hybrid. Si la configuración falla, no intentes continuar ni intentar unirte al clúster.

   kubectl exec apigee-cassandra-default-0 -n apigee  \
     -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status

   Ejemplo que muestra una configuración realizada correctamente:

   Datacenter: dc-1
   ====================
   Status=Up/Down
   |/ State=Normal/Leaving/Joining/Moving
   --  Address        Load       Tokens  Owns  Host ID                               Rack
   UN  10.132.87.93   68.07 GiB  256     ?     fb51465c-167a-42f7-98c9-b6eba1de34de  c
   UN  10.132.84.94   69.9 GiB   256     ?     f621a5ac-e7ee-48a9-9a14-73d69477c642  b
   UN  10.132.84.105  76.95 GiB  256     ?     0561086f-e95b-4232-ba6c-ad519ff30336  d
   
   Datacenter: dc-2
   ====================
   Status=Up/Down
   |/ State=Normal/Leaving/Joining/Moving
   --  Address        Load       Tokens  Owns  Host ID                               Rack
   UN  10.132.0.8     71.61 GiB  256     ?     8894a98b-8406-45de-99e2-f404ab10b5d6  c
   UN  10.132.9.204   75.1 GiB   256     ?     afa0ffa3-630b-4f1e-b46f-fc3df988092e  a
   UN  10.132.3.133   68.08 GiB  256     ?     25ae39ab-b39e-4d4f-9cb7-de095ab873db  b

5. Configura Cassandra en todos los Pods de los nuevos centros de datos.
   1. Obtén apigeeorg del clúster con el siguiente comando:

      kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
      

      Por ejemplo:

      Ex: kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
      "rg-hybrid-b7d3b9c"
      

   2. Crea un archivo de recurso personalizado de replicación de datos de Cassandra (YAML). El archivo puede tener cualquier nombre. En los siguientes ejemplos, el archivo tendrá el nombre datareplication.yaml.

      El archivo debe contener la siguiente información:

      apiVersion: apigee.cloud.google.com/v1alpha1
      kind: CassandraDataReplication
      metadata:
        name: REGION_EXPANSION
        namespace: NAMESPACE
      spec:
        organizationRef: APIGEEORG_VALUE
        force: false
        source:
          region: SOURCE_REGION

      Aquí:

      • REGION_EXPANSION es el nombre que le asignas a estos metadatos. Puedes usar cualquier nombre.
      • NAMESPACE es el mismo espacio de nombres que se proporciona en overrides.yaml. Por lo general, es “apigee”.
      • APIGEEORG_VALUE es el valor de salida del comando kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name" en el paso anterior. Por ejemplo: rg-hybrid-b7d3b9c
      • SOURCE_REGION es la región de origen, el valor del centro de datos en la sección Cassandra de la región de origen overrides.yaml.

      Por ejemplo:

      apiVersion: apigee.cloud.google.com/v1alpha1
      kind: CassandraDataReplication
      metadata:
        name: region-expansion
        namespace: apigee
      spec:
        organizationRef: rg-hybrid-b7d3b9c
        force: false
        source:
          region: "dc-1"

   3. Aplica CassandraDataReplication con el siguiente comando:

      kubectl apply -f datareplication.yaml

   4. Verifica el estado de recompilación con el siguiente comando.
      Nota: La operación de recompilación puede demorar varias horas en función del tamaño de los datos.

      kubectl -n apigee get apigeeds -o json | jq ".items[].status.cassandraDataReplication"

      El resultado debería ser similar a lo siguiente:

      {
        "rebuildDetails": {
          "apigee-cassandra-default-0": {
            "state": "complete",
            "updated": 1623105760
          },
          "apigee-cassandra-default-1": {
            "state": "complete",
            "updated": 1623105765
          },
          "apigee-cassandra-default-2": {
            "state": "complete",
            "updated": 1623105770
          }
        },
        "state": "complete",
        "updated": 1623105770
      }

6. Verifica los procesos de recompilación de los registros. Además, verifica el tamaño de los datos mediante el comando nodetool status.
   Nota: Si la operación de recompilación muestra el estado completado y los registros de procesos de recompilación contienen “Todas las sesiones completadas”, todos los datos se copiaron de forma correcta en la región nueva.

   kubectl logs apigee-cassandra-default-0 -f -n apigee

   kubectl exec apigee-cassandra-default-0 -n apigee  -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status

   El siguiente ejemplo muestra entradas de registro de ejemplo:

   INFO  01:42:24 rebuild from dc: dc-1, (All keyspaces), (All tokens)
   INFO  01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Executing streaming plan for Rebuild
   INFO  01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.1.45
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.1.45
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.4.36
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.432KiB), sending 0 files(0.000KiB)
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.1.45 is complete
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.4.36
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.5.22
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.693KiB), sending 0 files(0.000KiB)
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.4.36 is complete
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.5.22
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 3 files(0.720KiB), sending 0 files(0.000KiB)
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.5.22 is complete
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] All sessions completed

7. Actualiza los hosts de origen. Quita multiRegionSeedHost: 10.0.0.11 de overrides-DC_name.yaml y vuelve a enviar la solicitud.
   Nota: Los hosts de origen son miembros del clúster local. Debes tener un host de origen externo para iniciar una nueva región. Una vez que se inicia una región, debes cambiar los hosts de origen a sus clústeres locales en overrides.yaml y, luego, volver a aplicar la configuración.

   apigeectl apply -f overrides/overrides-DC_name.yaml

Comprueba el estado del clúster de Cassandra

El siguiente comando es útil para ver si la configuración del clúster se realizó de forma correcta en dos centros de datos. El comando comprueba el estado de la herramienta del nodo de las dos regiones.

kubectl exec apigee-cassandra-default-0 -n apigee  -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status


Datacenter: dc-1
=======================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address     Load       Tokens       Owns (effective)  Host ID                               Rack
UN  10.12.1.45  112.09 KiB  256          100.0%            3c98c816-3f4d-48f0-9717-03d0c998637f  ra-1
UN  10.12.4.36  95.27 KiB  256          100.0%            0a36383d-1d9e-41e2-924c-7b62be12d6cc  ra-1
UN  10.12.5.22  88.7 KiB   256          100.0%            3561f4fa-af3d-4ea4-93b2-79ac7e938201  ra-1
Datacenter: us-west1
====================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address     Load       Tokens       Owns (effective)  Host ID                               Rack
UN  10.0.4.33   78.69 KiB  256          100.0%              a200217d-260b-45cd-b83c-182b27ff4c99  ra-1
UN  10.0.0.21   78.68 KiB  256          100.0%              9f3364b9-a7a1-409c-9356-b7d1d312e52b  ra-1
UN  10.0.1.26   15.46 KiB  256          100.0%              1666df0f-702e-4c5b-8b6e-086d0f2e47fa  ra-1

EKS

Importante: Cuando expandas Apigee Hybrid a un nuevo centro de datos regional, asegúrate de instalar la misma versión híbrida que tienes en tu centro de datos existente. Evita ejecutar diferentes versiones de Hybrid en varios centros de datos. Esta restricción no se aplica cuando se actualizan varios centros de datos a una versión nueva.

Advertencia: Si la instalación falla en una región nueva, no continúes con la instalación de una región. En su lugar, borra y vuelve a crear la instalación híbrida en la región con errores.

Crea una red virtual en cada región

Sigue las recomendaciones de AWS para establecer la comunicación entre regiones como se describe en ¿Qué es el intercambio de tráfico de VPC?. El término de AWS para usar diferentes regiones es intercambio de tráfico de VPC interregional.

Crea clústeres multirregionales

Configura clústeres de Kubernetes en varias regiones con diferentes bloques CIDR. Consulta también el Paso 1: Crea un clúster. Usa las ubicaciones y los nombres de las redes virtuales que creaste antes.

Abre puertos de Cassandra entre clústeres de Kubernetes en todas las regiones para permitir que se comuniquen los nodos trabajadores en las regiones y los centros de datos. Consulta Configura puertos para conocer los números de puerto de Cassandra.

Configura el host de origen multirregión

En esta sección, se describe cómo expandir el clúster existente de Cassandra a una región nueva. Esta configuración permite que la región nueva inicie el clúster y se una al centro de datos existente. Sin esta configuración, los clústeres de Kubernetes multirregionales no se reconocerían entre sí.

Sigue los procedimientos de la herramienta que usas para administrar y, además, instalar Apigee Hybrid:

Gráficos de Helm

1. Para la primera región creada, obtén los Pods en el espacio de nombres de Apigee:

   kubectl get pods -o wide -n apigee
   

2. Identifica la dirección del host de origen multirregional para Cassandra en esta región, por ejemplo, 10.0.0.11.

3. Prepara el archivo overrides.yaml para la segunda región y agrega la dirección IP del host de origen de la siguiente manera:

   cassandra:
     multiRegionSeedHost: "SEED_HOST_IP_ADDRESS"
     datacenter: "DATACENTER_NAME"
     rack: "RACK_NAME"
     hostNetwork: false
     clusterName: CLUSTER_NAME

   Reemplaza lo siguiente:

   • SEED_HOST_IP_ADDRESS por la dirección IP del host de origen, por ejemplo, 10.0.0.11.
   • DATACENTER_NAME por el nombre del centro de datos, por ejemplo, dc-2.
   • RACK_NAME por el nombre del bastidor, por ejemplo, ra-1.
   • CLUSTER_NAME por el nombre del clúster de Cassandra. De forma predeterminada, el valor es apigeecluster. Si usas un nombre de clúster diferente, debes especificar un valor para cassandra.clusterName. Puedes elegir tu propio valor, pero debe ser el mismo en todas las regiones.

Configura la segunda región

Para configurar la región nueva, haz lo siguiente:

1. Instala cert-manager en la región 2:

   kubectl apply -f https://github.com/cert-manager/cert-manager/releases/download/v1.11.1/cert-manager.yaml
   

2. Copia tu certificado del clúster existente en el clúster nuevo. Cassandra y otros componentes híbridos para mTLS usan la raíz de CA nueva. Por lo tanto, es fundamental tener certificados coherentes en todo el clúster.

   1. Establece el contexto en el espacio de nombres original:

      kubectl config use-context ORIGINAL_CLUSTER_NAME
      

   2. Exporta la configuración del espacio de nombres actual a un archivo:

      kubectl get namespace apigee -o yaml > apigee-namespace.yaml
      

   3. Exporta el Secret apigee-ca a un archivo:

      kubectl -n cert-manager get secret apigee-ca -o yaml > apigee-ca.yaml
      

   4. Establece el contexto en el nombre del clúster de la región nueva:

      kubectl config use-context NEW_CLUSTER_NAME
      

   5. Importa la configuración del espacio de nombres al clúster nuevo. Asegúrate de actualizar el espacio de nombres en el archivo si usas un espacio de nombres diferente en la región nueva:

      kubectl apply -f apigee-namespace.yaml
      

   6. Importa el secreto al clúster nuevo:

      kubectl -n cert-manager apply -f apigee-ca.yaml
      

3. Sigue los pasos para instalar las CRD de Apigee Hybrid en la región nueva.

4. Ahora usa gráficos de Helm para instalar Apigee Hybrid en la región nueva con los siguientes comandos del gráfico de Helm (como se hace en la región 1):

   Nota: Puedes usar las mismas CRD para mantener una mayor coherencia; para ello, usa la misma carpeta en la que descargaste los gráficos. También puedes mantener tu archivo de anulaciones único entre la región 1 y la 2; para ello, asigna a tus anulaciones un nombre único, como overrides-region_name.yaml, etc.
   Importante: Omite la marca ‑‑atomic para clústeres migrados.

   helm upgrade operator apigee-operator \
     --install \
     --create-namespace \
     --namespace apigee-system \
     --atomic \
     -f overrides-DATACENTER_NAME.yaml
   helm upgrade datastore apigee-datastore \
     --install \
     --namespace apigee \
     --atomic \
     -f overrides-DATACENTER_NAME.yaml
   helm upgrade telemetry apigee-telemetry \
     --install \
     --namespace apigee \
     --atomic \
     -f overrides-DATACENTER_NAME.yaml
   helm upgrade redis apigee-redis \
     --install \
     --namespace apigee \
     --atomic \
     -f overrides-DATACENTER_NAME.yaml
   helm upgrade ingress-manager apigee-ingress-manager \
     --install \
     --namespace apigee \
     --atomic \
     -f overrides-DATACENTER_NAME.yaml
   helm upgrade ORG_NAME apigee-org \
     --install \
     --namespace apigee \
     --atomic \
     -f overrides-DATACENTER_NAME.yaml
   # repeat the below command for each env mentioned on the overrides
   helm upgrade ENV_NAME apigee-env/ \
     --install \
     --namespace apigee \
     --atomic \
     --set env=ENV_NAME \
     -f overrides-DATACENTER_NAME.yaml
   # repeat the below command for each env group mentioned on the overrides
   helm upgrade apigee-virtualhost-ENV_GROUP_NAME apigee-virtualhost/ \
     --install \
     --namespace apigee \
     --atomic \
     --set envgroup=ENV_GROUP_NAME \
     -f overrides-DATACENTER_NAME.yaml
   

5. Ejecuta el siguiente comando para verificar la configuración del clúster de Cassandra. El resultado debería mostrar los centros de datos nuevos y existentes.
   Advertencia: Si el resultado de este comando no muestra los centros de datos existentes ni los nuevos, la configuración falló. En este caso, no continúes.

   Para solucionar el problema, la instalación híbrida en la región nueva debe borrarse y volver a crearse. Consulta Desinstala el entorno de ejecución de Hybrid. Si la configuración falla, no intentes continuar ni intentar unirte al clúster.

   kubectl exec apigee-cassandra-default-0 -n apigee  \
   -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status

   Ejemplo que muestra una configuración realizada correctamente:

   Datacenter: dc-1
   ====================
   Status=Up/Down
   |/ State=Normal/Leaving/Joining/Moving
   --  Address        Load       Tokens  Owns  Host ID                               Rack
   UN  10.132.87.93   68.07 GiB  256     ?     fb51465c-167a-42f7-98c9-b6eba1de34de  c
   UN  10.132.84.94   69.9 GiB   256     ?     f621a5ac-e7ee-48a9-9a14-73d69477c642  b
   UN  10.132.84.105  76.95 GiB  256     ?     0561086f-e95b-4232-ba6c-ad519ff30336  d
   
   Datacenter: dc-2
   ====================
   Status=Up/Down
   |/ State=Normal/Leaving/Joining/Moving
   --  Address        Load       Tokens  Owns  Host ID                               Rack
   UN  10.132.0.8     71.61 GiB  256     ?     8894a98b-8406-45de-99e2-f404ab10b5d6  c
   UN  10.132.9.204   75.1 GiB   256     ?     afa0ffa3-630b-4f1e-b46f-fc3df988092e  a
   UN  10.132.3.133   68.08 GiB  256     ?     25ae39ab-b39e-4d4f-9cb7-de095ab873db  b

6. Configura Cassandra en todos los Pods de los nuevos centros de datos.
   1. Obtén apigeeorg del clúster con el siguiente comando:

      kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
      

      Por ejemplo:

      Ex: kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
      "rg-hybrid-b7d3b9c"
      

   2. Crea un archivo de recurso personalizado de replicación de datos de Cassandra (YAML). El archivo puede tener cualquier nombre. En los siguientes ejemplos, el archivo tendrá el nombre datareplication.yaml.

      El archivo debe contener la siguiente información:

      apiVersion: apigee.cloud.google.com/v1alpha1
      kind: CassandraDataReplication
      metadata:
      name: REGION_EXPANSION
      namespace: NAMESPACE
      spec:
      organizationRef: APIGEEORG_VALUE
      force: false
      source:
      region: SOURCE_REGION

      Aquí:

      • REGION_EXPANSION es el nombre que le asignas a estos metadatos. Puedes usar cualquier nombre.
      • NAMESPACE es el mismo espacio de nombres que se proporciona en overrides.yaml. Por lo general, es “apigee”.
      • APIGEEORG_VALUE es el valor de salida del comando kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name" en el paso anterior. Por ejemplo: rg-hybrid-b7d3b9c
      • SOURCE_REGION es la región de origen, el valor del centro de datos en la sección Cassandra de la región de origen overrides.yaml.

      Por ejemplo:

      apiVersion: apigee.cloud.google.com/v1alpha1
      kind: CassandraDataReplication
      metadata:
      name: region-expansion
      namespace: apigee
      spec:
      organizationRef: rg-hybrid-b7d3b9c
      force: false
      source:
      region: "dc-1"

   3. Aplica CassandraDataReplication con el siguiente comando:

      kubectl apply -f datareplication.yaml

7. Verifica el estado de recompilación con el siguiente comando.
   Nota: La operación de recompilación puede demorar varias horas según el tamaño de los datos.

   kubectl -n apigee get apigeeds -o json | jq ".items[].status.cassandraDataReplication"

   El resultado debería ser similar a lo siguiente:

   {
   "rebuildDetails": {
   "apigee-cassandra-default-0": {
   "state": "complete",
   "updated": 1623105760
   },
   "apigee-cassandra-default-1": {
   "state": "complete",
   "updated": 1623105765
   },
   "apigee-cassandra-default-2": {
   "state": "complete",
   "updated": 1623105770
   }
   },
   "state": "complete",
   "updated": 1623105770
   }

8. Una vez que se complete y verifique la replicación de datos, actualiza los hosts de origen:
   1. Quita multiRegionSeedHost: 10.0.0.11 de overrides-DATACENTER_NAME.yaml.

   2. Vuelve a aplicar el cambio para actualizar la CR del almacén de datos de Apigee:

      Importante: Omite la marca ‑‑atomic para los clústeres migrados.

      helm upgrade datastore apigee-datastore/ \
        --install \
        --namespace apigee \
        --atomic \
        -f overrides-DATACENTER_NAME.yaml
      

9. Verifica los procesos de recompilación de los registros. Además, verifica el tamaño de los datos con el comando nodetool status.
   Nota: Si la operación de recompilación muestra el estado completado y los registros de procesos de recompilación contienen “Todas las sesiones completadas”, todos los datos se copiaron de forma correcta en la región nueva.

   kubectl logs apigee-cassandra-default-0 -f -n apigee

   kubectl exec apigee-cassandra-default-0 -n apigee  -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status

   Nota: APIGEE_JMX_USER y APIGEE_JMX_PASSWORD se definen en las variables de entorno $APIGEE_JMX_USER y $APIGEE_JMX_PASSWORD.

   El siguiente ejemplo muestra entradas de registro de ejemplo:

   INFO  01:42:24 rebuild from dc: dc-1, (All keyspaces), (All tokens)
   INFO  01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Executing streaming plan for Rebuild
   INFO  01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.1.45
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.1.45
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.4.36
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.432KiB), sending 0 files(0.000KiB)
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.1.45 is complete
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.4.36
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.5.22
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.693KiB), sending 0 files(0.000KiB)
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.4.36 is complete
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.5.22
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 3 files(0.720KiB), sending 0 files(0.000KiB)
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.5.22 is complete
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] All sessions completed

apigeectl

1. En el archivo overrides.yaml de tu clúster original, asegúrate de que cassandra:hostNetwork esté configurado como true. Por ejemplo:

   cassandra:
     hostNetwork: true

   Consulta los Requisitos previos para obtener más información sobre cuándo configurar hostNetwork: true.

2. Si cassandra:hostNetwork no está configurado como true, haz lo siguiente:
   1. Cambia cassandra.hostNetwork a true.
   2. Aplica el archivo de configuración overrides.yaml con el siguiente comando:

        apigeectl apply -f overrides.yaml --datastore
        

   3. Espera a que los Pods de Cassandra completen un reinicio progresivo.

   4. Verifica que el clúster de Cassandra esté en buen estado con los siguientes comandos:

        kubectl exec -it -n apigee apigee-cassandra-default-0 -- /bin/bash
        

        nodetool -u  -pw APIGEE_JMX_PASSWORD status
        

      Asegúrate de que todos los nodos de Cassandra en el resultado estén en estado UN (Up/Normal):

        nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD describecluster
        

      Asegúrate de que no haya nodos inaccesibles en el resultado.

3. Configure el contexto de kubectl en el clúster original antes de recuperar el nombre de origen:

   kubectl config use-context original-cluster-name

4. Ejecuta el siguiente comando kubectl para identificar una dirección de host de origen de Cassandra en la región actual.

   Una dirección de host de origen permite que una instancia regional nueva encuentre el clúster original en el primer startup para obtener la topología del clúster. La dirección del host de origen se designa como el punto de contacto en el clúster.

   kubectl get pods -o wide -n apigee -l app=apigee-cassandra --field-selector status.phase=Running

   apigee-cassandra-default-0  1/1   Running   0   4d17h   120.38.1.9  aks-agentpool-21207753-vmss000000

5. Decide cuál de las IP que se mostraron en el comando anterior será el host de origen de varias regiones. En este ejemplo, en el que solo se ejecuta un clúster de Cassandra de nodo, el host de origen es 120.38.1.9.
6. En el centro de datos 2, copia tu archivo de anulación a un archivo nuevo cuyo nombre incluya el nombre del clúster. Por ejemplo, overrides_your_cluster_name.yaml.
7. En el centro de datos 2, configura cassandra.multiRegionSeedHost y cassandra.datacenter en overrides_your_cluster_name.yaml, en el que multiRegionSeedHost es una de las IP que muestra el comando anterior:

   cassandra:
        multiRegionSeedHost: seed_host_IP
        datacenter: data_center_name
        rack: rack_name
        hostNetwork: true

   clusterName: cluster_name # debe ser el mismo para todas las regiones

   Por ejemplo:

   cassandra:
     multiRegionSeedHost: 120.38.1.9
     datacenter: "centralus"
     rack: "ra-1"
     hostNetwork: true
     clusterName: my-apigee-cluster

8. Antes de instalar Hybrid, en el centro de datos o la región nuevos, configura los mismos certificados TLS y las credenciales en overrides_your_cluster_name.yaml que configuraste en la primera región.
   Nota: Asegúrate de usar los mismos certificados y credenciales TLS de Cassandra en el segundo centro de datos, como lo hiciste para el centro de datos original. Las credenciales que establezcas en el archivo de anulación del primer centro de datos deben coincidir con las que especifiques en el archivo de anulación del segundo centro de datos. Si quieres obtener más detalles, consulta Configura TLS para Cassandra.

Configura la región nueva

Después de configurar el host de origen, puedes configurar la región nueva.

Para configurar la región nueva, haz lo siguiente:

1. Copia tu certificado del clúster existente en el clúster nuevo. Cassandra y otros componentes híbridos para mTLS usan la raíz de CA nueva. Por lo tanto, es fundamental tener certificados coherentes en todo el clúster.
   1. Establece el contexto en el espacio de nombres original:

      kubectl config use-context original-cluster-name

   2. Exporta la configuración del espacio de nombres actual a un archivo:

      kubectl get namespace namespace -o yaml > apigee-namespace.yaml

   3. Exporta el Secret apigee-ca a un archivo:

      kubectl -n cert-manager get secret apigee-ca -o yaml > apigee-ca.yaml

   4. Establece el contexto en el nombre del clúster de la región nueva:

      kubectl config use-context new-cluster-name

   5. Importa la configuración del espacio de nombres al clúster nuevo. Asegúrate de actualizar el “espacio de nombres” en el archivo si usas un espacio de nombres diferente en la región nueva:

      kubectl apply -f apigee-namespace.yaml

   6. Importa el secreto al clúster nuevo:

      kubectl -n cert-manager apply -f apigee-ca.yaml

2. Instala Hybrid en la nueva región. Asegúrate de que el archivo overrides_your_cluster_name.yaml incluya los mismos certificados TLS que se configuraron en la primera región, como se explica en la sección anterior.

   Ejecuta los siguientes dos comandos para instalar el servicio híbrido en la región nueva:

   Importante: Cuando expandas Apigee Hybrid a un nuevo centro de datos regional, asegúrate de instalar la misma versión híbrida que tienes en tu centro de datos existente. Evita ejecutar diferentes versiones de Hybrid en varios centros de datos.

   apigeectl init -f overrides_your_cluster_name.yaml

   apigeectl apply -f overrides_your_cluster_name.yaml

3. Ejecuta el siguiente comando para verificar que la instalación híbrida se realice de forma correcta:

   apigeectl check-ready -f overrides_your_cluster_name.yaml

4. Ejecuta el siguiente comando para verificar la configuración del clúster de Cassandra. El resultado debería mostrar los centros de datos nuevos y existentes.
   Advertencia: Si el resultado de este comando no muestra los centros de datos existentes ni los nuevos, la configuración falló. En este caso, no continúes.

   Para solucionar el problema, la instalación híbrida en la región nueva debe borrarse y volver a crearse. Consulta Desinstala el entorno de ejecución de Hybrid. Si la configuración falla, no intentes continuar ni intentar unirte al clúster.

   kubectl exec apigee-cassandra-default-0 -n apigee  \
     -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status

   Ejemplo que muestra una configuración realizada correctamente:

   Datacenter: dc-1
   ====================
   Status=Up/Down
   |/ State=Normal/Leaving/Joining/Moving
   --  Address        Load       Tokens  Owns  Host ID                               Rack
   UN  10.132.87.93   68.07 GiB  256     ?     fb51465c-167a-42f7-98c9-b6eba1de34de  c
   UN  10.132.84.94   69.9 GiB   256     ?     f621a5ac-e7ee-48a9-9a14-73d69477c642  b
   UN  10.132.84.105  76.95 GiB  256     ?     0561086f-e95b-4232-ba6c-ad519ff30336  d
   
   Datacenter: dc-2
   ====================
   Status=Up/Down
   |/ State=Normal/Leaving/Joining/Moving
   --  Address        Load       Tokens  Owns  Host ID                               Rack
   UN  10.132.0.8     71.61 GiB  256     ?     8894a98b-8406-45de-99e2-f404ab10b5d6  c
   UN  10.132.9.204   75.1 GiB   256     ?     afa0ffa3-630b-4f1e-b46f-fc3df988092e  a
   UN  10.132.3.133   68.08 GiB  256     ?     25ae39ab-b39e-4d4f-9cb7-de095ab873db  b

5. Configura Cassandra en todos los Pods de los nuevos centros de datos.
   1. Obtén apigeeorg del clúster con el siguiente comando:

      kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
      

      Por ejemplo:

      Ex: kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
      "rg-hybrid-b7d3b9c"
      

   2. Crea un archivo de recurso personalizado de replicación de datos de Cassandra (YAML). El archivo puede tener cualquier nombre. En los siguientes ejemplos, el archivo tendrá el nombre datareplication.yaml.

      El archivo debe contener la siguiente información:

      apiVersion: apigee.cloud.google.com/v1alpha1
      kind: CassandraDataReplication
      metadata:
        name: REGION_EXPANSION
        namespace: NAMESPACE
      spec:
        organizationRef: APIGEEORG_VALUE
        force: false
        source:
          region: SOURCE_REGION

      Aquí:

      • REGION_EXPANSION es el nombre que le asignas a estos metadatos. Puedes usar cualquier nombre.
      • NAMESPACE es el mismo espacio de nombres que se proporciona en overrides.yaml. Por lo general, es “apigee”.
      • APIGEEORG_VALUE es el valor de salida del comando kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name" en el paso anterior. Por ejemplo: rg-hybrid-b7d3b9c
      • SOURCE_REGION es la región de origen, el valor del centro de datos en la sección Cassandra de la región de origen overrides.yaml.

      Por ejemplo:

      apiVersion: apigee.cloud.google.com/v1alpha1
      kind: CassandraDataReplication
      metadata:
        name: region-expansion
        namespace: apigee
      spec:
        organizationRef: rg-hybrid-b7d3b9c
        force: false
        source:
          region: "dc-1"

   3. Aplica CassandraDataReplication con el siguiente comando:

      kubectl apply -f datareplication.yaml

   4. Verifica el estado de recompilación con el siguiente comando.
      Nota: La operación de recompilación puede demorar varias horas en función del tamaño de los datos.

      kubectl -n apigee get apigeeds -o json | jq ".items[].status.cassandraDataReplication"

      El resultado debería ser similar a lo siguiente:

      {
        "rebuildDetails": {
          "apigee-cassandra-default-0": {
            "state": "complete",
            "updated": 1623105760
          },
          "apigee-cassandra-default-1": {
            "state": "complete",
            "updated": 1623105765
          },
          "apigee-cassandra-default-2": {
            "state": "complete",
            "updated": 1623105770
          }
        },
        "state": "complete",
        "updated": 1623105770
      }

6. Verifica los procesos de recompilación de los registros. Además, verifica el tamaño de los datos mediante el comando nodetool status.
   Nota: Si la operación de recompilación muestra el estado completado y los registros de procesos de recompilación contienen “Todas las sesiones completadas”, todos los datos se copiaron de forma correcta en la región nueva.

   kubectl logs apigee-cassandra-default-0 -f -n apigee

   kubectl exec apigee-cassandra-default-0 -n apigee  -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status

   El siguiente ejemplo muestra entradas de registro de ejemplo:

   INFO  01:42:24 rebuild from dc: dc-1, (All keyspaces), (All tokens)
   INFO  01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Executing streaming plan for Rebuild
   INFO  01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.1.45
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.1.45
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.4.36
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.432KiB), sending 0 files(0.000KiB)
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.1.45 is complete
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.4.36
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.5.22
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.693KiB), sending 0 files(0.000KiB)
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.4.36 is complete
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.5.22
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 3 files(0.720KiB), sending 0 files(0.000KiB)
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.5.22 is complete
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] All sessions completed

7. Actualiza los hosts de origen. Quita multiRegionSeedHost: 10.0.0.11 de overrides-DC_name.yaml y vuelve a enviar la solicitud.
   Nota: Los hosts de origen son miembros del clúster local. Debes tener un host de origen externo para iniciar una nueva región. Una vez que se inicia una región, debes cambiar los hosts de origen a sus clústeres locales en overrides.yaml y, luego, volver a aplicar la configuración.

   apigeectl apply -f overrides/overrides-DC_name.yaml

Comprueba el estado del clúster de Cassandra

El siguiente comando es útil para ver si la configuración del clúster se realizó de forma correcta en dos centros de datos. El comando comprueba el estado de la herramienta del nodo de las dos regiones.

kubectl exec apigee-cassandra-default-0 -n apigee  -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status


Datacenter: dc-1
=======================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address     Load       Tokens       Owns (effective)  Host ID                               Rack
UN  10.12.1.45  112.09 KiB  256          100.0%            3c98c816-3f4d-48f0-9717-03d0c998637f  ra-1
UN  10.12.4.36  95.27 KiB  256          100.0%            0a36383d-1d9e-41e2-924c-7b62be12d6cc  ra-1
UN  10.12.5.22  88.7 KiB   256          100.0%            3561f4fa-af3d-4ea4-93b2-79ac7e938201  ra-1
Datacenter: us-west1
====================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address     Load       Tokens       Owns (effective)  Host ID                               Rack
UN  10.0.4.33   78.69 KiB  256          100.0%              a200217d-260b-45cd-b83c-182b27ff4c99  ra-1
UN  10.0.0.21   78.68 KiB  256          100.0%              9f3364b9-a7a1-409c-9356-b7d1d312e52b  ra-1
UN  10.0.1.26   15.46 KiB  256          100.0%              1666df0f-702e-4c5b-8b6e-086d0f2e47fa  ra-1

OpenShift

Importante: Cuando expandas Apigee Hybrid a un nuevo centro de datos regional, asegúrate de instalar la misma versión híbrida que tienes en tu centro de datos existente. Evita ejecutar diferentes versiones de Hybrid en varios centros de datos.

Advertencia: Si la instalación falla en una región nueva, no continúes con la instalación de una región. En su lugar, borra y vuelve a crear la instalación híbrida en la región con errores.

Configura el host de origen multirregión

En esta sección, se describe cómo expandir el clúster existente de Cassandra a una región nueva. Esta configuración permite que la región nueva inicie el clúster y se una al centro de datos existente. Sin esta configuración, los clústeres de Kubernetes multirregionales no se reconocerían entre sí.

Sigue los procedimientos de la herramienta que usas para administrar y, además, instalar Apigee Hybrid:

Gráficos de Helm

1. Para la primera región creada, obtén los Pods en el espacio de nombres de Apigee:

   kubectl get pods -o wide -n apigee
   

2. Identifica la dirección del host de origen multirregional para Cassandra en esta región, por ejemplo, 10.0.0.11.

3. Prepara el archivo overrides.yaml para la segunda región y agrega la dirección IP del host de origen de la siguiente manera:

   cassandra:
     multiRegionSeedHost: "SEED_HOST_IP_ADDRESS"
     datacenter: "DATACENTER_NAME"
     rack: "RACK_NAME"
     hostNetwork: false
     clusterName: CLUSTER_NAME

   Reemplaza lo siguiente:

   • SEED_HOST_IP_ADDRESS por la dirección IP del host de origen, por ejemplo, 10.0.0.11.
   • DATACENTER_NAME por el nombre del centro de datos, por ejemplo, dc-2.
   • RACK_NAME por el nombre del bastidor, por ejemplo, ra-1.
   • CLUSTER_NAME por el nombre del clúster de Cassandra. De forma predeterminada, el valor es apigeecluster. Si usas un nombre de clúster diferente, debes especificar un valor para cassandra.clusterName. Puedes elegir tu propio valor, pero debe ser el mismo en todas las regiones.

Configura la segunda región

Para configurar la región nueva, haz lo siguiente:

1. Instala cert-manager en la región 2:

   kubectl apply -f https://github.com/cert-manager/cert-manager/releases/download/v1.11.1/cert-manager.yaml
   

2. Copia tu certificado del clúster existente en el clúster nuevo. Cassandra y otros componentes híbridos para mTLS usan la raíz de CA nueva. Por lo tanto, es fundamental tener certificados coherentes en todo el clúster.

   1. Establece el contexto en el espacio de nombres original:

      kubectl config use-context ORIGINAL_CLUSTER_NAME
      

   2. Exporta la configuración del espacio de nombres actual a un archivo:

      kubectl get namespace apigee -o yaml > apigee-namespace.yaml
      

   3. Exporta el Secret apigee-ca a un archivo:

      kubectl -n cert-manager get secret apigee-ca -o yaml > apigee-ca.yaml
      

   4. Establece el contexto en el nombre del clúster de la región nueva:

      kubectl config use-context NEW_CLUSTER_NAME
      

   5. Importa la configuración del espacio de nombres al clúster nuevo. Asegúrate de actualizar el espacio de nombres en el archivo si usas un espacio de nombres diferente en la región nueva:

      kubectl apply -f apigee-namespace.yaml
      

   6. Importa el secreto al clúster nuevo:

      kubectl -n cert-manager apply -f apigee-ca.yaml
      

3. Sigue los pasos para instalar las CRD de Apigee Hybrid en la región nueva.

4. Ahora usa gráficos de Helm para instalar Apigee Hybrid en la región nueva con los siguientes comandos del gráfico de Helm (como se hace en la región 1):

   Nota: Puedes usar las mismas CRD para mantener una mayor coherencia; para ello, usa la misma carpeta en la que descargaste los gráficos. También puedes mantener tu archivo de anulaciones único entre la región 1 y la 2; para ello, asigna a tus anulaciones un nombre único, como overrides-region_name.yaml, etc.
   Importante: Omite la marca ‑‑atomic para clústeres migrados.

   helm upgrade operator apigee-operator \
     --install \
     --create-namespace \
     --namespace apigee-system \
     --atomic \
     -f overrides-DATACENTER_NAME.yaml
   helm upgrade datastore apigee-datastore \
     --install \
     --namespace apigee \
     --atomic \
     -f overrides-DATACENTER_NAME.yaml
   helm upgrade telemetry apigee-telemetry \
     --install \
     --namespace apigee \
     --atomic \
     -f overrides-DATACENTER_NAME.yaml
   helm upgrade redis apigee-redis \
     --install \
     --namespace apigee \
     --atomic \
     -f overrides-DATACENTER_NAME.yaml
   helm upgrade ingress-manager apigee-ingress-manager \
     --install \
     --namespace apigee \
     --atomic \
     -f overrides-DATACENTER_NAME.yaml
   helm upgrade ORG_NAME apigee-org \
     --install \
     --namespace apigee \
     --atomic \
     -f overrides-DATACENTER_NAME.yaml
   # repeat the below command for each env mentioned on the overrides
   helm upgrade ENV_NAME apigee-env/ \
     --install \
     --namespace apigee \
     --atomic \
     --set env=ENV_NAME \
     -f overrides-DATACENTER_NAME.yaml
   # repeat the below command for each env group mentioned on the overrides
   helm upgrade apigee-virtualhost-ENV_GROUP_NAME apigee-virtualhost/ \
     --install \
     --namespace apigee \
     --atomic \
     --set envgroup=ENV_GROUP_NAME \
     -f overrides-DATACENTER_NAME.yaml
   

5. Ejecuta el siguiente comando para verificar la configuración del clúster de Cassandra. El resultado debería mostrar los centros de datos nuevos y existentes.
   Advertencia: Si el resultado de este comando no muestra los centros de datos existentes ni los nuevos, la configuración falló. En este caso, no continúes.

   Para solucionar el problema, la instalación híbrida en la región nueva debe borrarse y volver a crearse. Consulta Desinstala el entorno de ejecución de Hybrid. Si la configuración falla, no intentes continuar ni intentar unirte al clúster.

   kubectl exec apigee-cassandra-default-0 -n apigee  \
   -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status

   Ejemplo que muestra una configuración realizada correctamente:

   Datacenter: dc-1
   ====================
   Status=Up/Down
   |/ State=Normal/Leaving/Joining/Moving
   --  Address        Load       Tokens  Owns  Host ID                               Rack
   UN  10.132.87.93   68.07 GiB  256     ?     fb51465c-167a-42f7-98c9-b6eba1de34de  c
   UN  10.132.84.94   69.9 GiB   256     ?     f621a5ac-e7ee-48a9-9a14-73d69477c642  b
   UN  10.132.84.105  76.95 GiB  256     ?     0561086f-e95b-4232-ba6c-ad519ff30336  d
   
   Datacenter: dc-2
   ====================
   Status=Up/Down
   |/ State=Normal/Leaving/Joining/Moving
   --  Address        Load       Tokens  Owns  Host ID                               Rack
   UN  10.132.0.8     71.61 GiB  256     ?     8894a98b-8406-45de-99e2-f404ab10b5d6  c
   UN  10.132.9.204   75.1 GiB   256     ?     afa0ffa3-630b-4f1e-b46f-fc3df988092e  a
   UN  10.132.3.133   68.08 GiB  256     ?     25ae39ab-b39e-4d4f-9cb7-de095ab873db  b

6. Configura Cassandra en todos los Pods de los nuevos centros de datos.
   1. Obtén apigeeorg del clúster con el siguiente comando:

      kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
      

      Por ejemplo:

      Ex: kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
      "rg-hybrid-b7d3b9c"
      

   2. Crea un archivo de recurso personalizado de replicación de datos de Cassandra (YAML). El archivo puede tener cualquier nombre. En los siguientes ejemplos, el archivo tendrá el nombre datareplication.yaml.

      El archivo debe contener la siguiente información:

      apiVersion: apigee.cloud.google.com/v1alpha1
      kind: CassandraDataReplication
      metadata:
      name: REGION_EXPANSION
      namespace: NAMESPACE
      spec:
      organizationRef: APIGEEORG_VALUE
      force: false
      source:
      region: SOURCE_REGION

      Aquí:

      • REGION_EXPANSION es el nombre que le asignas a estos metadatos. Puedes usar cualquier nombre.
      • NAMESPACE es el mismo espacio de nombres que se proporciona en overrides.yaml. Por lo general, es “apigee”.
      • APIGEEORG_VALUE es el valor de salida del comando kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name" en el paso anterior. Por ejemplo: rg-hybrid-b7d3b9c
      • SOURCE_REGION es la región de origen, el valor del centro de datos en la sección Cassandra de la región de origen overrides.yaml.

      Por ejemplo:

      apiVersion: apigee.cloud.google.com/v1alpha1
      kind: CassandraDataReplication
      metadata:
      name: region-expansion
      namespace: apigee
      spec:
      organizationRef: rg-hybrid-b7d3b9c
      force: false
      source:
      region: "dc-1"

   3. Aplica CassandraDataReplication con el siguiente comando:

      kubectl apply -f datareplication.yaml

7. Verifica el estado de recompilación con el siguiente comando.
   Nota: La operación de recompilación puede demorar varias horas según el tamaño de los datos.

   kubectl -n apigee get apigeeds -o json | jq ".items[].status.cassandraDataReplication"

   El resultado debería ser similar a lo siguiente:

   {
   "rebuildDetails": {
   "apigee-cassandra-default-0": {
   "state": "complete",
   "updated": 1623105760
   },
   "apigee-cassandra-default-1": {
   "state": "complete",
   "updated": 1623105765
   },
   "apigee-cassandra-default-2": {
   "state": "complete",
   "updated": 1623105770
   }
   },
   "state": "complete",
   "updated": 1623105770
   }

8. Una vez que se complete y verifique la replicación de datos, actualiza los hosts de origen:
   1. Quita multiRegionSeedHost: 10.0.0.11 de overrides-DATACENTER_NAME.yaml.

   2. Vuelve a aplicar el cambio para actualizar la CR del almacén de datos de Apigee:

      Importante: Omite la marca ‑‑atomic para los clústeres migrados.

      helm upgrade datastore apigee-datastore/ \
        --install \
        --namespace apigee \
        --atomic \
        -f overrides-DATACENTER_NAME.yaml
      

9. Verifica los procesos de recompilación de los registros. Además, verifica el tamaño de los datos con el comando nodetool status.
   Nota: Si la operación de recompilación muestra el estado completado y los registros de procesos de recompilación contienen “Todas las sesiones completadas”, todos los datos se copiaron de forma correcta en la región nueva.

   kubectl logs apigee-cassandra-default-0 -f -n apigee

   kubectl exec apigee-cassandra-default-0 -n apigee  -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status

   Nota: APIGEE_JMX_USER y APIGEE_JMX_PASSWORD se definen en las variables de entorno $APIGEE_JMX_USER y $APIGEE_JMX_PASSWORD.

   El siguiente ejemplo muestra entradas de registro de ejemplo:

   INFO  01:42:24 rebuild from dc: dc-1, (All keyspaces), (All tokens)
   INFO  01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Executing streaming plan for Rebuild
   INFO  01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.1.45
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.1.45
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.4.36
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.432KiB), sending 0 files(0.000KiB)
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.1.45 is complete
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.4.36
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.5.22
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.693KiB), sending 0 files(0.000KiB)
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.4.36 is complete
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.5.22
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 3 files(0.720KiB), sending 0 files(0.000KiB)
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.5.22 is complete
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] All sessions completed

apigeectl

1. En el archivo overrides.yaml de tu clúster original, asegúrate de que cassandra:hostNetwork esté configurado como true. Por ejemplo:

   cassandra:
     hostNetwork: true

   Consulta los Requisitos previos para obtener más información sobre cuándo configurar hostNetwork: true.

2. Si cassandra:hostNetwork no está configurado como true, haz lo siguiente:
   1. Cambia cassandra.hostNetwork a true.
   2. Aplica el archivo de configuración overrides.yaml con el siguiente comando:

        apigeectl apply -f overrides.yaml --datastore
        

   3. Espera a que los Pods de Cassandra completen un reinicio progresivo.

   4. Verifica que el clúster de Cassandra esté en buen estado con los siguientes comandos:

        kubectl exec -it -n apigee apigee-cassandra-default-0 -- /bin/bash
        

        nodetool -u  -pw APIGEE_JMX_PASSWORD status
        

      Asegúrate de que todos los nodos de Cassandra en el resultado estén en estado UN (Up/Normal):

        nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD describecluster
        

      Asegúrate de que no haya nodos inaccesibles en el resultado.

3. Configure el contexto de kubectl en el clúster original antes de recuperar el nombre de origen:

   kubectl config use-context original-cluster-name

4. Ejecuta el siguiente comando kubectl para identificar una dirección de host de origen de Cassandra en la región actual.

   Una dirección de host de origen permite que una instancia regional nueva encuentre el clúster original en el primer startup para obtener la topología del clúster. La dirección del host de origen se designa como el punto de contacto en el clúster.

   kubectl get pods -o wide -n apigee -l app=apigee-cassandra --field-selector status.phase=Running

   NAME                      READY   STATUS      RESTARTS   AGE   IP          NODE                                          NOMINATED NODE
   apigee-cassandra-default-0        1/1     Running     0          5d    10.0.0.11   gke-k8s-dc-2-default-pool-a2206492-p55d
   apigee-cassandra-default-1        1/1     Running     0          5d    10.0.2.4    gke-k8s-dc-2-default-pool-e9daaab3-tjmz
   apigee-cassandra-default-2        1/1     Running     0          5d    10.0.3.5    gke-k8s-dc-2-default-pool-e589awq3-kjch

5. Selecciona la dirección IP de tu host de Cassandra de origen para usar como host de origen multirregión. En este ejemplo, este es el clúster de apigee-cassandra-default-0 en ejecución, el host de origen es 10.0.0.11.
6. En el centro de datos 2, copia tu archivo de anulación a un archivo nuevo cuyo nombre incluya el nombre del clúster. Por ejemplo, overrides_your_cluster_name.yaml.
7. En el centro de datos 2, configura cassandra.multiRegionSeedHost y cassandra.datacenter en overrides_your_cluster_name.yaml, en el que multiRegionSeedHost es una de las IP que muestra el comando anterior:

   cassandra:
        hostNetwork: true
        multiRegionSeedHost: seed_host_IP # Cassandra pod IP address from the source region.
        datacenter: data_center_name
        rack: rack_name
        clusterName: cluster_name # must be the same for all regions

   Por ejemplo:

   cassandra:
     hostNetwork: true
     multiRegionSeedHost: 10.0.0.11
     datacenter: "dc-2"
     rack: "ra-1"
     clusterName: my-apigee-cluster

8. Antes de instalar Hybrid, en el centro de datos o la región nuevos, configura los mismos certificados TLS y las credenciales en overrides_your_cluster_name.yaml que configuraste en la primera región.
   Nota: Asegúrate de usar los mismos certificados y credenciales TLS de Cassandra en el segundo centro de datos, como lo hiciste para el centro de datos original. Las credenciales que establezcas en el archivo de anulación del primer centro de datos deben coincidir con las que especifiques en el archivo de anulación del segundo centro de datos. Si quieres obtener más detalles, consulta Configura TLS para Cassandra.

Configura la región nueva

Después de configurar el host de origen, puedes configurar la región nueva.

Para configurar la región nueva, haz lo siguiente:

1. Copia tu certificado del clúster existente en el clúster nuevo. Cassandra y otros componentes híbridos para mTLS usan la raíz de CA nueva. Por lo tanto, es fundamental tener certificados coherentes en todo el clúster.
   1. Establece el contexto en el espacio de nombres original:

      kubectl config use-context original-cluster-name

   2. Exporta la configuración del espacio de nombres actual a un archivo:

      kubectl get namespace namespace -o yaml > apigee-namespace.yaml

   3. Exporta el Secret apigee-ca a un archivo:

      kubectl -n cert-manager get secret apigee-ca -o yaml > apigee-ca.yaml

   4. Establece el contexto en el nombre del clúster de la región nueva:

      kubectl config use-context new-cluster-name

   5. Importa la configuración del espacio de nombres al clúster nuevo. Asegúrate de actualizar el “espacio de nombres” en el archivo si usas un espacio de nombres diferente en la región nueva:

      kubectl apply -f apigee-namespace.yaml

   6. Importa el secreto al clúster nuevo:

      kubectl -n cert-manager apply -f apigee-ca.yaml

2. Instala Hybrid en la nueva región. Asegúrate de que el archivo overrides_your_cluster_name.yaml incluya los mismos certificados TLS que se configuraron en la primera región, como se explica en la sección anterior.

   Ejecuta los siguientes dos comandos para instalar el servicio híbrido en la región nueva:

   Importante: Cuando expandas Apigee Hybrid a un nuevo centro de datos regional, asegúrate de instalar la misma versión híbrida que tienes en tu centro de datos existente. Evita ejecutar diferentes versiones de Hybrid en varios centros de datos.

   apigeectl init -f overrides_your_cluster_name.yaml

   apigeectl apply -f overrides_your_cluster_name.yaml

3. Ejecuta el siguiente comando para verificar que la instalación híbrida se realice de forma correcta:

   apigeectl check-ready -f overrides_your_cluster_name.yaml

4. Ejecuta el siguiente comando para verificar la configuración del clúster de Cassandra. El resultado debería mostrar los centros de datos nuevos y existentes.
   Advertencia: Si el resultado de este comando no muestra los centros de datos existentes ni los nuevos, la configuración falló. En este caso, no continúes.

   Para solucionar el problema, la instalación híbrida en la región nueva debe borrarse y volver a crearse. Consulta Desinstala el entorno de ejecución de Hybrid. Si la configuración falla, no intentes continuar ni intentar unirte al clúster.

   kubectl exec apigee-cassandra-default-0 -n apigee  \
     -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status

   Ejemplo que muestra una configuración realizada correctamente:

   Datacenter: dc-1
   ====================
   Status=Up/Down
   |/ State=Normal/Leaving/Joining/Moving
   --  Address        Load       Tokens  Owns  Host ID                               Rack
   UN  10.132.87.93   68.07 GiB  256     ?     fb51465c-167a-42f7-98c9-b6eba1de34de  c
   UN  10.132.84.94   69.9 GiB   256     ?     f621a5ac-e7ee-48a9-9a14-73d69477c642  b
   UN  10.132.84.105  76.95 GiB  256     ?     0561086f-e95b-4232-ba6c-ad519ff30336  d
   
   Datacenter: dc-2
   ====================
   Status=Up/Down
   |/ State=Normal/Leaving/Joining/Moving
   --  Address        Load       Tokens  Owns  Host ID                               Rack
   UN  10.132.0.8     71.61 GiB  256     ?     8894a98b-8406-45de-99e2-f404ab10b5d6  c
   UN  10.132.9.204   75.1 GiB   256     ?     afa0ffa3-630b-4f1e-b46f-fc3df988092e  a
   UN  10.132.3.133   68.08 GiB  256     ?     25ae39ab-b39e-4d4f-9cb7-de095ab873db  b

5. Configura Cassandra en todos los Pods de los nuevos centros de datos.
   1. Obtén apigeeorg del clúster con el siguiente comando:

      kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
      

      Por ejemplo:

      Ex: kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
      "rg-hybrid-b7d3b9c"
      

   2. Crea un archivo de recurso personalizado de replicación de datos de Cassandra (YAML). El archivo puede tener cualquier nombre. En los siguientes ejemplos, el archivo tendrá el nombre datareplication.yaml.

      El archivo debe contener la siguiente información:

      apiVersion: apigee.cloud.google.com/v1alpha1
      kind: CassandraDataReplication
      metadata:
        name: REGION_EXPANSION
        namespace: NAMESPACE
      spec:
        organizationRef: APIGEEORG_VALUE
        force: false
        source:
          region: SOURCE_REGION

      Aquí:

      • REGION_EXPANSION es el nombre que le asignas a estos metadatos. Puedes usar cualquier nombre.
      • NAMESPACE es el mismo espacio de nombres que se proporciona en overrides.yaml. Por lo general, es “apigee”.
      • APIGEEORG_VALUE es el valor de salida del comando kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name" en el paso anterior. Por ejemplo: rg-hybrid-b7d3b9c
      • SOURCE_REGION es la región de origen, el valor del centro de datos en la sección Cassandra de la región de origen overrides.yaml.

      Por ejemplo:

      apiVersion: apigee.cloud.google.com/v1alpha1
      kind: CassandraDataReplication
      metadata:
        name: region-expansion
        namespace: apigee
      spec:
        organizationRef: rg-hybrid-b7d3b9c
        force: false
        source:
          region: "dc-1"

   3. Aplica CassandraDataReplication con el siguiente comando:

      kubectl apply -f datareplication.yaml

   4. Verifica el estado de recompilación con el siguiente comando.
      Nota: La operación de recompilación puede demorar varias horas en función del tamaño de los datos.

      kubectl -n apigee get apigeeds -o json | jq ".items[].status.cassandraDataReplication"

      El resultado debería ser similar a lo siguiente:

      {
        "rebuildDetails": {
          "apigee-cassandra-default-0": {
            "state": "complete",
            "updated": 1623105760
          },
          "apigee-cassandra-default-1": {
            "state": "complete",
            "updated": 1623105765
          },
          "apigee-cassandra-default-2": {
            "state": "complete",
            "updated": 1623105770
          }
        },
        "state": "complete",
        "updated": 1623105770
      }

6. Verifica los procesos de recompilación de los registros. Además, verifica el tamaño de los datos mediante el comando nodetool status.
   Nota: Si la operación de recompilación muestra el estado completado y los registros de procesos de recompilación contienen “Todas las sesiones completadas”, todos los datos se copiaron de forma correcta en la región nueva.

   kubectl logs apigee-cassandra-default-0 -f -n apigee

   kubectl exec apigee-cassandra-default-0 -n apigee  -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status

   El siguiente ejemplo muestra entradas de registro de ejemplo:

   INFO  01:42:24 rebuild from dc: dc-1, (All keyspaces), (All tokens)
   INFO  01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Executing streaming plan for Rebuild
   INFO  01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.1.45
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.1.45
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.4.36
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.432KiB), sending 0 files(0.000KiB)
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.1.45 is complete
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.4.36
   INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.5.22
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.693KiB), sending 0 files(0.000KiB)
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.4.36 is complete
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.5.22
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 3 files(0.720KiB), sending 0 files(0.000KiB)
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.5.22 is complete
   INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] All sessions completed

7. Actualiza los hosts de origen. Quita multiRegionSeedHost: 10.0.0.11 de overrides-DC_name.yaml y vuelve a enviar la solicitud.
   Nota: Los hosts de origen son miembros del clúster local. Debes tener un host de origen externo para iniciar una nueva región. Una vez que se inicia una región, debes cambiar los hosts de origen a sus clústeres locales en overrides.yaml y, luego, volver a aplicar la configuración.

   apigeectl apply -f overrides/overrides-DC_name.yaml

Comprueba el estado del clúster de Cassandra

El siguiente comando es útil para ver si la configuración del clúster se realizó de forma correcta en dos centros de datos. El comando comprueba el estado de la herramienta del nodo de las dos regiones.

kubectl exec apigee-cassandra-default-0 -n apigee  -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status


Datacenter: dc-1
=======================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address     Load       Tokens       Owns (effective)  Host ID                               Rack
UN  10.12.1.45  112.09 KiB  256          100.0%            3c98c816-3f4d-48f0-9717-03d0c998637f  ra-1
UN  10.12.4.36  95.27 KiB  256          100.0%            0a36383d-1d9e-41e2-924c-7b62be12d6cc  ra-1
UN  10.12.5.22  88.7 KiB   256          100.0%            3561f4fa-af3d-4ea4-93b2-79ac7e938201  ra-1
Datacenter: us-west1
====================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address     Load       Tokens       Owns (effective)  Host ID                               Rack
UN  10.0.4.33   78.69 KiB  256          100.0%              a200217d-260b-45cd-b83c-182b27ff4c99  ra-1
UN  10.0.0.21   78.68 KiB  256          100.0%              9f3364b9-a7a1-409c-9356-b7d1d312e52b  ra-1
UN  10.0.1.26   15.46 KiB  256          100.0%              1666df0f-702e-4c5b-8b6e-086d0f2e47fa  ra-1

Soluciona problemas

Consulta Fallos en la replicación de datos de Cassandra.