Configurar redes a gran escala para entornos de Cloud Composer

Cloud Composer 1 | Cloud Composer 2

En esta sección, se explica cómo organizar redes a gran escala para entornos de Cloud Composer.

Cuotas para reglas de VPC, subred y reenvío

Los servicios de Cloud Composer y GKE usan intercambios de tráfico de VPC para establecer conexiones entre los componentes de los entornos de Cloud Composer (proyecto de cliente y proyecto de usuario) y entre un clúster de GKE y un plano de control de GKE.

Si tu proyecto tiene una configuración de red a gran escala, como con cientos de redes y muchos intercambios de tráfico de VPC configurados, cuando intentas crear nuevos entornos de Cloud Composer, las operaciones pueden fallar debido a Errores de cuota de reglas de reenvío, subredes o VPC.

Los errores que puedes encontrar son los siguientes:

  • Se alcanza la cantidad máxima de intercambios de tráfico de VPC por red de VPC.

    La cuota predeterminada para una cantidad de intercambios de tráfico de VPC dentro de una VPC es de 25 (a menos que solicites un aumento de esta cuota).

  • Se alcanza la cantidad máxima de rangos de IP de subred principales y secundarios.

    La cuota para este parámetro es de 400.

  • Se alcanza la cantidad máxima de reglas de reenvío en el grupo de intercambio de tráfico para el balanceo de cargas TCP/UDP interno.

    La cuota para este parámetro es de 175.

Si deseas obtener más información sobre las cuotas predeterminadas para las VPC en Google Cloud, consulta Cuotas y límites.

Acerca de las redes a gran escala para entornos de Cloud Composer

Para superar los desafíos relacionados con estos límites, puedes organizar tus entornos de Cloud Composer en varias redes de VPC conectadas a tu VPC principal/troncal como se describe en las siguientes secciones.

Esta solución se aplica a las situaciones de VPC compartida y no compartida.

Configuración de red a gran escala en una situación de VPC no compartida

Configuración de red a gran escala en una situación de VPC no compartida

A fin de crear una configuración de red a gran escala para Cloud Composer, sigue estos pasos:

  1. Crea una red de VPC troncal. Esta red actúa como un concentrador para redes de VPC individuales que alojan entornos de Cloud Composer.

  2. Crea redes de VPC dedicadas para los entornos de Cloud Composer. Puedes combinar varios entornos de Cloud Composer en una red de VPC. Por ejemplo, puedes nombrar a estas redes composer-vpc-1, composer-vpc-2, etcétera.

  3. Establece la conectividad entre las redes de VPC del entorno de Cloud Composer y la VPC troncal mediante la creación de túneles VPN con alta disponibilidad.

Configuración de red a gran escala en una situación de VPC compartida

Para resolver el problema de límites de intercambio de tráfico entre redes en una red de VPC compartida, organiza tus entornos de Cloud Composer en varios proyectos y redes de VPC conectadas a una VPC troncal.

Configuración de red a gran escala en una situación de VPC compartida

A fin de crear una configuración de red de VPC compartida a gran escala para Cloud Composer, sigue estos pasos:

  1. En el proyecto host, crea una red de VPC troncal. Esta red conecta las redes de VPC individuales para los proyectos de servicio que ejecutan entornos de Cloud Composer.

  2. En el proyecto host, crea redes de VPC para entornos de Cloud Composer. Por ejemplo, puedes nombrar a estas redes composer-shared-vpc-1, composer-shared-vpc-2, etcétera.

  3. Establece la conectividad entre estas redes de VPC y la red troncal de VPC mediante la creación de túneles VPN con alta disponibilidad de forma manual.

  4. Configura los entornos de Cloud Composer en la configuración de la VPC compartida.

¿Qué sigue?