Configurar herramientas de redes de IP privada

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

En esta página, se proporciona información sobre cómo configurar las herramientas de redes de tu proyecto de Google Cloud para entornos de IP privada.

Para entornos de IP privada, Cloud Composer solo asigna direcciones IP privadas (RFC 1918) a las VM administradas de Google Kubernetes Engine y Cloud SQL en tu entorno.

Como opción, también puedes usar direcciones IP públicas usadas de forma privada y el agente de enmascaramiento de IP para guardar el espacio de direcciones IP y usar direcciones que no sean RFC 1918.

Para obtener información sobre cómo conectarse a los recursos de tu entorno, consulta IP privada.

Entornos con intercambios de tráfico entre VPC y Private Service Connect

De forma predeterminada, Cloud Composer 2 usa Private Service Connect para que los entornos de IP privadas se comuniquen de forma interna sin el uso de intercambios de tráfico de VPC, a menos que especifiques lo contrario cuando creas el entorno.

Recomendamos usar entornos con Private Service Connect si no tienes un requisito específico para usar entornos con intercambio de tráfico entre VPC.

Antes de comenzar

Asegúrate de tener los permisos de cuenta de servicio y usuario adecuados para crear un entorno.

Verifica los requisitos de red

Verifica que la red de VPC de tu proyecto cumpla con los siguientes requisitos:

  • Asegúrate de que no haya conflictos de bloqueo de IP privada. Si tu red de VPC y los intercambios de tráfico de VPC establecidos tienen bloques de IP superpuestos con la red de VPC en el proyecto de inquilino administrado por Google, Cloud Composer no podrá crear tu entorno. Consulta la tabla de rangos de IP predeterminados para conocer los valores predeterminados que se usan en cada región.

  • Asegúrate de que haya suficientes rangos de IP secundarias para los pods y los servicios de GKE de Cloud Composer. GKE busca rangos de IP secundarias para el alias de IP. Si GKE no puede encontrar un rango, Cloud Composer no podrá crear tu entorno.

  • Asegúrate de que la cantidad de rangos secundarios en tu subred no sea superior a 30. Ten en cuenta lo siguiente:

    • El clúster de GKE para tu entorno de IP privada crea dos rangos secundarios en la subred. Puedes crear varias subredes en la misma región para la misma red de VPC.
    • La cantidad máxima de rangos secundarios admitidos es 30. Cada entorno de IP privada requiere dos rangos secundarios para los pods y servicios de GKE de Cloud Composer.

  • Asegúrate de que la red de tu proyecto pueda admitir el límite de la cantidad máxima de conexiones a una sola red de VPC. La cantidad máxima de entornos de IP privada que puedes crear depende de la cantidad de conexiones de intercambio de tráfico de VPC existentes en tu red de VPC.

Elige una red, subred y rangos de red

Elige los rangos de red para tu entorno de IP privada (o usa los predeterminados). Usarás estos rangos de red más adelante cuando crees un entorno de IP privada.

Para crear un entorno de IP privada, debes tener la siguiente información:

  • El ID de tu red de VPC
  • El ID de tu subred de VPC
  • Dos rangos de IP secundarios en la subred de VPC:
    • Rango de IP secundario para Pods
    • Rango de IP secundario para servicios

  • Rangos de IP para los componentes del entorno:

    Si tu entorno usa Private Service Connect, haz lo siguiente:

    • Rango de IP del plano de control de GKE. Es el rango de IP para el plano de control de GKE.
    • Subred de conexión de Cloud Composer. Es el rango de IP para la subred de conexión de Cloud Composer. Puedes especificar un rango de solo una dirección IP. Varios entornos de tu proyecto pueden usar este rango.

    Si tu entorno usa intercambios de tráfico de VPC, haz lo siguiente:

    • Rango de IP del plano de control de GKE. Es el rango de IP para el plano de control de GKE.
    • Rango de IP para la red de usuarios de Cloud Composer. Rango de IP para la red de usuario de Cloud Composer. Esta red aloja el componente del proxy de SQL de tu entorno.

    • Rango de IP de Cloud SQL Es el rango de IP para la instancia de Cloud SQL.

Consulta la tabla de rangos de IP predeterminados para conocer los valores predeterminados que se usan en cada región.

Rangos de IP predeterminados

Entornos con Private Service Connect

Región Rango de IP del plano de control de GKE
africa-south1 172.16.64.0/23
asia-east1 172.16.42.0/23
asia-east2 172.16.0.0/23
asia-northeast1 172.16.2.0/23
asia-northeast2 172.16.32.0/23
asia-northeast3 172.16.30.0/23
asia-south1 172.16.4.0/23
asia-south2 172.16.50.0/23
asia-southeast1 172.16.40.0/23
asia-southeast2 172.16.44.0/23
australia-southeast1 172.16.6.0/23
australia-southeast2 172.16.56.0/23
europe-central2 172.16.36.0/23
europe-north1 172.16.48.0/23
europe-southwest1 172.16.58.0/23
europe-west1 172.16.8.0/23
europe-west10 172.16.62.0/23
europe-west12 172.16.62.0/23
europe-west2 172.16.10.0/23
europe-west3 172.16.12.0/23
europe-west4 172.16.42.0/23
europe-west6 172.16.14.0/23
europe-west8 172.16.60.0/23
europe-west9 172.16.46.0/23
me-central1 172.16.58.0/23
me-west1 172.16.54.0/23
northamerica-northeast1 172.16.16.0/23
northamerica-northeast2 172.16.46.0/23
southamerica-east1 172.16.18.0/23
southamerica-west1 172.16.58.0/23
us-central1 172.16.20.0/23
us-east1 172.16.22.0/23
us-east4 172.16.24.0/23
us-east5 172.16.52.0/23
us-south1 172.16.56.0/23
us-west1 172.16.38.0/23
us-west2 172.16.34.0/23
us-west3 172.16.26.0/23
us-west4 172.16.28.0/23

Entornos con intercambios de tráfico entre VPC

Región Rango de IP del plano de control de GKE Rango de IP de la red de usuarios de Cloud Composer Rango de IP de Cloud SQL
africa-south1 172.16.64.0/23 172.31.223.0/24 10.0.0.0/12
asia-east1 172.16.42.0/23 172.31.255.0/24 10.0.0.0/12
asia-east2 172.16.0.0/23 172.31.255.0/24 10.0.0.0/12
asia-northeast1 172.16.2.0/23 172.31.254.0/24 10.0.0.0/12
asia-northeast2 172.16.32.0/23 172.31.239.0/24 10.0.0.0/12
asia-northeast3 172.16.30.0/23 172.31.240.0/24 10.0.0.0/12
asia-south1 172.16.4.0/23 172.31.253.0/24 10.0.0.0/12
asia-south2 172.16.50.0/23 172.31.230.0/24 10.0.0.0/12
asia-southeast1 172.16.40.0/23 172.31.235.0/24 10.0.0.0/12
asia-southeast2 172.16.44.0/23 172.31.233.0/24 10.0.0.0/12
australia-southeast1 172.16.6.0/23 172.31.252.0/24 10.0.0.0/12
australia-southeast2 172.16.56.0/23 172.31.227.0/24 10.0.0.0/12
europe-central2 172.16.36.0/23 172.31.237.0/24 10.0.0.0/12
europe-north1 172.16.48.0/23 172.31.231.0/24 10.0.0.0/12
europe-southwest1 172.16.58.0/23 172.31.226.0/24 10.0.0.0/12
europe-west1 172.16.8.0/23 172.31.251.0/24 10.0.0.0/12
europe-west10 172.16.62.0/23 172.31.224.0/24 10.0.0.0/12
europe-west12 172.16.62.0/23 172.31.224.0/24 10.0.0.0/12
europe-west2 172.16.10.0/23 172.31.250.0/24 10.0.0.0/12
europe-west3 172.16.12.0/23 172.31.249.0/24 10.0.0.0/12
europe-west4 172.16.42.0/23 172.31.234.0/24 10.0.0.0/12
europe-west6 172.16.14.0/23 172.31.248.0/24 10.0.0.0/12
europe-west8 172.16.60.0/23 172.31.225.0/24 10.0.0.0/12
europe-west9 172.16.46.0/23 172.31.232.0/24 10.0.0.0/12
me-central1 172.16.58.0/23 172.31.226.0/24 10.0.0.0/12
me-west1 172.16.54.0/23 172.31.228.0/24 10.0.0.0/12
northamerica-northeast1 172.16.16.0/23 172.31.247.0/24 10.0.0.0/12
northamerica-northeast2 172.16.46.0/23 172.31.232.0/24 10.0.0.0/12
southamerica-east1 172.16.18.0/23 172.31.246.0/24 10.0.0.0/12
southamerica-west1 172.16.58.0/23 172.31.226.0/24 10.0.0.0/12
us-central1 172.16.20.0/23 172.31.245.0/24 10.0.0.0/12
us-east1 172.16.22.0/23 172.31.244.0/24 10.0.0.0/12
us-east4 172.16.24.0/23 172.31.243.0/24 10.0.0.0/12
us-east5 172.16.52.0/23 172.31.229.0/24 10.0.0.0/12
us-south1 172.16.56.0/23 172.31.227.0/24 10.0.0.0/12
us-west1 172.16.38.0/23 172.31.236.0/24 10.0.0.0/12
us-west2 172.16.34.0/23 172.31.238.0/24 10.0.0.0/12
us-west3 172.16.26.0/23 172.31.242.0/24 10.0.0.0/12
us-west4 172.16.28.0/23 172.31.241.0/24 10.0.0.0/12

(Opcional) Configura la conectividad a los servicios y las APIs de Google

Como opción, es posible que desees enrutar todo el tráfico a los servicios y las API de Google a través de varias direcciones IP que pertenezcan al dominio private.googleapis.com. En esta configuración, el entorno accede a las APIs y los servicios de Google a través de direcciones IP que solo se pueden enrutar desde Google Cloud.

Si tu entorno de IP privada también usa los Controles del servicio de VPC, usa las instrucciones para entornos con Controles del servicio de VPC en su lugar.

Los entornos de Cloud Composer usan los siguientes dominios:

  • *.googleapis.com se usa para acceder a otros servicios de Google.

  • *.composer.cloud.google.com se usa para hacer que el servidor web de Airflow de tu entorno sea accesible. Esta regla debe aplicarse antes de crear un entorno.

    • Como alternativa, puedes crear una regla para una región específica. Para hacerlo, usa REGION.composer.cloud.google.com. Reemplaza REGION por la región en la que se encuentra el entorno, por ejemplo, us-central1.

  • (Opcional) Se usa *.composer.googleusercontent.com cuando se accede al servidor web de Airflow de tu entorno. Esta regla solo es necesaria si accedes al servidor web de Airflow desde una instancia que se ejecuta en la red de VPC y no se requiere de otra manera. Una situación común para esta regla es cuando deseas llamar a la API de REST de Airflow desde la red de VPC.

    • Como alternativa, puedes crear una regla para un entorno específico. Para hacerlo, usa ENVIRONMENT_WEB_SERVER_NAME.composer.googleusercontent.com. Reemplaza ENVIRONMENT_WEB_SERVER_NAME por la parte única de la URL de la IU de Airflow de tu entorno, por ejemplo, bffe6ce6c4304c55acca0e57be23128c-dot-us-central1.

  • *.pkg.dev se usa para obtener imágenes de entorno, como cuando se crea o actualiza un entorno.

  • *.gcr.io GKE requiere conectividad al dominio de Container Registry, sin importar la versión de Cloud Composer.

Configura la conectividad con el extremo private.googleapis.com.

Dominio Nombre de DNS Registro CNAME Registro A
*.googleapis.com googleapis.com. Nombre de DNS: *.googleapis.com.
Tipo de registro de recursos: CNAME
Nombre canónico: googleapis.com.
 Tipo de registro de recursos: A
Direcciones IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
*.composer.cloud.google.com composer.cloud.google.com. Nombre de DNS: *.composer.cloud.google.com.
Tipo de registro de recursos: CNAME
Nombre canónico: composer.cloud.google.com.
 Tipo de registro de recursos: A
Direcciones IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
*.composer.googleusercontent.com
(opcional, ver descripción) 		composer.googleusercontent.com. Nombre de DNS: *.composer.googleusercontent.com.
Tipo de registro de recursos: CNAME
Nombre canónico: composer.googleusercontent.com.
 Tipo de registro de recursos: A
Direcciones IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
*.pkg.dev pkg.dev. Nombre de DNS: *.pkg.dev.
Tipo de registro de recursos: CNAME
Nombre canónico: pkg.dev.
 Tipo de registro de recursos: A
Direcciones IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
*.gcr.io gcr.io. Nombre de DNS: *.gcr.io.
Tipo de registro de recursos: CNAME
Nombre canónico: gcr.io.
 Tipo de registro de recursos: A
Direcciones IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11

Para crear una regla de DNS, sigue estos pasos:

  1. Crea una zona del DNS nueva y usa el nombre de DNS como el nombre de DNS de esta zona.

    Ejemplo: pkg.dev.

  2. Agrega un conjunto de registros para Registro CNAME.

    Ejemplo:

    • Nombre de DNS: *.pkg.dev.
    • Tipo de registro de recursos: CNAME
    • Nombre canónico: pkg.dev.

  3. Agrega un conjunto de registros con A Record:

    Ejemplo:

    • Tipo de registro de recursos: A
    • Direcciones IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11

Para obtener más información, consulta Configura una conectividad privada a los servicios y las API de Google.

(Opcional) Configura reglas de firewall

Realiza este paso solo si tu proyecto tiene reglas de firewall no predeterminadas, como reglas que anulan las reglas de firewall implícitas o modifican reglas prepropagadas en la red predeterminada.

Por ejemplo, Cloud Composer podría no crear un entorno si tienes una regla de firewall que rechaza todo el tráfico de salida. Para evitar problemas, define reglas allow selectivas que sigan la lista y tengan mayor prioridad que la regla deny global.

Configura tu red de VPC para permitir el tráfico desde tu entorno:

Descripción Dirección Acción Origen o destino Protocolos Puertos
DNS Salida Permitir Cualquier destino (0.0.0.0/0) o dirección IP de servidor DNS TCP, UDP 53
Servicios y APIs de Google Salida Permitir Rango de direcciones IP del dominio que elegiste para las APIs y los servicios de Google. Consulta Direcciones IP para dominios predeterminados si usas valores predeterminados. TCP 443
Nodos de clúster del entorno Salida Permitir Rango de direcciones IP principal de la subred del entorno TCP, UDP todos
Pods del clúster del entorno Salida Permitir Rango de direcciones IP secundario para Pods en la subred del entorno TCP, UDP todos
Plano de control del clúster del entorno Salida Permitir Rango de IP del plano de control de GKE TCP, UDP todos
(Si tu entorno usa Private Service Connect) Subred de conexión Salida Permitir Rango de subred de conexión de Cloud Composer TCP 3306 y 3307
(Si tu entorno usa intercambios de tráfico de VPC) Red de usuario Salida Permitir Rango de IP de la red de usuarios de Cloud Composer TCP 3306 y 3307

Para obtener rangos de IP, haz lo siguiente:

  • Los rangos de direcciones de pods, servicios y planos de control están disponibles en la página Clústeres del clúster de tu entorno:

    1. En la consola de Google Cloud, ve a la página Entornos.

      Ir a Entornos

    2. En la lista de entornos, haz clic en el nombre de tu entorno. Se abrirá la página Detalles del entorno.

    3. Ve a la pestaña Configuración del entorno.

    4. Sigue el vínculo para ver detalles del clúster.

  • Puedes ver el rango de IP de la red del usuario de Cloud Composer del entorno en la pestaña Configuración del entorno.

  • Puedes ver el ID de la subred del entorno y el ID de la subred de conexión de Cloud Composer en la pestaña Configuración del entorno. Para obtener los rangos de IP de una subred, ve a la página Redes de VPC y haz clic en el nombre de la red para ver los detalles:

    Ir a Redes de VPC

Establecer la configuración del servidor proxy

Puedes configurar las variables de entorno HTTP_PROXY y HTTPS_PROXY en tu entorno. Los clientes web que se ejecutan en contenedores del clúster de tu entorno usan estas variables estándar de Linux para enrutar el tráfico a través de los proxies especificados.

La variable NO_PROXY se establece de forma predeterminada en una lista de dominios de Google para que se excluyan del proxy: .google.com,.googleapis.com,metadata.google.internal. Esta configuración permite crear un entorno con las variables de entorno HTTP_PROXY y HTTPS_PROXY configuradas en los casos en que el proxy no esté configurado para controlar el tráfico a los servicios de Google.