Entorno de IP privada de Cloud Composer

En esta página, se proporciona información sobre el uso de un entorno privado de IP Cloud Composer.

Cuando habilitas una IP privada, Cloud Composer solo asigna direcciones IP privadas (RFC 1918) a las VM administradas de Google Kubernetes Engine y Cloud SQL en tu entorno, lo que no genera acceso entrante a esas VM administradas desde Internet pública.

De forma predeterminada, los flujos de trabajo de Cloud Composer no tienen acceso saliente a Internet. El acceso a las API y los servicios de Google Cloud no se ve afectado por el enrutamiento a través de la red privada de Google. En las siguientes secciones, se describen las funciones que habilitan un entorno de IP privada de Cloud Composer y las opciones de configuración.

Clúster de GKE nativo de la VPC

Cuando creas un entorno, Cloud Composer distribuye los recursos de tu entorno entre un proyecto de usuario administrado por Google y el proyecto de cliente.

Cuando habilitas un entorno de IP privada de Cloud Composer, Cloud Composer crea un clúster de GKE nativo de VPC para tu entorno en el proyecto de cliente. Los clústeres nativos de la VPC usan el enrutamiento de IP de alias integrado en la red de VPC, lo que permite que la VPC administre el enrutamiento para pods. Cuando usas clústeres nativos de la VPC, GKE elige automáticamente un rango secundario. Para requisitos específicos de redes, también puedes configurar los rangos secundarios para tus pods y servicios de GKE durante la creación del entorno.

Entorno de IP privada de Cloud Composer

Puedes habilitar un entorno de IP privada de Cloud Composer cuando creas un entorno. El uso de IP privada significa que las VM de GKE y Cloud SQL de tu entorno no tienen asignadas direcciones IP públicas y solo se comunican a través de la red interna de Google.

Cuando creas un entorno de IP privada de Cloud Composer, el clúster de GKE para tu entorno se configura como un clúster privado y la instancia de Cloud SQL configurada para IP privada. Cloud Composer también crea una conexión de intercambio de tráfico entre la red de VPC de tu proyecto de cliente y la red de VPC de tu proyecto de usuario.

Con el intercambio de tráfico entre VPC y la IP privada habilitadas para tu entorno, el tráfico IP entre el clúster de GKE de tu entorno y la base de datos de Cloud SQL es privado (en la conexión de intercambio de tráfico de VPC), lo que aísla tus flujos de trabajo de Internet pública.

Esta capa adicional de seguridad afecta la forma en que te conectas a estos recursos y cómo tu entorno accede a los recursos externos. El uso de una IP privada no afecta la forma en que accedes a Cloud Storage o a tu servidor web de Airflow a través de la IP pública.

Clúster de GKE

El uso de un clúster de GKE privado te permite controlar el acceso al extremo principal del clúster (los nodos del clúster no tienen direcciones IP públicas).

Cuando creas un entorno de IP privada de Cloud Composer, debes especificar si el acceso al extremo principal es público y su rango de IP. El rango de IP principal no debe superponerse con ninguna subred en tu red de VPC.

Opción Descripción
Acceso al extremo público inhabilitado Para conectarte al clúster, debes conectarte desde una VM en la misma región y red de VPC del entorno de IP privada de Cloud Composer.

La instancia de VM desde la que te conectas requiere el permiso de acceso: Permitir el acceso total a todas las API de Cloud.

Desde esa VM, puedes ejecutar comandos de Airflow con el comando gcloud composer environments run.
Acceso al extremo público habilitado, redes autorizadas de instancia principal habilitadas En esta configuración, los nodos del clúster se comunican con el principal por la red privada de Google. Los nodos pueden acceder a los recursos en tu entorno de Cloud Composer y a las redes autorizadas. Puedes agregar redes autorizadas en GKE.

En redes autorizadas, puedes realizar estas acciones:
  • Ejecutar los comandos de Airflow con el comando gcloud composer environments run
  • Establecer una conexión SSH con la instancia principal
  • Ejecutar comandos kubectl

Cloud SQL

Debido a que la instancia de Cloud SQL no tiene una dirección IP pública, el tráfico de Cloud SQL dentro de tu entorno de IP privada de Cloud Composer no está expuesto a Internet pública. Cloud Composer configura Cloud SQL para que acepte conexiones entrantes mediante el acceso privado al servicio. Puedes acceder a la instancia de Cloud SQL en tu red de VPC mediante su dirección IP privada.

Acceso público a Internet para tus flujos de trabajo

Los operadores y las operaciones que requieren acceso a recursos en redes no autorizadas o en Internet pública pueden fallar. Por ejemplo, la operación de Python para Dataflow requiere una conexión a Internet pública a fin de descargar Apache Beam desde pip.

Permitir que las VM sin direcciones IP externas y clústeres privados de GKE se conecten a Internet requiere Cloud NAT.

Para usar Cloud NAT, debes crear una configuración de NAT con Cloud Router para la red de VPC y la región en la que se encuentra tu entorno de IP privada de Cloud Composer.

Qué sigue