Conecta un entorno a una red de VPC

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

En esta página, se explica cómo tu entorno puede acceder a una red de VPC en Cloud Composer 3, se proporcionan instrucciones para conectar un entorno a una red de VPC y se describe cómo inhabilitar una conexión configurada con anterioridad.

Información acerca del acceso a la red de VPC

En Cloud Composer 3, puedes habilitar el acceso a una red de VPC para un entorno.

Si habilitas el acceso a una red de VPC para un entorno, ten en cuenta lo siguiente:

  • Los componentes de Airflow del entorno pueden acceder a los extremos de red privada en tu red de VPC. Por ejemplo, tu código DAG puede acceder a los recursos ubicados en tu red de VPC a través de una conexión de Airflow configurada.

  • Si tu entorno usa redes de IP privadas, todo el tráfico interno, excepto el tráfico a la API de Google Services, se enruta a la red de VPC.

  • Según cómo configures tu red de VPC, un entorno de IP privada puede obtener acceso a Internet a través de tu red de VPC.

  • Sin importar el estado de acceso a la red de VPC, el acceso a las APIs de servicios de Google siempre es posible.

  • Las zonas de DNS privadas definidas en tu red de VPC están disponibles de forma automática para los componentes de Airflow de tu entorno.

  • El entorno reserva dos direcciones IP en tu subred de VPC.

Cloud Composer usa un adjunto de red para conectar tu entorno a una red de VPC:

  • Si especificas una red de VPC y una subred, Cloud Composer crea un nuevo adjunto de red en tu proyecto. Este adjunto se borra después de que borras un entorno, inhabilitas la conexión a una red de VPC o reemplazas los parámetros de conexión de VPC.

  • Si especificas un adjunto de red existente, este debe estar ubicado en el mismo proyecto que el entorno. Este adjunto no se borra después de borrar un entorno, inhabilitar la conexión o reemplazar los parámetros de conexión de VPC.

  • En las redes de VPC compartida:

    • Asegúrate de haber configurado las redes de VPC compartida para Cloud Composer. Consulta Configura una VPC compartida si deseas obtener información sobre la configuración de proyectos y permisos para Cloud Composer.

    • Después de configurar la red de VPC compartida, puedes conectar tu entorno a una red de VPC desde el proyecto host. Si usas un adjunto de red existente, este debe crearse en el proyecto de servicio (en el que se encuentra el entorno) y conectarse a una red de VPC compartida.

Acerca del rango de IP internas del entorno

Los entornos de Cloud Composer 3 requieren varias direcciones IP para sus componentes que se ejecutan en el proyecto de usuario, como el clúster de tu entorno y el proxy de Cloud SQL. Estas direcciones IP se toman del rango de IP internas del entorno.

  • El rango de IP internas predeterminado es 100.64.128.0/20.

  • Puedes especificar un rango de IP internas diferente cuando creas un entorno. Este rango debe usar una máscara /20.

  • No puedes cambiar el rango de IP internas de un entorno existente.

El rango de IP internas interactúa con tu red de VPC de las siguientes maneras:

  • El rango de IP internas no debe entrar en conflicto con la subred de VPC a la que está conectado el entorno de Cloud Composer. No es posible habilitar una conexión con una subred de VPC que se superponga con el rango de IP internas.

  • Si el rango de IP internas de un entorno se superpone con tus rangos de red de VPC, no se podrá acceder desde el entorno a los extremos de tu red de VPC que tengan direcciones IP superpuestas.

    Por ejemplo, si el rango interno es 100.64.128.0/20, cualquier solicitud al extremo 100.64.128.1 en tu red de VPC fallará porque la solicitud no sale del proyecto de usuario.

  • El rango de IP internas no está reservado. Puedes usar el mismo rango de IP internas para varios entornos sin ninguna configuración adicional porque las redes de VPC internas que usan los diferentes entornos están separadas.

  • Puedes usar las direcciones IP de rango interno para otros fines, siempre que los DAG y las tareas de tu entorno no les realicen solicitudes.

Conectarse a una red de VPC

Consola

  1. En la consola de Google Cloud, ve a la página Entornos.

    Ir a Entornos

  2. En la lista de entornos, haz clic en el nombre de tu entorno. Se abrirá la página Detalles del entorno.

  3. Ve a la pestaña Configuración del entorno.

  4. En la sección Configuración de red, busca el elemento Adjunto de red y haz clic en Editar.

  5. En el cuadro de diálogo Adjunto de red, haz lo siguiente:

    • Para crear un nuevo adjunto de red, en la lista Adjunto de red, selecciona Crear un nuevo adjunto de red. En las listas Red y Subred, selecciona una red de VPC y una subred.

    • Para usar un adjunto de red existente, selecciona un adjunto en la lista Adjunto de red.

  6. Haz clic en Guardar.

gcloud

Los siguientes argumentos de Google Cloud CLI especifican los parámetros de conexión de red de VPC:

  • --network: Es el ID de la red de VPC.
  • --subnetwork: Es el ID de la subred de VPC.
  • --network-attachment: Usa un adjunto de red existente en su lugar.

Nuevo adjunto de red

Para conectar tu entorno a una red de VPC a través de un nuevo adjunto de red, ejecuta el siguiente comando de Google Cloud CLI:

gcloud beta composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --network NETWORK_ID \
  --subnetwork SUBNETWORK_ID

Reemplaza lo siguiente:

  • ENVIRONMENT_NAME: Es el nombre del entorno.
  • LOCATION: Es la región en la que se encuentra el entorno.
  • NETWORK_ID: ID de la red de VPC
  • SUBNETWORK_ID: ID de subred de VPC

Ejemplo:

gcloud beta composer environments update example-environment \
  --location us-central1 \
  --network projects/example-project/global/networks/example-network \
  --subnetwork projects/example-project/regions/us-central1/subnetworks/example-subnetwork

Adjunto de red existente

Para conectar tu entorno a una red de VPC a través de un nuevo adjunto de red, ejecuta el siguiente comando de Google Cloud CLI:

gcloud beta composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --network-attachment NETWORK_ATTACHMENT_ID

Reemplaza lo siguiente:

  • ENVIRONMENT_NAME: Es el nombre del entorno.
  • LOCATION: Es la región en la que se encuentra el entorno.
  • NETWORK_ATTACHMENT_ID: Es el adjunto de red en formato projects/{project}/regions/{region}/networkAttachments/{networkAttachment}.

Ejemplo:

gcloud beta composer environments update example-environment \
  --location us-central1 \
  --network-attachment projects/example-project/regions/us-central1/networkAttachments/example-network-attachment

API

  1. Crea una solicitud a la API de environments.patch.

  2. En esta solicitud, realiza lo siguiente:

    • Para crear un nuevo adjunto de red, haz lo siguiente:

      1. En el parámetro updateMask, especifica la máscara config.node_config.network,config.node_config.subnetwork.

      2. En el cuerpo de la solicitud, en los campos network y subnetwork, especifica los IDs de la red de VPC y de la subred.

    • Para usar un adjunto de red existente:

      1. En el parámetro updateMask, especifica la máscara config.node_config.composer_network_attachment.

      2. En el cuerpo de la solicitud, proporciona un valor para el adjunto de red existente en el formato projects/{project}/regions/{region}/networkAttachments/{networkAttachment}.

Ejemplo (nuevo adjunto de red):

// PATCH https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.node_config.network,config.node_config.subnetwork

"config": {
  "nodeConfig": {
    "network": "projects/example-project/global/networks/example-network",
    "subnetwork": "projects/example-project/regions/us-central1/subnetworks/example-subnetwork"
  }
}

Ejemplo (adjunto de red existente):

// PATCH https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.node_config.composer_network_attachment

"config": {
  "nodeConfig": {
    "composerNetworkAttachment": "projects/example-project/regions/us-central1/networkAttachments/example-network-attachment"
  }
}

Terraform

En los siguientes campos del bloque node_config, se especifican los parámetros de conexión de la red de VPC:

  • network: Es el ID de la red de VPC.
  • subnetwork: Es el ID de la subred de VPC.
  • composer_network_attachment: Usa un adjunto de red existente en su lugar.

Nuevo adjunto de red

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    node_config {
      network = NETWORK_ID
      subnetwork = SUBNETWORK_ID
    }

  }
}

Reemplaza lo siguiente:

  • ENVIRONMENT_NAME: Es el nombre de tu entorno.
  • LOCATION: Es la región en la que se encuentra el entorno.
  • NETWORK_ID: ID de la red de VPC
  • SUBNETWORK_ID: ID de subred de VPC

Ejemplo (nuevo adjunto de red):

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    node_config {
      network = "projects/example-project/global/networks/example-network"
      subnetwork = "projects/example-project/regions/us-central1/subnetworks/example-subnetwork"
    }

    ... other configuration parameters
  }
}

Adjunto de red existente

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    node_config {
      composer_network_attachment = NETWORK_ATTACHMENT_ID
    }

  }
}

Reemplaza lo siguiente:

  • ENVIRONMENT_NAME: Es el nombre de tu entorno.
  • LOCATION: Es la región en la que se encuentra el entorno.
  • NETWORK_ATTACHMENT_ID: Es el ID del adjunto de red.

Ejemplo (adjunto de red existente):

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    node_config {
      composer_network_attachment = projects/example-project/regions/us-central1/networkAttachments/example-network-attachment
    }

    ... other configuration parameters
  }
}

Inhabilita la conexión a una red de VPC

Consola

  1. En la consola de Google Cloud, ve a la página Entornos.

    Ir a Entornos

  2. En la lista de entornos, haz clic en el nombre de tu entorno. Se abrirá la página Detalles del entorno.

  3. Ve a la pestaña Configuración del entorno.

  4. En la sección Configuración de red, busca el elemento Adjunto de red y haz clic en Editar.

  5. En el diálogo Adjunto de red, selecciona Ninguno y haz clic en Guardar.

gcloud

Los argumentos --disable-vpc-connectivity inhabilitan la conexión de red de VPC de tu entorno:

gcloud beta composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --disable-vpc-connectivity

Reemplaza lo siguiente:

  • ENVIRONMENT_NAME: Es el nombre del entorno.
  • LOCATION: Es la región en la que se encuentra el entorno.

Ejemplo:

gcloud beta composer environments update example-environment \
  --location us-central1 \
  --disable-vpc-connectivity

API

  1. Crea una solicitud a la API de environments.patch.

  2. En esta solicitud, realiza lo siguiente:

    1. En el parámetro updateMask, especifica la máscara config.node_config.network,config.node_config.subnetwork.

    2. En el cuerpo de la solicitud, en los campos network y subnetwork, especifica valores vacíos.

Ejemplo:

// PATCH https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.node_config.network,config.node_config.subnetwork

"config": {
  "nodeConfig": {
    "network": "",
    "subnetwork": ""
  }
}

Terraform

No es posible desconectar una red de VPC con Terraform. En su lugar, puedes adjuntar una red de VPC diferente o desconectar la red con otras herramientas, como Google Cloud CLI.

¿Qué sigue?