Connecter un environnement à un réseau VPC

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Cette page explique comment votre environnement peut accéder à un réseau VPC Cloud Composer 3 fournit des instructions pour connecter un environnement à un VPC réseau, et décrit comment désactiver une connexion précédemment configurée.

À propos de l'accès au réseau VPC

Dans Cloud Composer 3, vous pouvez activer l'accès à un réseau VPC pour une environnement.

Si vous activez l'accès à un réseau VPC pour un environnement:

  • Composants Airflow de votre environnement peut accéder aux points de terminaison du réseau privé dans votre réseau VPC. Par exemple : votre code DAG peut accéder aux ressources situées sur votre réseau VPC configuré une connexion Airflow.

  • Si votre environnement utilise un réseau IP privé, tout le trafic interne, à l'exception du trafic vers l'API des services Google, est acheminé vers à votre réseau VPC.

  • Selon la configuration de votre réseau VPC, une adresse IP privée peut accéder à Internet via votre réseau VPC.

  • Quel que soit l'état de l'accès au réseau VPC, l'accès aux API des services Google est toujours possible.

  • Zones DNS privées définies dans votre VPC sont automatiquement disponibles pour la configuration composants.

  • L'environnement réserve deux adresses IP dans votre sous-réseau VPC.

Cloud Composer utilise un rattachement de réseau pour connecter à un réseau VPC:

  • Si vous spécifiez un réseau VPC et un sous-réseau, Cloud Composer crée un rattachement de réseau dans votre projet. Cette pièce jointe a été supprimée après avoir supprimé un environnement : désactiver la connexion à un réseau VPC ou écraser le VPC paramètres de connexion.

  • Si vous spécifiez une rattachement de réseau existant, il doit alors être situé dans le même projet que celui de l'environnement. Ce n'est pas supprimé après la suppression d'un environnement, la désactivation de la connexion ou l'écrasement des paramètres de connexion VPC.

  • Dans la mise en réseau VPC partagé:

    • Assurez-vous d'avoir configuré la mise en réseau VPC partagé Cloud Composer. Voir Configurer un VPC partagé pour en savoir plus sur la configuration des projets et des autorisations pour Cloud Composer.

    • Une fois la mise en réseau VPC partagée configurée, vous pouvez connecter à un réseau VPC du projet hôte. Si vous utilisez un rattachement de réseau existant, celui-ci doit être créé dans le projet de service (où se trouve l'environnement) et associées à un VPC partagé réseau.

À propos de la plage d'adresses IP internes de l'environnement

Les environnements Cloud Composer 3 nécessitent plusieurs adresses IP pour leurs composants qui s'exécutent dans le projet locataire, comme votre le cluster de l'environnement et le proxy Cloud SQL. Ces adresses IP sont provenant de la plage d'adresses IP internes de l'environnement.

  • La plage d'adresses IP internes par défaut est 100.64.128.0/20.

  • Vous pouvez spécifier une autre plage d'adresses IP internes lorsque vous créez un environnement. Cette plage doit utiliser un masque /20.

  • Vous ne pouvez pas modifier la plage d'adresses IP internes d'un environnement existant.

La plage d'adresses IP internes interagit avec votre réseau VPC de la manière suivante:

  • La plage d'adresses IP internes ne doit pas entrer en conflit avec le sous-réseau VPC L'environnement Cloud Composer est connecté. Ce n'est pas possible pour permettre une connexion avec un sous-réseau VPC qui chevauche à une plage d'adresses IP interne.

  • Si la plage d'adresses IP internes d'un environnement chevauche votre VPC des plages réseau, puis des points de terminaison de votre réseau VPC les adresses IP qui se chevauchent ne sont pas accessibles depuis l'environnement.

    Par exemple, si la plage interne est 100.64.128.0/20, toute requête au point de terminaison 100.64.128.1 de votre réseau VPC échoue, car ne quitte pas le projet locataire.

  • La plage d'adresses IP internes n'est pas réservée. Vous pouvez utiliser la même adresse IP interne compatible avec plusieurs environnements sans configuration supplémentaire, car les réseaux VPC internes utilisés par différents environnements sont séparés.

  • Vous pouvez utiliser les adresses IP de la plage interne à d'autres fins, à condition que Les DAG et les tâches de votre environnement ne leur envoient pas de requêtes.

Se connecter à un réseau VPC

Console

  1. Dans la console Google Cloud, accédez à la page Environnements.

    Accéder à la page Environnements

  2. Dans la liste des environnements, cliquez sur le nom de votre environnement. La page Détails de l'environnement s'ouvre.

  3. Accédez à l'onglet Configuration de l'environnement.

  4. Dans la section Configuration du réseau, recherchez le paramètre Rattachement de réseau, puis cliquez sur Modifier.

  5. Dans la boîte de dialogue Rattachement de réseau:

    • Pour créer un rattachement de réseau, accédez à Rattachement de réseau sélectionnez Créer un rattachement de réseau. Dans la section Réseau et de sous-réseaux, sélectionnez un réseau VPC et un sous-réseau.

    • Pour utiliser un rattachement de réseau existant, accédez à Rattachement de réseau sélectionnez une pièce jointe.

  6. Cliquez sur Enregistrer.

gcloud

Les arguments de la Google Cloud CLI suivants spécifient la connexion réseau VPC paramètres:

  • --network: ID de réseau VPC.
  • --subnetwork: ID du sous-réseau VPC.
  • --network-attachment: utilisez un rattachement de réseau existant à la place.

Nouveau rattachement de réseau

Pour connecter votre environnement à un réseau VPC via un nouveau réseau exécutez la commande Google Cloud CLI suivante:

gcloud beta composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --network NETWORK_ID \
  --subnetwork SUBNETWORK_ID

Remplacez les éléments suivants :

  • ENVIRONMENT_NAME: nom de l'environnement
  • LOCATION: région où se trouve l'environnement
  • NETWORK_ID: ID du réseau VPC
  • SUBNETWORK_ID: ID du sous-réseau VPC

Exemple :

gcloud beta composer environments update example-environment \
  --location us-central1 \
  --network projects/example-project/global/networks/example-network \
  --subnetwork projects/example-project/regions/us-central1/subnetworks/example-subnetwork

Rattachement de réseau existant

Pour connecter votre environnement à un réseau VPC via un nouveau réseau exécutez la commande Google Cloud CLI suivante:

gcloud beta composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --network-attachment NETWORK_ATTACHMENT_ID

Remplacez les éléments suivants :

  • ENVIRONMENT_NAME: nom de l'environnement
  • LOCATION: région où se trouve l'environnement
  • NETWORK_ATTACHMENT_ID: rattachement de réseau dans le projects/{project}/regions/{region}/networkAttachments/{networkAttachment} .

Exemple :

gcloud beta composer environments update example-environment \
  --location us-central1 \
  --network-attachment projects/example-project/regions/us-central1/networkAttachments/example-network-attachment

API

  1. Créez une requête API environments.patch.

  2. Dans cette requête :

    • Pour créer un rattachement de réseau:

      1. Dans le paramètre updateMask, spécifiez le config.node_config.network,config.node_config.subnetwork masque.

      2. Dans le corps de la requête, entre network et subnetwork. spécifiez vos ID de réseau VPC et de sous-réseau.

    • Pour utiliser un rattachement de réseau existant:

      1. Dans le paramètre updateMask, spécifiez le config.node_config.composer_network_attachment masque.

      2. Dans le corps de la requête, indiquez une valeur pour le réseau existant pièce jointe dans le projects/{project}/regions/{region}/networkAttachments/{networkAttachment} .

Exemple (nouveau rattachement de réseau):

// PATCH https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.node_config.network,config.node_config.subnetwork

"config": {
  "nodeConfig": {
    "network": "projects/example-project/global/networks/example-network",
    "subnetwork": "projects/example-project/regions/us-central1/subnetworks/example-subnetwork"
  }
}

Exemple (rattachement de réseau existant):

// PATCH https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.node_config.composer_network_attachment

"config": {
  "nodeConfig": {
    "composerNetworkAttachment": "projects/example-project/regions/us-central1/networkAttachments/example-network-attachment"
  }
}

Terraform

Les champs suivants du bloc node_config spécifient le réseau VPC paramètres de connexion:

  • network: ID de réseau VPC.
  • subnetwork: ID du sous-réseau VPC.
  • composer_network_attachment: utilisez un rattachement de réseau existant à la place.

Nouveau rattachement de réseau

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    node_config {
      network = NETWORK_ID
      subnetwork = SUBNETWORK_ID
    }

  }
}

Remplacez les éléments suivants :

  • ENVIRONMENT_NAME : nom de votre environnement
  • LOCATION: région dans laquelle se trouve l'environnement.
  • NETWORK_ID: ID du réseau VPC
  • SUBNETWORK_ID: ID du sous-réseau VPC

Exemple (nouveau rattachement de réseau):

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    node_config {
      network = "projects/example-project/global/networks/example-network"
      subnetwork = "projects/example-project/regions/us-central1/subnetworks/example-subnetwork"
    }

    ... other configuration parameters
  }
}

Rattachement de réseau existant

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    node_config {
      composer_network_attachment = NETWORK_ATTACHMENT_ID
    }

  }
}

Remplacez les éléments suivants :

  • ENVIRONMENT_NAME : nom de votre environnement
  • LOCATION: région dans laquelle se trouve l'environnement.
  • NETWORK_ATTACHMENT_ID: ID du rattachement de réseau.

Exemple (rattachement de réseau existant):

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    node_config {
      composer_network_attachment = projects/example-project/regions/us-central1/networkAttachments/example-network-attachment
    }

    ... other configuration parameters
  }
}

Désactiver la connexion à un réseau VPC

Console

  1. Dans la console Google Cloud, accédez à la page Environnements.

    Accéder à la page Environnements

  2. Dans la liste des environnements, cliquez sur le nom de votre environnement. La page Détails de l'environnement s'ouvre.

  3. Accédez à l'onglet Configuration de l'environnement.

  4. Dans la section Configuration du réseau, recherchez le paramètre Rattachement de réseau, puis cliquez sur Modifier.

  5. Dans la boîte de dialogue Rattachement de réseau, sélectionnez Aucun, puis cliquez sur Enregistrer.

gcloud

Les arguments --disable-vpc-connectivity désactivent le réseau VPC de votre environnement:

gcloud beta composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --disable-vpc-connectivity

Remplacez les éléments suivants :

  • ENVIRONMENT_NAME: nom de l'environnement
  • LOCATION: région où se trouve l'environnement

Exemple :

gcloud beta composer environments update example-environment \
  --location us-central1 \
  --disable-vpc-connectivity

API

  1. Créez une requête API environments.patch.

  2. Dans cette requête :

    1. Dans le paramètre updateMask, spécifiez le config.node_config.network,config.node_config.subnetwork masque.

    2. Dans le corps de la requête, dans les champs network et subnetwork, ou spécifier des valeurs vides.

Exemple :

// PATCH https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.node_config.network,config.node_config.subnetwork

"config": {
  "nodeConfig": {
    "network": "",
    "subnetwork": ""
  }
}

Terraform

Il n'est pas possible de dissocier un réseau VPC à l'aide de Terraform. À la place, vous pouvez associer un réseau VPC différent à la place, ou dissocier le réseau à l'aide de et d'autres outils tels que Google Cloud CLI.

Étape suivante