Modifier le type de mise en réseau de l'environnement (adresse IP privée ou publique)

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Cette page explique la différence entre les types de mise en réseau des environnements d'adresse IP privée et d'adresse IP publique dans Cloud Composer 3, et fournit des instructions pour changer le type de mise en réseau de votre environnement.

Si vous souhaitez désactiver ou activer l'accès à Internet uniquement lors de l'installation de packages PyPI, consultez Configurer l'accès à Internet lors de l'installation de packages PyPI.

Si vous souhaitez activer l'accès à votre réseau VPC depuis votre environnement, consultez Connecter un environnement à un réseau VPC.

À propos des types de mise en réseau des environnements

Cloud Composer 3 utilise deux types de mise en réseau des environnements :

  • Réseau IP public :

    • Les composants Airflow de l'environnement peuvent accéder à Internet. Il s'agit du type de mise en réseau par défaut.

    • Dans les environnements d'adresses IP publiques, les composants Airflow établissent des connexions sortantes à partir d'adresses IP et de ports publics alloués automatiquement. Si vous souhaitez que vos environnements d'adresse IP publique utilisent des adresses IP et des ports prédéterminés, vous pouvez le faire en connectant un réseau VPC à votre environnement et en le passant à l'adresse IP privée. Dans ce cas, Cloud Composer achemine tout le trafic, à l'exception du trafic vers les services Google, via ce réseau.

  • Réseau IP privé :

    • Les composants Airflow de l'environnement n'ont pas accès à Internet.

    • Les environnements d'adresses IP privées configurent l'accès privé à Google via la plage private.googleapis.com, qui permet d'accéder aux API, services et domaines Google compatibles avec cette plage.

      Pour en savoir plus et obtenir la liste des services et des domaines disponibles via private.googleapis.com, consultez Configuration du réseau dans la documentation sur le cloud privé virtuel.

    • Les environnements d'adresses IP privées avec VPC Service Controls configurent l'accès privé à Google via la plage restricted.googleapis.com, ce qui permet d'accéder aux API, services et domaines Google compatibles avec cette plage.

      Pour en savoir plus et obtenir la liste des services et des domaines disponibles via restricted.googleapis.com, consultez Configuration du réseau dans la documentation sur le cloud privé virtuel.

En plus des deux types de mise en réseau, vous pouvez activer ou désactiver l'accès à un réseau VPC personnalisé pour n'importe quel type d'environnement. Selon la façon dont vous configurez votre réseau VPC, un environnement d'adresse IP privée peut accéder à Internet via votre réseau VPC.

Comparaison entre la mise en réseau de Cloud Composer 2 et celle de Cloud Composer 3

Dans Cloud Composer 3, les environnements d'adresses IP privées ne nécessitent aucune configuration.

Les fonctionnalités de mise en réseau suivantes de Cloud Composer 2 ne sont plus pertinentes dans Cloud Composer 3 :

  • Configurer un réseau IP privé Vous n'avez pas besoin de spécifier de plages d'adresses IP ni de réseaux, ni de configurer de règles de connectivité et de pare-feu.

  • Configurer Private Service Connect Vous n'avez pas besoin de définir de plages pour Private Service Connect dans Cloud Composer 3.

  • Utiliser des plages d'adresses IP publiques utilisées en mode privé Cette fonctionnalité permettait d'étendre les plages d'adresses IP disponibles, qui ne sont pas requises dans Cloud Composer 3.

  • Utiliser l'agent de masquage d'adresses IP Vous n'avez pas besoin de configurer la connectivité du cluster dans Cloud Composer 3.

  • Configurer des réseaux autorisés Il n'est pas possible d'accéder au cluster de l'environnement dans Cloud Composer 3.

Modifier le type de mise en réseau de l'environnement

Console

  1. Dans la console Google Cloud , accédez à la page Environnements.

    Accéder à la page Environnements

  2. Dans la liste des environnements, cliquez sur le nom de votre environnement. La page Détails de l'environnement s'ouvre.

  3. Accédez à l'onglet Configuration de l'environnement.

  4. Dans la section Configuration réseau, recherchez l'élément Type de mise en réseau, puis cliquez sur Modifier.

  5. Dans la boîte de dialogue Type de mise en réseau, sélectionnez :

    • Environnement d'adresse IP publique (par défaut) pour la mise en réseau avec adresse IP publique.
    • Environnement d'adresse IP privée pour la mise en réseau avec adresse IP privée.

  6. Cliquez sur Enregistrer.

gcloud

Les arguments Google Cloud CLI suivants modifient le type de mise en réseau de l'environnement :

  • --enable-private-environment : modifications apportées à la mise en réseau avec des adresses IP privées.
  • --disable-private-environment : modifications apportées au réseau IP public (par défaut).

Passez à la mise en réseau IP privée :

gcloud beta composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --enable-private-environment

Passez à la mise en réseau avec adresse IP publique :

gcloud beta composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --disable-private-environment

Remplacez les éléments suivants :

  • ENVIRONMENT_NAME : nom de l'environnement.
  • LOCATION : région où se trouve l'environnement.

Exemple (adresse IP privée) :

gcloud beta composer environments update example-environment \
  --location us-central1 \
  --enable-private-environment

Exemple (adresse IP publique) :

gcloud beta composer environments update example-environment \
  --location us-central1 \
  --disable-private-environment

API

  1. Créez une requête API environments.patch.

  2. Dans cette requête :

    1. Dans le paramètre updateMask, spécifiez le masque config.private_environment_config.enable_private_environment.

    2. Dans le corps de la requête, dans le champ enablePrivateEnvironment :

      • Spécifiez true pour passer à la mise en réseau avec adresse IP privée.
      • Spécifiez false pour passer à la mise en réseau avec adresse IP publique (par défaut).

Exemple (adresse IP privée) :

// PATCH https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.private_environment_config.enable_private_environment

"config": {
  "privateEnvironmentConfig": {
    "enablePrivateEnvironment": true
  }
}

Terraform

Le champ enable_private_environment du bloc config spécifie le type de réseau de l'environnement :

  • true : réseau IP privé.
  • false ou omis : réseau d'adresses IP publiques (par défaut).
resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    enable_private_environment = PRIVATE_IP_STATUS

  }
}

Remplacez les éléments suivants :

  • ENVIRONMENT_NAME : nom de votre environnement
  • LOCATION : région où se trouve l'environnement.
  • PRIVATE_IP_STATUS : true pour l'adresse IP privée, false pour l'adresse IP publique

Exemple (adresse IP privée) :

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    enable_private_environment = true

    ... other configuration parameters
  }
}

Configurer les variables du serveur proxy

Vous pouvez définir les variables d'environnement http_proxy et https_proxy dans votre environnement. Ces variables Linux standards sont utilisées par les clients Web qui s'exécutent dans les conteneurs du cluster de votre environnement pour acheminer le trafic via les proxys spécifiés.

Par défaut, la variable NO_PROXY est définie sur une liste de domaines Google et localhost afin qu'ils soient exclus du proxy : .google.com,.googleapis.com,metadata.google.internal,localhost. Cette configuration permet de créer un environnement avec des variables d'environnement http_proxy et https_proxy définies lorsque le proxy n'est pas configuré pour gérer le trafic vers les services Google.

Étapes suivantes