Environnement Cloud Composer d'adresse IP privée

Vous trouverez sur cette page des informations sur l'utilisation d'un environnement Cloud Composer d'adresse IP privée.

Lorsque vous activez une adresse IP privée, Cloud Composer n'attribue que les adresses IP privées (RFC 1918) aux VM Cloud SQL et Google Kubernetes Engine gérées de votre environnement, ce qui évite tout accès entrant à ces machines VM depuis l'Internet public.

Par défaut, les workflows Cloud Composer n'ont pas d'accès Internet sortant. L'accès aux API et aux services Google Cloud n'est pas affecté par le routage via le réseau privé de Google. Les sections suivantes décrivent les fonctionnalités permettant d'activer l'environnement Cloud Composer d'adresse IP privée et les options de configuration.

Cluster GKE de VPC natif

Lorsque vous créez un environnement, Cloud Composer répartit les ressources de votre environnement entre votre projet client et un projet locataire géré par Google.

Lorsque vous activez un environnement Cloud Composer d'adresse IP privée, Cloud Composer crée un cluster GKE de VPC natif pour votre environnement dans le projet client. Les clusters de VPC natif utilisent le routage d'adresses IP d'alias intégré au réseau VPC, ce qui permet au VPC de gérer le routage des pods. Lorsque vous utilisez des clusters de VPC natif, GKE sélectionne automatiquement une plage secondaire. Pour des exigences de mise en réseau spécifiques, vous pouvez également configurer les plages secondaires pour vos pods et services GKE lors de la création de l'environnement.

Environnement Cloud Composer d'adresse IP privée

Vous pouvez activer un environnement Cloud Composer d'adresse IP privée lors de la création d'un environnement. L'utilisation d'une adresse IP privée signifie que les VM GKE et Cloud SQL de votre environnement ne disposent pas d'adresses IP publiques attribuées et ne communiquent que via le réseau interne de Google.

Lorsque vous créez un environnement Cloud Composer d'adresse IP privée, le cluster GKE de votre environnement est configuré en tant que cluster privé et l'instance Cloud SQL est configurée pour une adresse IP privée. Cloud Composer crée également une connexion d'appairage entre le réseau VPC du projet client et celui du projet locataire.

Avec l'activation de l'appairage VPC et de l'adresse IP privée sur votre environnement, le trafic IP entre le cluster GKE de votre environnement et la base de données Cloud SQL (via la connexion d'appairage VPC) est privé, isolant vos workflows de l'Internet public.

Cette couche de sécurité supplémentaire affecte la manière dont vous vous connectez à ces ressources et dont votre environnement accède aux ressources externes. L'utilisation d'une adresse IP privée n'affecte pas la manière dont vous accédez à Cloud Storage ou à votre serveur Web Airflow sur une adresse IP publique.

Cluster GKE

L'utilisation d'un cluster GKE privé vous permet de contrôler l'accès au point de terminaison de maître de cluster (les nœuds de cluster ne disposent pas d'adresses IP publiques).

Lorsque vous créez un environnement Cloud Composer d'adresse IP privée, vous indiquez si l'accès au point de terminaison de maître est public ou non, ainsi que sa plage d'adresses IP. La plage d'adresses IP principale ne doit pas chevaucher un sous-réseau de votre réseau VPC.

Option Description
Accès public aux points de terminaison désactivé Pour vous connecter au cluster, vous devez vous connecter à partir d'une VM de la même région et du même réseau VPC de l'environnement Cloud Composer d'adresse IP privée.

L'instance de VM à laquelle vous vous connectez requiert le niveau d'accès suivant : Autoriser l'accès complet à l'ensemble des API Cloud.

À partir de cette VM, vous pouvez exécuter des commandes Airflow à l'aide de la commande gcloud composer environments run.
Accès public aux points de terminaison activé, réseaux autorisés maître activés Dans cette configuration, les nœuds de cluster communiquent avec le maître via le réseau privé de Google. Les nœuds peuvent accéder aux ressources de votre environnement Cloud Composer et des réseaux autorisés. Vous pouvez ajouter des réseaux autorisés dans GKE.

Sur les réseaux autorisés, vous pouvez effectuer les opérations suivantes :
  • Exécuter des commandes Airflow à l'aide de la commande gcloud composer environments run
  • Se connecter en SSH au maître.
  • Exécuter des commandes kubectl

Cloud SQL

Comme l'instance Cloud SQL ne dispose pas d'adresse IP publique, le trafic Cloud SQL au sein de votre environnement Cloud Composer d'adresse IP privée n'est pas exposé à l'Internet public. Cloud Composer configure Cloud SQL pour l'acceptation des connexions entrantes via un accès à un service privé. Vous pouvez accéder à l'instance Cloud SQL sur le réseau VPC en utilisant son adresse IP privée.

Accès à l'Internet public pour vos workflows

Les opérateurs et les opérations nécessitant un accès aux ressources sur des réseaux non autorisés ou sur l'Internet public peuvent échouer. Par exemple, l'opération Dataflow pour Python nécessite une connexion Internet publique pour télécharger Apache Beam à partir de pip.

Cloud NAT permet aux VM sans adresses IP externes et sans clusters GKE privés de se connecter à Internet.

Pour utiliser Cloud NAT, vous devez créer une configuration NAT à l'aide de Cloud Router pour le réseau VPC et la région dans laquelle se trouve votre environnement Cloud Composer d'adresse IP privée.

Étapes suivantes