Configurer un réseau IP privé

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Cette page fournit des informations sur la configuration de la mise en réseau de votre projet Google Cloud pour les environnements d'adresse IP privée.

Pour les environnements d'adresse IP privée, Cloud Composer n'attribue que des adresses IP privées (RFC 1918) aux VM Cloud SQL et Google Kubernetes Engine gérées de votre environnement.

Vous pouvez également utiliser des adresses IP publiques utilisées en mode privé et l'agent IP Masquerade pour enregistrer l'adresse IP et d'utiliser des adresses non-RFC 1918.

Pour en savoir plus sur la connexion aux ressources de votre environnement, consultez la section Environnement Cloud Composer d'adresse IP privée.

Environnements avec Private Service Connect et des appairages de VPC

Par défaut, Cloud Composer 2 utilise Private Service Connect, de sorte que vos données Les environnements IP communiquent en interne sans utiliser d'appairage de VPC, sauf si que vous spécifiez autrement lors de la création de votre environnement.

Nous vous recommandons d'utiliser des environnements avec Private Service Connect si vous n'avez pas d'exigences particulières pour utiliser des environnements avec d'appairage réseau VPC.

Avant de commencer

Assurez-vous de disposer des autorisations d'utilisateur et de compte de service appropriées pour créer un environnement.

Vérifier la configuration réseau requise

Vérifiez que le réseau VPC de votre projet répond aux critères suivants : configuration requise:

• Assurez-vous qu'il n'existe pas de conflit de bloc d'adresses IP privées. Si le réseau VPC et ses pairs VPC établis présentent des blocs d'adresses IP qui se chevauchent avec le réseau VPC dans le projet locataire géré par Google, Cloud Composer ne peut pas créer votre environnement. Consultez le tableau des plages d'adresses IP par défaut pour connaître les valeurs par défaut utilisées dans chaque région.

• Assurez-vous qu'il existe suffisamment de plages d'adresses IP secondaires pour les pods et services GKE de Cloud Composer. GKE recherche des plages d'adresses IP secondaires pour la création d'alias d'adresses IP. Si GKE n'arrive pas à trouver de plage, Cloud Composer ne peut pas créer votre environnement.

• Vérifiez que le nombre de plages secondaires de votre sous-réseau ne dépasse pas 30. Réfléchissez aux éléments suivants :

  • Le cluster GKE de votre environnement d'adresse IP privée crée deux plages secondaires dans le sous-réseau. Vous pouvez créer plusieurs sous-réseaux dans la même région pour le même réseau VPC.
  • Le nombre maximal de plages secondaires acceptées est 30. Chaque L'environnement IP privé nécessite deux plages secondaires pour les pods et services GKE Cloud Composer.

• Assurez-vous que le réseau de votre projet peut respecter la limite sur le nombre maximal de connexions à un seul réseau VPC. Le nombre maximal d'environnements d'adresses IP privées que vous pouvez créer dépend du nombre de connexions d'appairage de VPC déjà existantes dans votre réseau VPC.

  • Chaque environnement IP privé avec PSC utilise un appairage de VPC par environnement. Cet appairage VPC est créé par cluster GKE de votre environnement Les clusters GKE peuvent réutiliser cette connexion. Pour les environnements IP privés avec PSC, chaque emplacement peut sont compatibles avec un maximum de 75 clusters privés.

  • Chaque environnement IP privé avec appairage de VPC utilise au maximum deux VPC par environnement. Cloud Composer crée un VPC pour le réseau du projet locataire. Le deuxième appairage est créé par le cluster GKE de votre environnement Les clusters GKE peuvent réutiliser cette connexion.

Choisir un réseau, un sous-réseau et des plages réseau

Choisissez les plages réseau pour votre environnement d'adresse IP privée (ou utilisez les valeurs par défaut). Vous utiliserez ces plages réseau ultérieurement lorsque vous créerez un environnement d'adresse IP privée.

Pour créer un environnement d'adresse IP privée, vous devez disposer des informations suivantes :

• L'ID de votre réseau VPC
• L'ID de votre sous-réseau VPC
• Deux plages d'adresses IP secondaires dans votre sous-réseau VPC :
  • Plage d'adresses IP secondaire pour les pods
  • Plage d'adresses IP secondaire pour les services

• Plages d'adresses IP des composants de l'environnement:

  Si votre environnement utilise Private Service Connect:

  • Plage d'adresses IP du plan de contrôle GKE. Plage d'adresses IP pour le plan de contrôle GKE.
  • Sous-réseau de connexion Cloud Composer. la plage d'adresses IP Sous-réseau de connexion Cloud Composer. Vous pouvez spécifier un à une plage d'adresses IP unique. Cette plage peut être utilisée par dans votre projet.

  Si votre environnement utilise des appairages de VPC:

  • Plage d'adresses IP du plan de contrôle GKE. Plage d'adresses IP pour le plan de contrôle GKE.
  • Plage d'adresses IP pour le réseau locataire Cloud Composer Adresse IP pour le réseau locataire Cloud Composer. Ce réseau qui héberge le composant proxy SQL de votre environnement.

  • Plage d'adresses IP Cloud SQL. Plage d'adresses IP pour l'instance Cloud SQL.

    Attention :La plage 172.17.0.0/16 est réservé dans Cloud SQL.

Consultez le tableau des plages d'adresses IP par défaut pour connaître les valeurs par défaut utilisées dans chaque dans la même région.

Plages d'adresses IP par défaut

Environnements avec Private Service Connect

Remarque :Si vous utilisez un contrôle GKE personnalisé plage d'adresses IP du plan de contrôle, vérifiez qu'elle ne chevauche pas la plage des points de terminaison PSC (sous-réseau de connexion Cloud Composer).

Région	Plage d'adresses IP du plan de contrôle GKE
africa-south1	172.16.64.0/23
asia-east1	172.16.42.0/23
asia-east2	172.16.0.0/23
asia-northeast1	172.16.2.0/23
asia-northeast2	172.16.32.0/23
asia-northeast3	172.16.30.0/23
asia-south1	172.16.4.0/23
asia-south2	172.16.50.0/23
asia-southeast1	172.16.40.0/23
asia-southeast2	172.16.44.0/23
australia-southeast1	172.16.6.0/23
australia-southeast2	172.16.56.0/23
europe-central2	172.16.36.0/23
europe-north1	172.16.48.0/23
europe-southwest1	172.16.58.0/23
europe-west1	172.16.8.0/23
europe-west10	172.16.62.0/23
europe-west12	172.16.62.0/23
europe-west2	172.16.10.0/23
europe-west3	172.16.12.0/23
europe-west4	172.16.42.0/23
europe-west6	172.16.14.0/23
europe-west8	172.16.60.0/23
europe-west9	172.16.46.0/23
me-central1	172.16.58.0/23
me-west1	172.16.54.0/23
northamerica-northeast1	172.16.16.0/23
northamerica-northeast2	172.16.46.0/23
southamerica-east1	172.16.18.0/23
southamerica-west1	172.16.58.0/23
us-central1	172.16.20.0/23
us-east1	172.16.22.0/23
us-east4	172.16.24.0/23
us-east5	172.16.52.0/23
us-south1	172.16.56.0/23
us-west1	172.16.38.0/23
us-west2	172.16.34.0/23
us-west3	172.16.26.0/23
us-west4	172.16.28.0/23

Environnements avec appairages de VPC

Région	Plage d'adresses IP du plan de contrôle GKE	Plage d'adresses IP du réseau locataire Cloud Composer	Plage d'adresses IP Cloud SQL
africa-south1	172.16.64.0/23	172.31.223.0/24	10.0.0.0/12
asia-east1	172.16.42.0/23	172.31.255.0/24	10.0.0.0/12
asia-east2	172.16.0.0/23	172.31.255.0/24	10.0.0.0/12
asia-northeast1	172.16.2.0/23	172.31.254.0/24	10.0.0.0/12
asia-northeast2	172.16.32.0/23	172.31.239.0/24	10.0.0.0/12
asia-northeast3	172.16.30.0/23	172.31.240.0/24	10.0.0.0/12
asia-south1	172.16.4.0/23	172.31.253.0/24	10.0.0.0/12
asia-south2	172.16.50.0/23	172.31.230.0/24	10.0.0.0/12
asia-southeast1	172.16.40.0/23	172.31.235.0/24	10.0.0.0/12
asia-southeast2	172.16.44.0/23	172.31.233.0/24	10.0.0.0/12
australia-southeast1	172.16.6.0/23	172.31.252.0/24	10.0.0.0/12
australia-southeast2	172.16.56.0/23	172.31.227.0/24	10.0.0.0/12
europe-central2	172.16.36.0/23	172.31.237.0/24	10.0.0.0/12
europe-north1	172.16.48.0/23	172.31.231.0/24	10.0.0.0/12
europe-southwest1	172.16.58.0/23	172.31.226.0/24	10.0.0.0/12
europe-west1	172.16.8.0/23	172.31.251.0/24	10.0.0.0/12
europe-west10	172.16.62.0/23	172.31.224.0/24	10.0.0.0/12
europe-west12	172.16.62.0/23	172.31.224.0/24	10.0.0.0/12
europe-west2	172.16.10.0/23	172.31.250.0/24	10.0.0.0/12
europe-west3	172.16.12.0/23	172.31.249.0/24	10.0.0.0/12
europe-west4	172.16.42.0/23	172.31.234.0/24	10.0.0.0/12
europe-west6	172.16.14.0/23	172.31.248.0/24	10.0.0.0/12
europe-west8	172.16.60.0/23	172.31.225.0/24	10.0.0.0/12
europe-west9	172.16.46.0/23	172.31.232.0/24	10.0.0.0/12
me-central1	172.16.58.0/23	172.31.226.0/24	10.0.0.0/12
me-west1	172.16.54.0/23	172.31.228.0/24	10.0.0.0/12
northamerica-northeast1	172.16.16.0/23	172.31.247.0/24	10.0.0.0/12
northamerica-northeast2	172.16.46.0/23	172.31.232.0/24	10.0.0.0/12
southamerica-east1	172.16.18.0/23	172.31.246.0/24	10.0.0.0/12
southamerica-west1	172.16.58.0/23	172.31.226.0/24	10.0.0.0/12
us-central1	172.16.20.0/23	172.31.245.0/24	10.0.0.0/12
us-east1	172.16.22.0/23	172.31.244.0/24	10.0.0.0/12
us-east4	172.16.24.0/23	172.31.243.0/24	10.0.0.0/12
us-east5	172.16.52.0/23	172.31.229.0/24	10.0.0.0/12
us-south1	172.16.56.0/23	172.31.227.0/24	10.0.0.0/12
us-west1	172.16.38.0/23	172.31.236.0/24	10.0.0.0/12
us-west2	172.16.34.0/23	172.31.238.0/24	10.0.0.0/12
us-west3	172.16.26.0/23	172.31.242.0/24	10.0.0.0/12
us-west4	172.16.28.0/23	172.31.241.0/24	10.0.0.0/12

(Facultatif) Configurer la connectivité aux API et services Google

Si vous le souhaitez, vous pouvez acheminer tout le trafic vers les API et services Google via plusieurs adresses IP appartenant à private.googleapis.com domaine. Dans cette configuration, votre environnement accède aux API Google et via des adresses IP routables uniquement depuis Google Cloud.

Si votre environnement IP privé utilise également VPC Service Controls, utilisez Instructions pour les environnements avec VPC Service Controls à la place.

Les environnements Cloud Composer utilisent les domaines suivants:

• *.googleapis.com permet d'accéder à d'autres services Google.

• *.composer.cloud.google.com permet de rendre le serveur Web Airflow de votre de l'environnement. Cette règle doit être appliquée avant de créer environnement.

  • Vous pouvez également créer une règle pour une région spécifique. Pour ce faire, utiliser REGION.composer.cloud.google.com. Remplacez REGION par la région dans laquelle se trouve l'environnement, par Exemple : us-central1.

• (Facultatif) *.composer.googleusercontent.com est utilisé lors de l'accès à Serveur Web Airflow de votre environnement. Cette règle n'est obligatoire que si vous accéder au serveur Web Airflow depuis une instance qui s'exécute dans le réseau VPC et n'est pas obligatoire dans les autres cas. Un scénario courant pour cela lorsque vous souhaitez appeler l'API REST Airflow depuis le réseau VPC.

  • Vous pouvez également créer une règle pour un environnement spécifique. À utilisez ENVIRONMENT_WEB_SERVER_NAME.composer.googleusercontent.com . Remplacez ENVIRONMENT_WEB_SERVER_NAME par la partie unique de l'URL d'UI Airflow de votre environnement, par exemple, bffe6ce6c4304c55acca0e57be23128c-dot-us-central1

• *.pkg.dev permet d'obtenir des images de l'environnement, par exemple lors de la création ou et à mettre à jour un environnement.

• *.gcr.io GKE nécessite une connectivité à Domaine Container Registry, quelle que soit la version de Cloud Composer.

Remarque :Si vous ne configurez pas de règles DNS pour les API et services Google, elles sont résolues à l'aide du option "domain" pour les domaines par défaut.

Configurez la connectivité au point de terminaison private.googleapis.com :

Domaine	Nom DNS	Enregistrement CNAME	Enregistrement A
*.googleapis.com	googleapis.com.	Nom DNS: *.googleapis.com. Type d'enregistrement de ressource: CNAME Nom canonique: googleapis.com.	Type d'enregistrement de ressource: A Adresses IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
*.composer.cloud.google.com	composer.cloud.google.com.	Nom DNS: *.composer.cloud.google.com. Type d'enregistrement de ressource: CNAME Nom canonique: composer.cloud.google.com.	Type d'enregistrement de ressource: A Adresses IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
*.composer.googleusercontent.com (facultatif, voir la description)	composer.googleusercontent.com.	Nom DNS: *.composer.googleusercontent.com. Type d'enregistrement de ressource: CNAME Nom canonique: composer.googleusercontent.com.	Type d'enregistrement de ressource: A Adresses IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
*.pkg.dev	pkg.dev.	Nom DNS: *.pkg.dev. Type d'enregistrement de ressource: CNAME Nom canonique: pkg.dev.	Type d'enregistrement de ressource: A Adresses IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
*.gcr.io	gcr.io.	Nom DNS: *.gcr.io. Type d'enregistrement de ressource: CNAME Nom canonique: gcr.io.	Type d'enregistrement de ressource: A Adresses IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11

Pour créer une règle DNS:

1. Créez une zone DNS et utilisez Nom DNS comme nom DNS. de cette zone.

   Exemple : pkg.dev.

2. Ajoutez un jeu d'enregistrements pour l'enregistrement CNAME.

   Exemple :

   • Nom DNS: *.pkg.dev.
   • Type d'enregistrement de ressource: CNAME
   • Nom canonique: pkg.dev.

3. Ajoutez un jeu d'enregistrements avec pour l'enregistrement A:

   Exemple :

   • Type d'enregistrement de ressource: A
   • Adresses IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11

Pour en savoir plus, consultez Configurer une connectivité privée aux API et services Google

(Facultatif) Configurer des règles de pare-feu

N'effectuez cette étape que si votre projet utilise des règles de pare-feu autres que celles par défaut, telles que qui remplacent règles de pare-feu implicites, ou modifier les règles préremplies dans le réseau par défaut.

Par exemple, Cloud Composer peut échouer à créer un environnement si vous disposez d'une règle de pare-feu qui refuse tout trafic sortant. Pour éviter tout problème, Définir des règles allow sélectives qui suivent la liste et ont une priorité plus élevée que la règle globale deny.

Important :Selon la configuration des règles de pare-feu dans votre projet, le liste de règles peut être redondante. Par exemple, si vos règles de pare-feu ne bloquer que le trafic entrant, vous n'avez pas besoin des règles de sortie listées.

Configurez votre réseau VPC pour autoriser le trafic provenant de votre environnement:

• Consultez la section Utiliser des règles de pare-feu pour apprendre à : les règles de vérification, d'ajout et de mise à jour de votre réseau VPC.
• Utilisez Outil de connectivité pour valider la connectivité entre les plages d'adresses IP.
• Vous pouvez utiliser des tags réseau pour limiter l'accès. Vous pouvez définir ces tags lorsque vous créez un environnement.

Description	Direction	Action	Source ou destination	Protocoles	Ports
DNS	Sortie	Autoriser	Toutes les adresses IP de destination (0.0.0.0/0) ou de serveur DNS	TCP, UDP	53
API et services Google	Sortie	Autoriser	Plage d'adresses IP du domaine que vous avez choisi pour les API et services Google. Si vous utilisez des adresses IP par défaut, consultez la section Adresses IP pour les domaines par défaut.	TCP	443
Nœuds du cluster de l'environnement	Sortie	Autoriser	Plage d'adresses IP principale du sous-réseau de l'environnement	TCP, UDP	tous
Pods de cluster de l'environnement	Sortie	Autoriser	Plage d'adresses IP secondaire pour les pods du sous-réseau de l'environnement	TCP, UDP	tous
Plan de contrôle du cluster de l'environnement	Sortie	Autoriser	Plage d'adresses IP du plan de contrôle GKE	TCP, UDP	tous
(Si votre environnement utilise Private Service Connect) Sous-réseau de connexion	Sortie	Autoriser	Plage de sous-réseau de connexion Cloud Composer	TCP	3306, 3307
(Si votre environnement utilise des appairages de VPC) Réseau locataire	Sortie	Autoriser	Plage d'adresses IP du réseau locataire Cloud Composer	TCP	3306, 3307

Attention :Le service GKE crée automatiquement un certain nombre d'entrées et des règles de pare-feu de sortie pour que le cluster de votre environnement fonctionne correctement (par exemple, les règles d'entrée et de sortie pour Google Cloud Health des vérifications). Voir Règles de pare-feu GKE pour plus d'informations et ne supprimer ou bloquer les règles de pare-feu créées par les services GKE.

Pour obtenir des plages d'adresses IP:

• Les plages d'adresses des pods, des services et du plan de contrôle sont disponibles la page Clusters du cluster de votre environnement:

  1. Dans la console Google Cloud, accédez à la page Environnements.

     Accéder à la page Environnements

  2. Dans la liste des environnements, cliquez sur le nom de votre environnement. La page Détails de l'environnement s'ouvre.

  3. Accédez à l'onglet Configuration de l'environnement.

  4. Cliquez sur le lien Afficher les détails du cluster.

• Vous pouvez voir Plage d'adresses IP du réseau locataire Cloud Composer dans l'onglet Configuration de l'environnement.

• Vous pouvez voir ID du sous-réseau et ID du sous-réseau de connexion Cloud Composer dans l'onglet Configuration de l'environnement. Pour obtenir l'adresse IP plages d'adresses IP d'un sous-réseau, accédez à la page Réseaux VPC et cliquez sur le nom du réseau pour afficher les détails:

  Accéder aux réseaux VPC

Configurer les paramètres du serveur proxy

Vous pouvez définir des variables d'environnement HTTP_PROXY et HTTPS_PROXY dans votre environnement. Ces variables Linux standards sont utilisées par les clients Web exécutées dans les conteneurs du cluster de votre environnement pour acheminer le trafic les proxys spécifiés.

Par défaut, la variable NO_PROXY est définie sur une liste de domaines Google. elles sont exclues de la transmission par proxy: .google.com,.googleapis.com,metadata.google.internal Cette configuration permet de créer un environnement avec des HTTP_PROXY définis et Variables d'environnement HTTPS_PROXY lorsque le proxy n'est pas configuré pour gérer le trafic vers les services Google.