Privates IP-Netzwerk konfigurieren

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Auf dieser Seite finden Sie Informationen zum Konfigurieren Ihres Google Cloud-Projektnetzwerks für private IP-Umgebungen.

Bei privaten IP-Umgebungen weist Cloud Composer den verwalteten Google Kubernetes Engine- und Cloud SQL-VMs in der Umgebung nur private IP-Adressen (RFC 1918) zu.

Optional können Sie auch privat verwendete öffentliche IP-Adressen und den IP Masquerade-Agent nutzen, um den IP-Adressbereich zu speichern und Adressen außerhalb von RFC 1918 zu verwenden.

Informationen zum Herstellen einer Verbindung zu Ressourcen in der Umgebung finden Sie unter Private IP-Umgebung in Cloud Composer.

Umgebungen mit Private Service Connect und VPC-Peering

Standardmäßig wird Cloud Composer 2 verwendet Private Service Connect, sodass Ihre private IP-Umgebungen kommunizieren intern ohne VPC-Peerings, es sei denn die Sie beim Erstellen der Umgebung anders angeben.

Wir empfehlen, Umgebungen mit Private Service Connect zu verwenden Wenn Sie keine besonderen Anforderungen an die Verwendung von Umgebungen mit VPC haben Peerings.

Hinweise

• Prüfen Sie, ob Sie über die entsprechenden Nutzer- und Dienstkonto-Berechtigungen zum Erstellen einer Umgebung haben.
• Prüfen Sie, ob in Ihrem Projekt nicht kompatible Organisationsrichtlinien definiert sind.

Netzwerkanforderungen prüfen

Prüfen Sie, ob das VPC-Netzwerk des Projekts die folgenden Anforderungen erfüllt:

• Achten Sie darauf, dass es keine Konflikte bei privaten IP-Blöcken gibt. Wenn sich IP-Blöcke Ihres VPC-Netzwerks und der zugehörigen erstellten VPC-Peers mit IP-Blöcken im VPC-Netzwerk des von Google verwalteten Mandantenprojekts überschneiden, kann die Umgebung nicht von Cloud Composer erstellt werden. In der Tabelle mit den Standard-IP-Bereichen finden Sie die in jeder Region verwendeten Standardwerte.

• Prüfen Sie, ob es genügend sekundäre IP-Bereiche für die GKE-Pods und -Dienste von Cloud Composer gibt. GKE sucht für das IP-Aliasing nach sekundären IP-Bereichen. Wenn GKE keinen Bereich findet, kann die Umgebung nicht von Cloud Composer erstellt werden.

• Sorgen Sie dafür, dass nicht mehr als 30 sekundäre Bereiche in Ihrem Subnetzwerk vorhanden sind. Beachten Sie dabei Folgendes:

  • Der GKE-Cluster der privaten IP-Umgebung erstellt zwei sekundäre Bereiche im Subnetzwerk. Sie können für dasselbe VPC-Netzwerk mehrere Subnetzwerke in derselben Region erstellen.
  • Es werden maximal 30 sekundäre Bereiche unterstützt. Jedes Die private IP-Umgebung erfordert zwei sekundäre Bereiche für GKE-Pods und -Dienste von Cloud Composer.

• Das Netzwerk Ihres Projekts muss die maximale Anzahl von Verbindungen zu einem einzelnen VPC-Netzwerk unterstützen. Die maximal erstellbare Zahl privater IP-Umgebungen hängt von der Anzahl der bereits vorhandenen VPC-Peering-Verbindungen in Ihrem VPC-Netzwerk ab.

  • Jede private IP-Umgebung mit PSC verwendet ein VPC-Peering pro Umgebung. Dieses VPC-Peering wird vom GKE-Cluster Ihrer Umgebung erstellt und GKE-Cluster können diese Verbindung wiederverwenden. In privaten IP-Umgebungen mit PSC kann jeder Standort unterstützen maximal 75 private Cluster.

  • Jede private IP-Umgebung mit VPC-Peerings verwendet höchstens zwei VPCs Peerings pro Umgebung. Cloud Composer erstellt eine VPC Peering für das Netzwerk des Mandantenprojekts. Das zweite Peering wird vom GKE-Cluster Ihrer Umgebung erstellt und GKE-Cluster können diese Verbindung wiederverwenden.

Netzwerk, Subnetzwerk und Netzwerkbereiche wählen

Wählen Sie die Netzwerkbereiche für Ihre private IP-Umgebung aus oder verwenden Sie die Standardbereiche. Sie verwenden diese Netzwerkbereiche später, wenn Sie eine private IP-Umgebung erstellen.

Zum Erstellen einer Private-IP-Umgebung benötigen Sie folgende Informationen:

• Ihre VPC-Netzwerk-ID
• Ihre VPC-Subnetzwerk-ID
• Zwei sekundäre IP-Bereiche in Ihrem VPC-Subnetzwerk:
  • Sekundärer IP-Bereich für Pods
  • Sekundärer IP-Bereich für Dienste

• IP-Bereiche für die Komponenten der Umgebung:

  Wenn in Ihrer Umgebung Private Service Connect verwendet wird:

  • IP-Bereich der GKE-Steuerungsebene. IP-Bereich für die GKE-Steuerungsebene.
  • Subnetzwerk für Cloud Composer-Verbindung. IP-Bereich für das Subnetzwerk der Cloud Composer-Verbindung. Sie können eine nur eine IP-Adresse hat. Dieser Bereich kann von mehreren in Ihrem Projekt erstellen.

  Wenn in Ihrer Umgebung VPC-Peerings verwendet werden:

  • IP-Bereich der GKE-Steuerungsebene. IP-Bereich für die GKE-Steuerungsebene.
  • IP-Bereich für das Cloud Composer-Mandantennetzwerk IP-Adresse Bereich für das Mandantennetzwerk von Cloud Composer. Dieses Netzwerk hostet die SQL-Proxy-Komponente Ihrer Umgebung.

  • Cloud SQL-IP-Bereich IP-Bereich für die Cloud SQL-Instanz.

    Achtung: Der Bereich 172.17.0.0/16 ist in Cloud SQL reserviert.

In der Tabelle mit den Standard-IP-Bereichen finden Sie die in jeder Region verwendeten Standardwerte.

Standard-IP-Bereiche

Umgebungen mit Private Service Connect

Hinweis: Wenn Sie ein benutzerdefiniertes GKE-Steuerelement verwenden IP-Bereich der Ebene: Er darf sich nicht mit dem Bereich für PSC-Endpunkte überschneiden (Subnetzwerk der Cloud Composer-Verbindung).

Region	IP-Bereich der GKE-Steuerungsebene
africa-south1	172.16.64.0/23
asia-east1	172.16.42.0/23
asia-east2	172.16.0.0/23
asia-northeast1	172.16.2.0/23
asia-northeast2	172.16.32.0/23
asia-northeast3	172.16.30.0/23
asia-south1	172.16.4.0/23
asia-south2	172.16.50.0/23
asia-southeast1	172.16.40.0/23
asia-southeast2	172.16.44.0/23
australia-southeast1	172.16.6.0/23
australia-southeast2	172.16.56.0/23
europe-central2	172.16.36.0/23
europe-north1	172.16.48.0/23
europe-southwest1	172.16.58.0/23
europe-west1	172.16.8.0/23
europe-west10	172.16.62.0/23
europe-west12	172.16.62.0/23
europe-west2	172.16.10.0/23
europe-west3	172.16.12.0/23
europe-west4	172.16.42.0/23
europe-west6	172.16.14.0/23
europe-west8	172.16.60.0/23
europe-west9	172.16.46.0/23
me-central1	172.16.58.0/23
me-west1	172.16.54.0/23
northamerica-northeast1	172.16.16.0/23
northamerica-northeast2	172.16.46.0/23
southamerica-east1	172.16.18.0/23
southamerica-west1	172.16.58.0/23
us-central1	172.16.20.0/23
us-east1	172.16.22.0/23
us-east4	172.16.24.0/23
us-east5	172.16.52.0/23
us-south1	172.16.56.0/23
us-west1	172.16.38.0/23
us-west2	172.16.34.0/23
us-west3	172.16.26.0/23
us-west4	172.16.28.0/23

Umgebungen mit VPC-Peerings

Region	IP-Bereich der GKE-Steuerungsebene	IP-Bereich des Cloud Composer-Mandantennetzwerks	Cloud SQL-IP-Bereich
africa-south1	172.16.64.0/23	172.31.223.0/24	10.0.0.0/12
asia-east1	172.16.42.0/23	172.31.255.0/24	10.0.0.0/12
asia-east2	172.16.0.0/23	172.31.255.0/24	10.0.0.0/12
asia-northeast1	172.16.2.0/23	172.31.254.0/24	10.0.0.0/12
asia-northeast2	172.16.32.0/23	172.31.239.0/24	10.0.0.0/12
asia-northeast3	172.16.30.0/23	172.31.240.0/24	10.0.0.0/12
asia-south1	172.16.4.0/23	172.31.253.0/24	10.0.0.0/12
asia-south2	172.16.50.0/23	172.31.230.0/24	10.0.0.0/12
asia-southeast1	172.16.40.0/23	172.31.235.0/24	10.0.0.0/12
asia-southeast2	172.16.44.0/23	172.31.233.0/24	10.0.0.0/12
australia-southeast1	172.16.6.0/23	172.31.252.0/24	10.0.0.0/12
australia-southeast2	172.16.56.0/23	172.31.227.0/24	10.0.0.0/12
europe-central2	172.16.36.0/23	172.31.237.0/24	10.0.0.0/12
europe-north1	172.16.48.0/23	172.31.231.0/24	10.0.0.0/12
europe-southwest1	172.16.58.0/23	172.31.226.0/24	10.0.0.0/12
europe-west1	172.16.8.0/23	172.31.251.0/24	10.0.0.0/12
europe-west10	172.16.62.0/23	172.31.224.0/24	10.0.0.0/12
europe-west12	172.16.62.0/23	172.31.224.0/24	10.0.0.0/12
europe-west2	172.16.10.0/23	172.31.250.0/24	10.0.0.0/12
europe-west3	172.16.12.0/23	172.31.249.0/24	10.0.0.0/12
europe-west4	172.16.42.0/23	172.31.234.0/24	10.0.0.0/12
europe-west6	172.16.14.0/23	172.31.248.0/24	10.0.0.0/12
europe-west8	172.16.60.0/23	172.31.225.0/24	10.0.0.0/12
europe-west9	172.16.46.0/23	172.31.232.0/24	10.0.0.0/12
me-central1	172.16.58.0/23	172.31.226.0/24	10.0.0.0/12
me-west1	172.16.54.0/23	172.31.228.0/24	10.0.0.0/12
northamerica-northeast1	172.16.16.0/23	172.31.247.0/24	10.0.0.0/12
northamerica-northeast2	172.16.46.0/23	172.31.232.0/24	10.0.0.0/12
southamerica-east1	172.16.18.0/23	172.31.246.0/24	10.0.0.0/12
southamerica-west1	172.16.58.0/23	172.31.226.0/24	10.0.0.0/12
us-central1	172.16.20.0/23	172.31.245.0/24	10.0.0.0/12
us-east1	172.16.22.0/23	172.31.244.0/24	10.0.0.0/12
us-east4	172.16.24.0/23	172.31.243.0/24	10.0.0.0/12
us-east5	172.16.52.0/23	172.31.229.0/24	10.0.0.0/12
us-south1	172.16.56.0/23	172.31.227.0/24	10.0.0.0/12
us-west1	172.16.38.0/23	172.31.236.0/24	10.0.0.0/12
us-west2	172.16.34.0/23	172.31.238.0/24	10.0.0.0/12
us-west3	172.16.26.0/23	172.31.242.0/24	10.0.0.0/12
us-west4	172.16.28.0/23	172.31.241.0/24	10.0.0.0/12

(Optional) Verbindung zu Google APIs und Google-Diensten konfigurieren

Sie haben auch die Möglichkeit, den gesamten Traffic an Google APIs und Google-Dienste weiterzuleiten. über mehrere IP-Adressen, die zur private.googleapis.com gehören . Bei dieser Konfiguration greift Ihre Umgebung über IP-Adressen auf Google APIs und ‑Dienste zu, die nur innerhalb von Google Cloud routbar sind.

Wenn Ihre private IP-Umgebung auch VPC Service Controls verwendet, verwenden Sie Anleitung für Umgebungen mit VPC Service Controls .

Cloud Composer-Umgebungen verwenden die folgenden Domains:

• *.googleapis.com wird verwendet, um auf andere Google-Dienste zuzugreifen.

• Mit *.composer.cloud.google.com wird der Airflow-Webserver Ihrer zugänglich zu machen. Diese Regel muss angewendet werden, bevor Sie eine Umgebung erstellen.

  • Alternativ können Sie eine Regel für eine bestimmte Region erstellen. Gehen Sie dazu wie folgt vor: REGION.composer.cloud.google.com verwenden. Ersetzen Sie REGION durch die Region, in der sich die Umgebung befindet, z. B. us-central1.

• (Optional) *.composer.googleusercontent.com wird beim Zugriff auf die Airflow-Webserver Ihrer Umgebung. Diese Regel ist nur erforderlich, wenn Sie auf den Airflow-Webserver von einer Instanz aus VPC-Netzwerk und ist andernfalls nicht erforderlich. Ein häufiges Szenario für diese Regel ist, wenn Sie die Airflow REST API innerhalb des VPC-Netzwerks aufrufen möchten.

  • Alternativ können Sie eine Regel für eine bestimmte Umgebung erstellen. Bis verwenden Sie ENVIRONMENT_WEB_SERVER_NAME.composer.googleusercontent.com . Ersetzen Sie ENVIRONMENT_WEB_SERVER_NAME durch den eindeutigen Teil der Airflow-UI-URL Ihrer Umgebung, z. B. bffe6ce6c4304c55acca0e57be23128c-dot-us-central1.

• *.pkg.dev wird verwendet, um Umgebungs-Images abzurufen, z. B. beim Erstellen oder Aktualisieren einer Umgebung.

• *.gcr.io Für GKE ist unabhängig von der Cloud Composer-Version eine Verbindung zur Container Registry-Domain erforderlich.

Hinweis: Wenn Sie keine DNS-Regeln für Google APIs und ‑Dienste konfigurieren, werden sie mit der Domainoption für Standarddomains aufgelöst.

Konfigurieren Sie die Verbindung zum private.googleapis.com-Endpunkt.

Domain	DNS-Name	CNAME-Eintrag	A-Eintrag
*.googleapis.com	googleapis.com.	DNS-Name: *.googleapis.com. Ressourceneintragstyp: CNAME Kanonischer Name: googleapis.com.	Ressourceneintragstyp: A IPv4-Adressen: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
*.composer.cloud.google.com	composer.cloud.google.com.	DNS-Name: *.composer.cloud.google.com. Ressourceneintragstyp: CNAME Kanonischer Name: composer.cloud.google.com.	Ressourceneintragstyp: A IPv4-Adressen: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
*.composer.googleusercontent.com (optional, siehe Beschreibung)	composer.googleusercontent.com.	DNS-Name: *.composer.googleusercontent.com. Ressourceneintragstyp: CNAME Kanonischer Name: composer.googleusercontent.com.	Ressourceneintragstyp: A IPv4-Adressen: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
*.pkg.dev	pkg.dev.	DNS-Name: *.pkg.dev. Ressourceneintragstyp: CNAME Kanonischer Name: pkg.dev.	Ressourceneintragstyp: A IPv4-Adressen: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
*.gcr.io	gcr.io.	DNS-Name: *.gcr.io. Ressourceneintragstyp: CNAME Kanonischer Name: gcr.io.	Ressourceneintragstyp: A IPv4-Adressen: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11

So erstellen Sie eine DNS-Regel:

1. Erstellen Sie eine neue DNS-Zone und verwenden Sie DNS-Name als DNS-Namen dieser Zone.

   Beispiel: pkg.dev.

2. Fügen Sie einen Datensatz für den CNAME-Eintrag hinzu.

   Beispiel:

   • DNS-Name: *.pkg.dev.
   • Ressourceneintragstyp: CNAME
   • Kanonischer Name: pkg.dev.

3. Fügen Sie einen Datensatz hinzu mit den folgenden Werten für den A-Eintrag:

   Beispiel:

   • Ressourceneintragstyp: A
   • IPv4-Adressen: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11

Weitere Informationen finden Sie unter Private Verbindung zu Google APIs und Google-Diensten einrichten

(Optional) Firewallregeln konfigurieren

Führen Sie diesen Schritt nur aus, wenn Ihr Projekt nicht standardmäßige Firewallregeln hat, z. B. Regeln, die implizierte Firewallregeln überschreiben oder voreingestellte Regeln im Standardnetzwerk ändern.

Cloud Composer kann beispielsweise keine Umgebung erstellen, wenn Sie haben eine Firewallregel, die den gesamten ausgehenden Traffic ablehnt. Um Probleme zu vermeiden, Definieren Sie selektive allow-Regeln, die der Liste entsprechen und eine höhere Priorität haben als die globale deny-Regel.

Wichtig: Je nachdem, wie Firewallregeln in Ihrem Projekt konfiguriert sind, ist die folgende Liste der Regeln möglicherweise redundant. Wenn Ihre Firewallregeln beispielsweise blockieren, dann sind die aufgelisteten Regeln für ausgehenden Traffic nicht erforderlich.

Konfigurieren Sie Ihr VPC-Netzwerk so, dass Traffic aus Ihrer Umgebung zugelassen wird:

• Unter Firewallregeln verwenden erfahren Sie, wie Sie Regeln für VPC-Netzwerke prüfen, hinzufügen und aktualisieren.
• Verwenden Sie Verbindungstool um die Konnektivität zwischen IP-Bereichen zu prüfen.
• Mit Netzwerk-Tags können Sie den Zugriff zu beschränken. Sie können diese Tags beim Erstellen einer Umgebung festlegen.

Beschreibung	Richtung	Aktion	Quelle oder Ziel	Protokolle	Ports
DNS	Ausgehender Traffic	Zulassen	Alle Ziel- (0.0.0.0/0) oder DNS-Server-IP-Adressen	TCP, UDP	53
Google APIs und Google-Dienste	Ausgehender Traffic	Zulassen	IP-Adressbereich der von Ihnen für Google APIs und Dienste ausgewählten Domain. Wenn Sie Standardwerte verwenden, lesen Sie den Hilfeartikel IP-Adressen für Standarddomains.	TCP	443
Clusterknoten der Umgebung	Ausgehender Traffic	Zulassen	Primärer IP-Adressbereich des Subnetzes der Umgebung	TCP, UDP	Alle
Cluster-Pods der Umgebung	Ausgehender Traffic	Zulassen	Sekundärer IP-Adressbereich für Pods im Subnetzwerk der Umgebung	TCP, UDP	Alle
Steuerungsebene des Clusters der Umgebung	Ausgehender Traffic	Zulassen	IP-Bereich der GKE-Steuerungsebene	TCP, UDP	Alle
(Wenn in Ihrer Umgebung Private Service Connect verwendet wird) Verbindungssubnetz	Ausgehender Traffic	Zulassen	Bereich des Subnetzwerks für Cloud Composer-Verbindungen	TCP	3306, 3307
(Wenn in Ihrer Umgebung VPC-Peering verwendet wird) Mieternetzwerk	Ausgehender Traffic	Zulassen	IP-Bereich des Cloud Composer-Mandantennetzwerks	TCP	3306, 3307

Achtung: Der GKE-Dienst erstellt automatisch eine Reihe von Ingress- und Egress-Firewallregeln, damit der Cluster Ihrer Umgebung ordnungsgemäß funktioniert, z. B. Ingress- und Egress-Regeln für Google Cloud-Systemdiagnosetests. Weitere Informationen finden Sie auf der Seite GKE-Firewallregeln. Löschen oder blockieren Sie keine von GKE-Diensten erstellten Firewallregeln.

So rufen Sie IP-Bereiche ab:

• Die Adressbereiche für Pods, Dienste und die Steuerungsebene sind auf der Seite Cluster des Clusters Ihrer Umgebung verfügbar:

  1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

     Zur Seite Umgebungen

  2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

  3. Rufen Sie den Tab Umgebungskonfiguration auf.

  4. Klicken Sie auf den Link Clusterdetails aufrufen.

• Den IP-Bereich des Cloud Composer-Mandantennetzwerks der Umgebung finden Sie auf dem Tab Umgebungskonfiguration.

• Die Subnetzwerk-ID der Umgebung und die Subnetzwerk-ID der Cloud Composer-Verbindung finden Sie auf dem Tab Umgebungskonfiguration. IP-Adresse erhalten für ein Subnetzwerk festlegen möchten, rufen Sie die Seite VPC-Netzwerke auf und klicken Sie auf Netzwerknamen ein, um Details anzuzeigen:

  Zur Seite VPC-Netzwerke

Proxyserver-Einstellungen konfigurieren

Sie können die Umgebungsvariablen HTTP_PROXY und HTTPS_PROXY in Ihrer Umgebung festlegen. Diese Standard-Linux-Variablen werden von Webclients verwendet, die in Containern des Clusters Ihrer Umgebung ausgeführt werden, um Traffic über die angegebenen Proxys zu leiten.

Die Variable NO_PROXY ist standardmäßig auf eine Liste von Google-Domains festgelegt, die vom Proxying ausgeschlossen werden: .google.com,.googleapis.com,metadata.google.internal. Mit dieser Konfiguration können Sie eine Umgebung mit den festgelegten Umgebungsvariablen HTTP_PROXY und HTTPS_PROXY erstellen, wenn der Proxy nicht für den Umgang mit Traffic zu Google-Diensten konfiguriert ist.