Privates IP-Netzwerk konfigurieren

Cloud Composer 1 | Cloud Composer 2

Auf dieser Seite finden Sie Informationen zum Konfigurieren Ihres Google Cloud-Projektnetzwerks für private IP-Umgebungen.

Bei privaten IP-Umgebungen weist Cloud Composer den verwalteten Google Kubernetes Engine- und Cloud SQL-VMs in der Umgebung nur private IP-Adressen (RFC 1918) zu.

Optional können Sie auch privat verwendete öffentliche IP-Adressen und den IP-Masquerade-Agent verwenden, um den IP-Adressbereich zu speichern und Adressen außerhalb von RFC 1918 zu verwenden.

Informationen zum Herstellen einer Verbindung zu Ressourcen in der Umgebung finden Sie unter Private IP-Umgebung in Cloud Composer.

Hinweise

Prüfen Sie, ob Sie über die entsprechenden Nutzer- und Dienstkonto-Berechtigungen zum Erstellen einer Umgebung haben.

Netzwerkanforderungen prüfen

Prüfen Sie, ob das VPC-Netzwerk Ihres Projekts die folgenden Anforderungen erfüllt:

  • Achten Sie darauf, dass es keine Konflikte bei privaten IP-Blöcken gibt. Wenn sich IP-Blöcke Ihres VPC-Netzwerks und der zugehörigen erstellten VPC-Peers mit IP-Blöcken im VPC-Netzwerk des von Google verwalteten Mandantenprojekts überschneiden, kann die Umgebung nicht von Cloud Composer erstellt werden. Die in den einzelnen Regionen verwendeten Standardeinstellungen finden Sie in der Tabelle mit den Standard-IP-Bereichen.

  • Prüfen Sie, ob es genügend sekundäre IP-Bereiche für die GKE-Pods und -Dienste von Cloud Composer gibt. GKE sucht für das IP-Aliasing nach sekundären IP-Bereichen. Wenn GKE keinen Bereich findet, kann die Umgebung nicht von Cloud Composer erstellt werden.

  • Sorgen Sie dafür, dass nicht mehr als 30 sekundäre Bereiche in Ihrem Subnetzwerk vorhanden sind. Beachten Sie dabei Folgendes:

    • Der GKE-Cluster der privaten IP-Umgebung erstellt zwei sekundäre Bereiche im Subnetzwerk. Sie können für dasselbe VPC-Netzwerk mehrere Subnetzwerke in derselben Region erstellen.
    • Es werden maximal 30 sekundäre Bereiche unterstützt. Jede private IP-Umgebung erfordert zwei sekundäre Bereiche für die GKE-Pods und -Dienste von Cloud Composer.

  • Achten Sie darauf, dass das Netzwerk Ihres Projekts das Limit für die maximale Anzahl von Verbindungen zu einem einzelnen VPC-Netzwerk einhalten kann. Die maximal erstellbare Zahl privater IP-Umgebungen hängt von der Anzahl der bereits vorhandenen VPC-Peering-Verbindungen in Ihrem VPC-Netzwerk ab.

  • Jede private IP-Umgebung verwendet höchstens zwei VPC-Peerings pro Umgebung. Cloud Composer erstellt ein VPC-Peering für das Netzwerk des Mandantenprojekts. Das zweite Peering wird vom GKE-Cluster Ihrer Umgebung erstellt. GKE-Cluster können diese Verbindung wiederverwenden.

Netzwerk, Subnetzwerk und Netzwerkbereiche wählen

Wählen Sie die Netzwerkbereiche für Ihre private IP-Umgebung aus oder verwenden Sie die Standardbereiche. Sie verwenden diese Netzwerkbereiche später, wenn Sie eine private IP-Umgebung erstellen.

Zum Erstellen einer Private-IP-Umgebung benötigen Sie folgende Informationen:

  • Ihre VPC-Netzwerk-ID
  • Ihre VPC-Subnetzwerk-ID
  • Zwei sekundäre IP-Bereiche in Ihrem VPC-Subnetzwerk:
    • Sekundärer IP-Bereich für Pods
    • Sekundärer IP-Bereich für Dienste

  • IP-Bereiche für die Komponenten der Umgebung:

    • IP-Bereich der GKE-Steuerungsebene. IP-Bereich für die GKE-Steuerungsebene.
      • Webserver-IP-Bereich.
    • Webserver-IP-Bereich IP-Bereich für die Airflow-Webserverinstanz.

    • Cloud SQL-IP-Bereich IP-Bereich für die Cloud SQL-Instanz.

Die in den einzelnen Regionen verwendeten Standardeinstellungen finden Sie in der Tabelle mit den Standard-IP-Bereichen.

Standard-IP-Bereiche

Region IP-Bereich der GKE-Steuerungsebene Webserver-IP-Bereich Cloud SQL-IP-Bereich
asia-east1 172.16.42.0/23 172.31.255.0/24 10.0.0.0/12
asia-east2 172.16.0.0/23 172.31.255.0/24 10.0.0.0/12
asia-northeast1 172.16.2.0/23 172.31.254.0/24 10.0.0.0/12
asia-northeast2 172.16.32.0/23 172.31.239.0/24 10.0.0.0/12
asia-northeast3 172.16.30.0/23 172.31.240.0/24 10.0.0.0/12
asia-south1 172.16.4.0/23 172.31.253.0/24 10.0.0.0/12
asia-south2 172.16.50.0/23 172.31.230.0/24 10.0.0.0/12
asia-southeast1 172.16.40.0/23 172.31.235.0/24 10.0.0.0/12
asia-southeast2 172.16.44.0/23 172.31.233.0/24 10.0.0.0/12
australia-southeast1 172.16.6.0/23 172.31.252.0/24 10.0.0.0/12
australia-southeast2 172.16.56.0/23 172.31.227.0/24 10.0.0.0/12
europe-central2 172.16.36.0/23 172.31.237.0/24 10.0.0.0/12
europe-north1 172.16.48.0/23 172.31.231.0/24 10.0.0.0/12
europe-southwest1 172.16.58.0/23 172.31.226.0/24 10.0.0.0/12
europe-west1 172.16.8.0/23 172.31.251.0/24 10.0.0.0/12
europe-west10 172.16.62.0/23 172.31.224.0/24 10.0.0.0/12
europe-west12 172.16.62.0/23 172.31.224.0/24 10.0.0.0/12
europe-west2 172.16.10.0/23 172.31.250.0/24 10.0.0.0/12
europe-west3 172.16.12.0/23 172.31.249.0/24 10.0.0.0/12
europe-west4 172.16.42.0/23 172.31.234.0/24 10.0.0.0/12
europe-west6 172.16.14.0/23 172.31.248.0/24 10.0.0.0/12
europe-west8 172.16.60.0/23 172.31.225.0/24 10.0.0.0/12
europe-west9 172.16.46.0/23 172.31.232.0/24 10.0.0.0/12
me-central1 172.16.58.0/23 172.31.226.0/24 10.0.0.0/12
me-west1 172.16.54.0/23 172.31.228.0/24 10.0.0.0/12
northamerica-northeast1 172.16.16.0/23 172.31.247.0/24 10.0.0.0/12
northamerica-northeast2 172.16.46.0/23 172.31.232.0/24 10.0.0.0/12
southamerica-east1 172.16.18.0/23 172.31.246.0/24 10.0.0.0/12
southamerica-west1 172.16.58.0/23 172.31.226.0/24 10.0.0.0/12
us-central1 172.16.20.0/23 172.31.245.0/24 10.0.0.0/12
us-east1 172.16.22.0/23 172.31.244.0/24 10.0.0.0/12
us-east4 172.16.24.0/23 172.31.243.0/24 10.0.0.0/12
us-east5 172.16.52.0/23 172.31.229.0/24 10.0.0.0/12
us-south1 172.16.56.0/23 172.31.227.0/24 10.0.0.0/12
us-west1 172.16.38.0/23 172.31.236.0/24 10.0.0.0/12
us-west2 172.16.34.0/23 172.31.238.0/24 10.0.0.0/12
us-west3 172.16.26.0/23 172.31.242.0/24 10.0.0.0/12
us-west4 172.16.28.0/23 172.31.241.0/24 10.0.0.0/12

(Optional) Verbindung zu Google APIs und Google-Diensten konfigurieren

Optional können Sie den gesamten Traffic an Google APIs und Google-Dienste über mehrere IP-Adressen weiterleiten, die zur Domain private.googleapis.com gehören. In dieser Konfiguration greift Ihre Umgebung über IP-Adressen auf Google APIs und Google-Dienste zu, die nur von Google Cloud aus weitergeleitet werden können.

Wenn Ihre private IP-Umgebung auch VPC Service Controls verwendet, folgen Sie stattdessen der Anleitung für Umgebungen mit VPC Service Controls.

Cloud Composer-Umgebungen verwenden die folgenden Domains:

  • *.googleapis.com wird für den Zugriff auf andere Google-Dienste verwendet.

  • Mit *.pkg.dev werden Umgebungs-Images abgerufen, z. B. beim Erstellen oder Aktualisieren einer Umgebung.

  • *.gcr.io GKE erfordert unabhängig von der Cloud Composer-Version eine Verbindung zur Container Registry-Domain.

Konfigurieren Sie die Verbindung zum private.googleapis.com-Endpunkt.

Domain DNS-Name CNAME-Eintrag A-Eintrag
*.googleapis.com googleapis.com. DNS-Name: *.googleapis.com.
Ressourceneintragstyp: CNAME
Kanonischer Name: googleapis.com.
 Ressourceneintragstyp: A
IPv4-Adressen: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
*.pkg.dev pkg.dev. DNS-Name: *.pkg.dev.
Ressourceneintragstyp: CNAME
Kanonischer Name: pkg.dev.
 Ressourceneintragstyp: A
IPv4-Adressen: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
*.gcr.io gcr.io. DNS-Name: *.gcr.io.
Ressourceneintragstyp: CNAME
Kanonischer Name: gcr.io.
 Ressourceneintragstyp: A
IPv4-Adressen: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11

So erstellen Sie eine DNS-Regel:

  1. Erstellen Sie eine neue DNS-Zone und verwenden Sie DNS-Name als DNS-Namen dieser Zone.

    Beispiel: pkg.dev.

  2. Fügen Sie einen Datensatz für CNAME-Eintrag hinzu.

    Beispiel:

    • DNS-Name: *.pkg.dev.
    • Ressourceneintragstyp: CNAME
    • Kanonischer Name: pkg.dev.

  3. Fügen Sie einen Eintrag für A-Eintrag hinzu:

    Beispiel:

    • Ressourceneintragstyp: A
    • IPv4-Adressen: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11

Weitere Informationen finden Sie unter Private Verbindung zu Google APIs und Google-Diensten einrichten.

(Optional) Firewallregeln konfigurieren

Führen Sie diesen Schritt nur aus, wenn in Ihrem Projekt nicht standardmäßige Firewallregeln vorhanden sind, z. B. Regeln, die implizite Firewallregeln überschreiben, oder vorkonfigurierte Regeln im Standardnetzwerk ändern.

Cloud Composer kann beispielsweise keine Umgebung erstellen, wenn Sie eine Firewallregel haben, die den gesamten ausgehenden Traffic ablehnt. Definieren Sie selektive allow-Regeln, die der Liste folgen und eine höhere Priorität als die globale deny-Regel haben, um Probleme zu vermeiden.

Konfigurieren Sie Ihr VPC-Netzwerk so, dass Traffic von Ihrer Umgebung zugelassen wird:

  • Unter Firewallregeln verwenden erfahren Sie, wie Sie Regeln für Ihr VPC-Netzwerk prüfen, hinzufügen und aktualisieren.
  • Verwenden Sie das Verbindungstool, um die Konnektivität zwischen IP-Bereichen zu prüfen.
  • Sie können Netzwerk-Tags verwenden, um den Zugriff weiter einzuschränken. Sie können diese Tags beim Erstellen einer Umgebung festlegen.
Beschreibung Richtung Aktion Quelle oder Ziel Protokolle Ports
DNS Ausgehender Traffic Zulassen Beliebige Ziel- (0.0.0.0/0) oder DNS-Server-IP-Adressen TCP, UDP 53
Google APIs und Google-Dienste Ausgehender Traffic Zulassen IP-Adressbereich der Domain, die Sie für Google APIs und Google-Dienste ausgewählt haben. Falls Sie Standardeinstellungen verwenden, finden Sie entsprechende Informationen unter IP-Adressen für Standarddomains. TCP 443
Clusterknoten der Umgebung Ausgehender Traffic Zulassen Primärer IP-Adressbereich des Subnetzwerks der Umgebung TCP, UDP Alle
Cluster-Pods der Umgebung Ausgehender Traffic Zulassen Sekundärer IP-Adressbereich für Pods im Subnetzwerk der Umgebung TCP, UDP Alle
Cluster-Steuerungsebene der Umgebung Ausgehender Traffic Zulassen IP-Bereich der GKE-Steuerungsebene TCP, UDP Alle
Webserver Ausgehender Traffic Zulassen IP-Bereich des Webservernetzwerks TCP 3306 3307

So rufen Sie IP-Bereiche ab:

  • Adressbereiche für Pods, Dienste und Steuerungsebenen sind auf der Seite Cluster des Clusters Ihrer Umgebung verfügbar:

    1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

      Zur Seite Umgebungen“

    2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

    3. Rufen Sie den Tab Umgebungskonfiguration auf.

    4. Folgen Sie dem Link Clusterdetails ansehen.

  • Sie können den Webserver-IP-Bereich der Umgebung auf dem Tab Umgebungskonfiguration sehen.

  • Die Netzwerk-ID der Umgebung wird auf dem Tab Umgebungskonfiguration angezeigt. Wenn Sie IP-Bereiche für ein Subnetzwerk abrufen möchten, rufen Sie die Seite VPC-Netzwerke auf und klicken Sie auf den Namen des Netzwerks, um Details aufzurufen:

    Zur Seite VPC-Netzwerke

VPC-native Clusterkonfiguration

Cloud Composer unterstützt VPC-native GKE-Cluster in Ihrer Umgebung.

Beim Erstellen der Umgebung können Sie "VPC-nativ" aktivieren (mithilfe der Alias-IP) und Netzwerke konfigurieren, z. B. eine IP-Zuordnung, ohne die private IP-Umgebung zu aktivieren.

Da ein VPC-nativer Cluster für die Kommunikation von Airflow-Aufgaben mit anderen VMs erforderlich ist, die über private IPs erreichbar sind, müssen Sie beim Konfigurieren einer privaten IP-Umgebung auch "VPC-nativ" aktivieren.

Proxyserver-Einstellungen konfigurieren

Sie können die Umgebungsvariablen HTTP_PROXY und HTTPS_PROXY in Ihrer Umgebung festlegen. Diese Standard-Linux-Variablen werden von Webclients verwendet, die in Containern des Clusters Ihrer Umgebung ausgeführt werden, um Traffic über die angegebenen Proxys zu leiten.

Die Variable NO_PROXY ist standardmäßig auf eine Liste von Google-Domains festgelegt, damit sie vom Proxy ausgeschlossen werden: .google.com,.googleapis.com,metadata.google.internal. Mit dieser Konfiguration kann eine Umgebung mit den festgelegten Umgebungsvariablen HTTP_PROXY und HTTPS_PROXY erstellt werden, wenn der Proxy nicht für die Verarbeitung von Traffic zu Google-Diensten konfiguriert ist.