Privates IP-Netzwerk konfigurieren

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Auf dieser Seite finden Sie Informationen zum Konfigurieren Ihres Google Cloud-Projektnetzwerks für private IP-Umgebungen.

Bei privaten IP-Umgebungen weist Cloud Composer den verwalteten Google Kubernetes Engine- und Cloud SQL-VMs in der Umgebung nur private IP-Adressen (RFC 1918) zu.

Optional können Sie auch privat verwendete öffentliche IP-Adressen verwenden. und mit dem IP-Masquerade-Agent, um die IP-Adresse zu speichern und Adressen außerhalb von RFC 1918 verwenden.

Informationen zum Herstellen einer Verbindung zu Ressourcen in der Umgebung finden Sie unter Private IP-Umgebung in Cloud Composer.

Umgebungen mit Private Service Connect und VPC-Peerings

Standardmäßig wird Cloud Composer 2 verwendet Private Service Connect, sodass Ihre private IP-Umgebungen kommunizieren intern ohne VPC-Peerings, es sei denn die Sie beim Erstellen der Umgebung angeben würden.

Wir empfehlen, Umgebungen mit Private Service Connect zu verwenden Wenn Sie keine besonderen Anforderungen an die Verwendung von Umgebungen mit VPC haben Peerings.

Hinweise

Prüfen Sie, ob Sie über die entsprechenden Nutzer- und Dienstkonto-Berechtigungen zum Erstellen einer Umgebung haben.

Netzwerkanforderungen prüfen

Prüfen Sie, ob das VPC-Netzwerk Ihres Projekts die folgenden Anforderungen erfüllt Anforderungen:

  • Achten Sie darauf, dass es keine Konflikte bei privaten IP-Blöcken gibt. Wenn sich IP-Blöcke Ihres VPC-Netzwerks und der zugehörigen erstellten VPC-Peers mit IP-Blöcken im VPC-Netzwerk des von Google verwalteten Mandantenprojekts überschneiden, kann die Umgebung nicht von Cloud Composer erstellt werden. In der Tabelle mit den Standard-IP-Bereichen sind die Standardeinstellungen für für jede Region.

  • Prüfen Sie, ob es genügend sekundäre IP-Bereiche für die GKE-Pods und -Dienste von Cloud Composer gibt. GKE sucht für das IP-Aliasing nach sekundären IP-Bereichen. Wenn GKE keinen Bereich findet, kann die Umgebung nicht von Cloud Composer erstellt werden.

  • Sorgen Sie dafür, dass nicht mehr als 30 sekundäre Bereiche in Ihrem Subnetzwerk vorhanden sind. Beachten Sie dabei Folgendes:

    • Der GKE-Cluster der privaten IP-Umgebung erstellt zwei sekundäre Bereiche im Subnetzwerk. Sie können für dasselbe VPC-Netzwerk mehrere Subnetzwerke in derselben Region erstellen.
    • Es werden maximal 30 sekundäre Bereiche unterstützt. Jedes Die private IP-Umgebung erfordert zwei sekundäre Bereiche für GKE-Pods und -Dienste von Cloud Composer.

  • Achten Sie darauf, dass das Netzwerk Ihres Projekts das Limit unterstützt für die maximale Anzahl von Verbindungen zu einem einzelnen VPC-Netzwerk. Die maximal erstellbare Zahl privater IP-Umgebungen hängt von der Anzahl der bereits vorhandenen VPC-Peering-Verbindungen in Ihrem VPC-Netzwerk ab.

Netzwerk, Subnetzwerk und Netzwerkbereiche wählen

Wählen Sie die Netzwerkbereiche für Ihre private IP-Umgebung aus oder verwenden Sie die Standardbereiche. Sie verwenden diese Netzwerkbereiche später, wenn Sie eine private IP-Umgebung erstellen.

Zum Erstellen einer Private-IP-Umgebung benötigen Sie folgende Informationen:

  • Ihre VPC-Netzwerk-ID
  • Ihre VPC-Subnetzwerk-ID
  • Zwei sekundäre IP-Bereiche in Ihrem VPC-Subnetzwerk:
    • Sekundärer IP-Bereich für Pods
    • Sekundärer IP-Bereich für Dienste

  • IP-Bereiche für die Komponenten der Umgebung:

    Wenn Ihre Umgebung Private Service Connect verwendet:

    • IP-Bereich der GKE-Steuerungsebene. IP-Bereich für die GKE-Steuerungsebene.
    • Subnetzwerk für Cloud Composer-Verbindung. IP-Bereich für die Subnetzwerk der Cloud Composer-Verbindung. Sie können eine nur eine IP-Adresse hat. Dieser Bereich kann von mehreren in Ihrem Projekt erstellen.

    Wenn Ihre Umgebung VPC-Peerings verwendet:

    • IP-Bereich der GKE-Steuerungsebene. IP-Bereich für die GKE-Steuerungsebene.
    • IP-Bereich für das Cloud Composer-Mandantennetzwerk IP-Adresse Bereich für das Mandantennetzwerk von Cloud Composer. Dieses Netzwerk hostet die SQL-Proxy-Komponente Ihrer Umgebung.

    • Cloud SQL-IP-Bereich IP-Bereich für die Cloud SQL-Instanz.

Die Standardeinstellungen für die einzelnen IP-Bereiche finden Sie in der Tabelle mit den Standard-IP-Bereichen. Region

Standard-IP-Bereiche

Umgebungen mit Private Service Connect

Region IP-Bereich der GKE-Steuerungsebene
africa-south1 172.16.64.0/23
asia-east1 172.16.42.0/23
asia-east2 172.16.0.0/23
asia-northeast1 172.16.2.0/23
asia-northeast2 172.16.32.0/23
asia-northeast3 172.16.30.0/23
asia-south1 172.16.4.0/23
asia-south2 172.16.50.0/23
asia-southeast1 172.16.40.0/23
asia-southeast2 172.16.44.0/23
australia-southeast1 172.16.6.0/23
australia-southeast2 172.16.56.0/23
europe-central2 172.16.36.0/23
europe-north1 172.16.48.0/23
europe-southwest1 172.16.58.0/23
europe-west1 172.16.8.0/23
europe-west10 172.16.62.0/23
europe-west12 172.16.62.0/23
europe-west2 172.16.10.0/23
europe-west3 172.16.12.0/23
europe-west4 172.16.42.0/23
europe-west6 172.16.14.0/23
europe-west8 172.16.60.0/23
europe-west9 172.16.46.0/23
me-central1 172.16.58.0/23
me-west1 172.16.54.0/23
northamerica-northeast1 172.16.16.0/23
northamerica-northeast2 172.16.46.0/23
southamerica-east1 172.16.18.0/23
southamerica-west1 172.16.58.0/23
us-central1 172.16.20.0/23
us-east1 172.16.22.0/23
us-east4 172.16.24.0/23
us-east5 172.16.52.0/23
us-south1 172.16.56.0/23
us-west1 172.16.38.0/23
us-west2 172.16.34.0/23
us-west3 172.16.26.0/23
us-west4 172.16.28.0/23

Umgebungen mit VPC-Peerings

Region IP-Bereich der GKE-Steuerungsebene IP-Bereich des Cloud Composer-Mandantennetzwerks Cloud SQL-IP-Bereich
africa-south1 172.16.64.0/23 172.31.223.0/24 10.0.0.0/12
asia-east1 172.16.42.0/23 172.31.255.0/24 10.0.0.0/12
asia-east2 172.16.0.0/23 172.31.255.0/24 10.0.0.0/12
asia-northeast1 172.16.2.0/23 172.31.254.0/24 10.0.0.0/12
asia-northeast2 172.16.32.0/23 172.31.239.0/24 10.0.0.0/12
asia-northeast3 172.16.30.0/23 172.31.240.0/24 10.0.0.0/12
asia-south1 172.16.4.0/23 172.31.253.0/24 10.0.0.0/12
asia-south2 172.16.50.0/23 172.31.230.0/24 10.0.0.0/12
asia-southeast1 172.16.40.0/23 172.31.235.0/24 10.0.0.0/12
asia-southeast2 172.16.44.0/23 172.31.233.0/24 10.0.0.0/12
australia-southeast1 172.16.6.0/23 172.31.252.0/24 10.0.0.0/12
australia-southeast2 172.16.56.0/23 172.31.227.0/24 10.0.0.0/12
europe-central2 172.16.36.0/23 172.31.237.0/24 10.0.0.0/12
europe-north1 172.16.48.0/23 172.31.231.0/24 10.0.0.0/12
europe-southwest1 172.16.58.0/23 172.31.226.0/24 10.0.0.0/12
europe-west1 172.16.8.0/23 172.31.251.0/24 10.0.0.0/12
europe-west10 172.16.62.0/23 172.31.224.0/24 10.0.0.0/12
europe-west12 172.16.62.0/23 172.31.224.0/24 10.0.0.0/12
europe-west2 172.16.10.0/23 172.31.250.0/24 10.0.0.0/12
europe-west3 172.16.12.0/23 172.31.249.0/24 10.0.0.0/12
europe-west4 172.16.42.0/23 172.31.234.0/24 10.0.0.0/12
europe-west6 172.16.14.0/23 172.31.248.0/24 10.0.0.0/12
europe-west8 172.16.60.0/23 172.31.225.0/24 10.0.0.0/12
europe-west9 172.16.46.0/23 172.31.232.0/24 10.0.0.0/12
me-central1 172.16.58.0/23 172.31.226.0/24 10.0.0.0/12
me-west1 172.16.54.0/23 172.31.228.0/24 10.0.0.0/12
northamerica-northeast1 172.16.16.0/23 172.31.247.0/24 10.0.0.0/12
northamerica-northeast2 172.16.46.0/23 172.31.232.0/24 10.0.0.0/12
southamerica-east1 172.16.18.0/23 172.31.246.0/24 10.0.0.0/12
southamerica-west1 172.16.58.0/23 172.31.226.0/24 10.0.0.0/12
us-central1 172.16.20.0/23 172.31.245.0/24 10.0.0.0/12
us-east1 172.16.22.0/23 172.31.244.0/24 10.0.0.0/12
us-east4 172.16.24.0/23 172.31.243.0/24 10.0.0.0/12
us-east5 172.16.52.0/23 172.31.229.0/24 10.0.0.0/12
us-south1 172.16.56.0/23 172.31.227.0/24 10.0.0.0/12
us-west1 172.16.38.0/23 172.31.236.0/24 10.0.0.0/12
us-west2 172.16.34.0/23 172.31.238.0/24 10.0.0.0/12
us-west3 172.16.26.0/23 172.31.242.0/24 10.0.0.0/12
us-west4 172.16.28.0/23 172.31.241.0/24 10.0.0.0/12

(Optional) Verbindung zu Google APIs und Google-Diensten konfigurieren

Sie haben auch die Möglichkeit, den gesamten Traffic an Google APIs und Google-Dienste weiterzuleiten. über mehrere IP-Adressen, die zur private.googleapis.com gehören . In dieser Konfiguration greift Ihre Umgebung auf Google APIs und über IP-Adressen, die nur von Google Cloud aus weitergeleitet werden können.

Wenn Ihre private IP-Umgebung auch VPC Service Controls verwendet, verwenden Sie Anleitung für Umgebungen mit VPC Service Controls .

Cloud Composer-Umgebungen verwenden die folgenden Domains:

  • *.googleapis.com wird für den Zugriff auf andere Google-Dienste verwendet.

  • Mit *.composer.cloud.google.com wird der Airflow-Webserver Ihrer zugänglich zu machen. Diese Regel muss angewendet werden, bevor Sie eine zu verbessern.

    • Alternativ können Sie eine Regel für eine bestimmte Region erstellen. Gehen Sie dazu wie folgt vor: REGION.composer.cloud.google.com verwenden. Ersetzen Sie REGION durch die Region, in der sich die Umgebung befindet. Beispiel: us-central1.

  • (Optional) *.composer.googleusercontent.com wird beim Zugriff auf die Airflow-Webserver Ihrer Umgebung. Diese Regel ist nur erforderlich, wenn Sie auf den Airflow-Webserver von einer Instanz aus VPC-Netzwerk und ist andernfalls nicht erforderlich. Ein gängiges Szenario für dieses wenn Sie die Airflow REST API aus dem VPC-Netzwerk aufrufen möchten.

    • Alternativ können Sie eine Regel für eine bestimmte Umgebung erstellen. Bis verwenden Sie ENVIRONMENT_WEB_SERVER_NAME.composer.googleusercontent.com . Ersetzen Sie ENVIRONMENT_WEB_SERVER_NAME durch den eindeutigen Teil von die Airflow-UI-URL Ihrer Umgebung, z. B. bffe6ce6c4304c55acca0e57be23128c-dot-us-central1.

  • *.pkg.dev wird zum Abrufen von Umgebungs-Images verwendet, z. B. beim Erstellen oder Aktualisierung einer Umgebung.

  • *.gcr.io GKE erfordert eine Verbindung zu Container Registry-Domain unabhängig von der Cloud Composer-Version.

Konfigurieren Sie die Verbindung zum private.googleapis.com-Endpunkt.

Domain DNS-Name CNAME-Eintrag A-Eintrag
*.googleapis.com googleapis.com. DNS-Name: *.googleapis.com.
Ressourceneintragstyp: CNAME
Kanonischer Name: googleapis.com.
 Ressourceneintragstyp: A
IPv4-Adressen: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
*.composer.cloud.google.com composer.cloud.google.com. DNS-Name: *.composer.cloud.google.com.
Ressourceneintragstyp: CNAME
Kanonischer Name: composer.cloud.google.com.
 Ressourceneintragstyp: A
IPv4-Adressen: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
*.composer.googleusercontent.com
(optional, siehe Beschreibung) 		composer.googleusercontent.com. DNS-Name: *.composer.googleusercontent.com.
Ressourceneintragstyp: CNAME
Kanonischer Name: composer.googleusercontent.com.
 Ressourceneintragstyp: A
IPv4-Adressen: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
*.pkg.dev pkg.dev. DNS-Name: *.pkg.dev.
Ressourceneintragstyp: CNAME
Kanonischer Name: pkg.dev.
 Ressourceneintragstyp: A
IPv4-Adressen: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
*.gcr.io gcr.io. DNS-Name: *.gcr.io.
Ressourceneintragstyp: CNAME
Kanonischer Name: gcr.io.
 Ressourceneintragstyp: A
IPv4-Adressen: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11

So erstellen Sie eine DNS-Regel:

  1. Erstellen Sie eine neue DNS-Zone und verwenden Sie DNS-Name als DNS-Namen dieser Zone.

    Beispiel: pkg.dev.

  2. Fügen Sie einen Eintrag für den CNAME-Eintrag hinzu.

    Beispiel:

    • DNS-Name: *.pkg.dev.
    • Ressourceneintragstyp: CNAME
    • Kanonischer Name: pkg.dev.

  3. Fügen Sie einen Eintrag für A-Eintrag hinzu:

    Beispiel:

    • Ressourceneintragstyp: A
    • IPv4-Adressen: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11

Weitere Informationen finden Sie unter Private Verbindung zu Google APIs und Google-Diensten einrichten

(Optional) Firewallregeln konfigurieren

Führen Sie diesen Schritt nur aus, wenn Ihr Projekt nicht standardmäßige Firewallregeln wie Regeln, die die Implizierte Firewallregeln oder vorkonfigurierte Regeln ändern in zum Standardnetzwerk.

Cloud Composer kann beispielsweise keine Umgebung erstellen, wenn Sie haben eine Firewallregel, die den gesamten ausgehenden Traffic ablehnt. Um Probleme zu vermeiden, Definieren Sie selektive allow-Regeln, die der Liste entsprechen und eine höhere Priorität haben als die globale deny-Regel.

Konfigurieren Sie Ihr VPC-Netzwerk so, dass Traffic aus Ihrer Umgebung zugelassen wird:

  • Unter Firewallregeln verwenden erfahren Sie, wie Sie Regeln für Ihr VPC-Netzwerk prüfen, hinzufügen und aktualisieren.
  • Verwenden Sie Verbindungstool um die Konnektivität zwischen IP-Bereichen zu prüfen.
  • Mit Netzwerk-Tags können Sie den Zugriff zu beschränken. Sie können diese Tags beim Erstellen einer Umgebung festlegen.
Beschreibung Richtung Aktion Quelle oder Ziel Protokolle Ports
DNS Ausgehender Traffic Zulassen Alle Ziel- (0.0.0.0/0) oder DNS-Server-IP-Adressen TCP, UDP 53
Google APIs und Google-Dienste Ausgehender Traffic Zulassen IP-Adressbereich der Domain, die Sie für Google APIs und Google-Dienste ausgewählt haben. Falls Sie Standardwerte verwenden, finden Sie weitere Informationen unter IP-Adressen für Standarddomains. TCP 443
Clusterknoten der Umgebung Ausgehender Traffic Zulassen Primärer IP-Adressbereich des Subnetzwerks der Umgebung TCP, UDP Alle
Cluster-Pods der Umgebung Ausgehender Traffic Zulassen Sekundärer IP-Adressbereich für Pods im Subnetzwerk der Umgebung TCP, UDP Alle
Steuerungsebene des Clusters der Umgebung Ausgehender Traffic Zulassen IP-Bereich der GKE-Steuerungsebene TCP, UDP Alle
(Wenn Ihre Umgebung Private Service Connect verwendet) Verbindungssubnetzwerk Ausgehender Traffic Zulassen Subnetzwerkbereich der Cloud Composer-Verbindung TCP 3306, 3307
(Wenn Ihre Umgebung VPC-Peerings verwendet) Mandantennetzwerk Ausgehender Traffic Zulassen IP-Bereich des Cloud Composer-Mandantennetzwerks TCP 3306, 3307

So rufen Sie IP-Bereiche ab:

  • Pod-, Dienst- und Steuerungsebenen-Adressbereiche sind verfügbar in auf der Seite Cluster des Umgebungsclusters:

    1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

      Zur Seite Umgebungen

    2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

    3. Rufen Sie den Tab Umgebungskonfiguration auf.

    4. Klicken Sie auf den Link Clusterdetails ansehen.

  • Sie können die Umgebung IP-Bereich des Cloud Composer-Mandantennetzwerks auf dem Tab Umgebungskonfiguration

  • Sie können die Umgebung Subnetzwerk-ID und Subnetzwerk-ID der Cloud Composer-Verbindung auf dem Tab Umgebungskonfiguration. IP-Adresse erhalten für ein Subnetzwerk festlegen möchten, rufen Sie die Seite VPC-Netzwerke auf und klicken Sie auf Netzwerknamen ein, um Details anzuzeigen:

    Zur Seite VPC-Netzwerke

Proxyserver-Einstellungen konfigurieren

Sie können die Umgebungsvariablen HTTP_PROXY und HTTPS_PROXY festlegen. in Ihrer Umgebung. Diese Standard-Linux-Variablen werden von Webclients verwendet die in Containern im Cluster Ihrer Umgebung ausgeführt werden, um Traffic den angegebenen Proxys.

Die Variable NO_PROXY ist standardmäßig auf eine Liste von Google-Domains festgelegt, sodass sie von der Proxys ausgeschlossen sind: .google.com,.googleapis.com,metadata.google.internal. Diese Konfiguration ermöglicht das Erstellen einer Umgebung mit der Einstellung HTTP_PROXY und HTTPS_PROXY-Umgebungsvariablen, wenn der Proxy nicht konfiguriert ist um Traffic zu Google-Diensten zu verarbeiten.