Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Auf dieser Seite finden Sie Informationen zum Konfigurieren Ihres Google Cloud-Projektnetzwerks für private IP-Umgebungen.
Bei privaten IP-Umgebungen weist Cloud Composer den verwalteten Google Kubernetes Engine- und Cloud SQL-VMs in der Umgebung nur private IP-Adressen (RFC 1918) zu.
Optional können Sie auch privat verwendete öffentliche IP-Adressen und den IP Masquerade-Agent nutzen, um den IP-Adressbereich zu speichern und Adressen außerhalb von RFC 1918 zu verwenden.
Informationen zum Herstellen einer Verbindung zu Ressourcen in der Umgebung finden Sie unter Private IP-Umgebung in Cloud Composer.
Hinweis
- Prüfen Sie, ob Sie über die entsprechenden Nutzer- und Dienstkonto-Berechtigungen zum Erstellen einer Umgebung haben.
- Prüfen Sie, ob Inkompatible Organisationsrichtlinien nicht in Ihrem Projekt definiert sind.
Netzwerkanforderungen prüfen
Prüfen Sie, ob das VPC-Netzwerk Ihres Projekts die folgenden Anforderungen erfüllt Anforderungen:
Achten Sie darauf, dass es keine Konflikte bei privaten IP-Blöcken gibt. Wenn sich IP-Blöcke Ihres VPC-Netzwerks und der zugehörigen erstellten VPC-Peers mit IP-Blöcken im VPC-Netzwerk des von Google verwalteten Mandantenprojekts überschneiden, kann die Umgebung nicht von Cloud Composer erstellt werden. In der Tabelle mit den Standard-IP-Bereichen sind die Standardeinstellungen für für jede Region.
Prüfen Sie, ob es genügend sekundäre IP-Bereiche für die GKE-Pods und -Dienste von Cloud Composer gibt. GKE sucht für das IP-Aliasing nach sekundären IP-Bereichen. Wenn GKE keinen Bereich findet, kann die Umgebung nicht von Cloud Composer erstellt werden.
Sorgen Sie dafür, dass nicht mehr als 30 sekundäre Bereiche in Ihrem Subnetzwerk vorhanden sind. Beachten Sie dabei Folgendes:
- Der GKE-Cluster der privaten IP-Umgebung erstellt zwei sekundäre Bereiche im Subnetzwerk. Sie können für dasselbe VPC-Netzwerk mehrere Subnetzwerke in derselben Region erstellen.
- Es werden maximal 30 sekundäre Bereiche unterstützt. Jedes Die private IP-Umgebung erfordert zwei sekundäre Bereiche für GKE-Pods und -Dienste von Cloud Composer.
Achten Sie darauf, dass das Netzwerk Ihres Projekts das Limit unterstützt für die maximale Anzahl von Verbindungen zu einem einzelnen VPC-Netzwerk. Die maximal erstellbare Zahl privater IP-Umgebungen hängt von der Anzahl der bereits vorhandenen VPC-Peering-Verbindungen in Ihrem VPC-Netzwerk ab.
Für jede private IP-Umgebung werden maximal zwei VPC-Peerings verwendet. Cloud Composer erstellt ein VPC-Peering für das Netzwerk des Mandantenprojekts. Das zweite Peering wird vom GKE-Cluster Ihrer Umgebung erstellt und GKE-Cluster können diese Verbindung wiederverwenden.
Netzwerk, Subnetzwerk und Netzwerkbereiche wählen
Wählen Sie die Netzwerkbereiche für Ihre private IP-Umgebung aus oder verwenden Sie die Standardbereiche. Sie verwenden diese Netzwerkbereiche später, wenn Sie eine private IP-Umgebung erstellen.
Zum Erstellen einer Private-IP-Umgebung benötigen Sie folgende Informationen:
- Ihre VPC-Netzwerk-ID
- Ihre VPC-Subnetzwerk-ID
- Zwei sekundäre IP-Bereiche in Ihrem VPC-Subnetzwerk:
- Sekundärer IP-Bereich für Pods
- Sekundärer IP-Bereich für Dienste
IP-Bereiche für die Komponenten der Umgebung:
- IP-Bereich der GKE-Steuerungsebene. IP-Bereich für die GKE-Steuerungsebene.
- IP-Bereich des Webservers.
- Webserver-IP-Bereich IP-Bereich für die Airflow-Webserverinstanz.
Cloud SQL-IP-Bereich IP-Bereich für die Cloud SQL-Instanz.
- IP-Bereich der GKE-Steuerungsebene. IP-Bereich für die GKE-Steuerungsebene.
Die Standardeinstellungen für die einzelnen IP-Bereiche finden Sie in der Tabelle mit den Standard-IP-Bereichen. Region
Standard-IP-Bereiche
Region | IP-Bereich der GKE-Steuerungsebene | Webserver-IP-Bereich | Cloud SQL-IP-Bereich |
---|---|---|---|
africa-south1 | 172.16.64.0/23 | 172.31.223.0/24 | 10.0.0.0/12 |
asia-east1 | 172.16.42.0/23 | 172.31.255.0/24 | 10.0.0.0/12 |
asia-east2 | 172.16.0.0/23 | 172.31.255.0/24 | 10.0.0.0/12 |
asia-northeast1 | 172.16.2.0/23 | 172.31.254.0/24 | 10.0.0.0/12 |
asia-northeast2 | 172.16.32.0/23 | 172.31.239.0/24 | 10.0.0.0/12 |
asia-northeast3 | 172.16.30.0/23 | 172.31.240.0/24 | 10.0.0.0/12 |
asia-south1 | 172.16.4.0/23 | 172.31.253.0/24 | 10.0.0.0/12 |
asia-south2 | 172.16.50.0/23 | 172.31.230.0/24 | 10.0.0.0/12 |
asia-southeast1 | 172.16.40.0/23 | 172.31.235.0/24 | 10.0.0.0/12 |
asia-southeast2 | 172.16.44.0/23 | 172.31.233.0/24 | 10.0.0.0/12 |
australia-southeast1 | 172.16.6.0/23 | 172.31.252.0/24 | 10.0.0.0/12 |
australia-southeast2 | 172.16.56.0/23 | 172.31.227.0/24 | 10.0.0.0/12 |
europe-central2 | 172.16.36.0/23 | 172.31.237.0/24 | 10.0.0.0/12 |
europe-north1 | 172.16.48.0/23 | 172.31.231.0/24 | 10.0.0.0/12 |
europe-southwest1 | 172.16.58.0/23 | 172.31.226.0/24 | 10.0.0.0/12 |
europe-west1 | 172.16.8.0/23 | 172.31.251.0/24 | 10.0.0.0/12 |
europe-west10 | 172.16.62.0/23 | 172.31.224.0/24 | 10.0.0.0/12 |
europe-west12 | 172.16.62.0/23 | 172.31.224.0/24 | 10.0.0.0/12 |
europe-west2 | 172.16.10.0/23 | 172.31.250.0/24 | 10.0.0.0/12 |
europe-west3 | 172.16.12.0/23 | 172.31.249.0/24 | 10.0.0.0/12 |
europe-west4 | 172.16.42.0/23 | 172.31.234.0/24 | 10.0.0.0/12 |
europe-west6 | 172.16.14.0/23 | 172.31.248.0/24 | 10.0.0.0/12 |
europe-west8 | 172.16.60.0/23 | 172.31.225.0/24 | 10.0.0.0/12 |
europe-west9 | 172.16.46.0/23 | 172.31.232.0/24 | 10.0.0.0/12 |
me-central1 | 172.16.58.0/23 | 172.31.226.0/24 | 10.0.0.0/12 |
me-west1 | 172.16.54.0/23 | 172.31.228.0/24 | 10.0.0.0/12 |
northamerica-northeast1 | 172.16.16.0/23 | 172.31.247.0/24 | 10.0.0.0/12 |
northamerica-northeast2 | 172.16.46.0/23 | 172.31.232.0/24 | 10.0.0.0/12 |
southamerica-east1 | 172.16.18.0/23 | 172.31.246.0/24 | 10.0.0.0/12 |
southamerica-west1 | 172.16.58.0/23 | 172.31.226.0/24 | 10.0.0.0/12 |
us-central1 | 172.16.20.0/23 | 172.31.245.0/24 | 10.0.0.0/12 |
us-east1 | 172.16.22.0/23 | 172.31.244.0/24 | 10.0.0.0/12 |
us-east4 | 172.16.24.0/23 | 172.31.243.0/24 | 10.0.0.0/12 |
us-east5 | 172.16.52.0/23 | 172.31.229.0/24 | 10.0.0.0/12 |
us-south1 | 172.16.56.0/23 | 172.31.227.0/24 | 10.0.0.0/12 |
us-west1 | 172.16.38.0/23 | 172.31.236.0/24 | 10.0.0.0/12 |
us-west2 | 172.16.34.0/23 | 172.31.238.0/24 | 10.0.0.0/12 |
us-west3 | 172.16.26.0/23 | 172.31.242.0/24 | 10.0.0.0/12 |
us-west4 | 172.16.28.0/23 | 172.31.241.0/24 | 10.0.0.0/12 |
Optional: Konnektivität zu Google APIs und Diensten konfigurieren
Sie haben auch die Möglichkeit, den gesamten Traffic an Google APIs und Google-Dienste weiterzuleiten.
über mehrere IP-Adressen, die zur private.googleapis.com
gehören
. In dieser Konfiguration greift Ihre Umgebung auf Google APIs und
über IP-Adressen, die nur von Google Cloud aus weitergeleitet werden können.
Wenn in Ihrer Umgebung mit privaten IP-Adressen auch VPC Service Controls verwendet werden, folgen Sie stattdessen der Anleitung für Umgebungen mit VPC Service Controls.
Cloud Composer-Umgebungen verwenden die folgenden Domains:
*.googleapis.com
wird zum Zugriff auf andere Google-Dienste verwendet.*.pkg.dev
wird verwendet, um Umgebungs-Images abzurufen, z. B. beim Erstellen oder Aktualisieren einer Umgebung.*.gcr.io
Für GKE ist unabhängig von der Cloud Composer-Version eine Verbindung zur Container Registry-Domain erforderlich.
Konfigurieren Sie die Verbindung zum private.googleapis.com
-Endpunkt.
Domain | DNS-Name | CNAME-Eintrag | A-Eintrag |
---|---|---|---|
*.googleapis.com
|
googleapis.com. |
DNS-Name: *.googleapis.com. Ressourceneintragstyp: CNAME Kanonischer Name: googleapis.com. |
Ressourceneintragstyp: A IPv4-Adressen: 199.36.153.8 , 199.36.153.9 , 199.36.153.10 , 199.36.153.11
|
*.pkg.dev
|
pkg.dev. |
DNS-Name: *.pkg.dev. Ressourceneintragstyp: CNAME Kanonischer Name: pkg.dev. |
Ressourceneintragstyp: A IPv4-Adressen: 199.36.153.8 , 199.36.153.9 , 199.36.153.10 , 199.36.153.11
|
*.gcr.io
|
gcr.io. |
DNS-Name: *.gcr.io. Ressourceneintragstyp: CNAME Kanonischer Name: gcr.io. |
Ressourceneintragstyp: A IPv4-Adressen: 199.36.153.8 , 199.36.153.9 , 199.36.153.10 , 199.36.153.11
|
So erstellen Sie eine DNS-Regel:
Erstellen Sie eine neue DNS-Zone und verwenden Sie DNS-Name als DNS-Namen dieser Zone.
Beispiel:
pkg.dev.
Fügen Sie einen Datensatz für CNAME-Eintrag hinzu.
Beispiel:
- DNS-Name:
*.pkg.dev.
- Ressourceneintragstyp:
CNAME
- Kanonischer Name:
pkg.dev.
- DNS-Name:
Fügen Sie einen Datensatz hinzu mit den folgenden Werten für den A-Eintrag:
Beispiel:
- Ressourceneintragstyp:
A
- IPv4-Adressen:
199.36.153.8
,199.36.153.9
,199.36.153.10
,199.36.153.11
- Ressourceneintragstyp:
Weitere Informationen finden Sie unter Private Verbindung zu Google APIs und Google-Diensten einrichten.
(Optional) Firewallregeln konfigurieren
Führen Sie diesen Schritt nur aus, wenn Ihr Projekt nicht standardmäßige Firewallregeln hat, z. B. Regeln, die implizierte Firewallregeln überschreiben oder voreingestellte Regeln im Standardnetzwerk ändern.
Cloud Composer kann beispielsweise keine Umgebung erstellen, wenn
Sie haben eine Firewallregel,
die den gesamten ausgehenden Traffic ablehnt. Um Probleme zu vermeiden, sollten Sie selektive allow
-Regeln definieren, die der Liste folgen und eine höhere Priorität als die globale deny
-Regel haben.
Konfigurieren Sie Ihr VPC-Netzwerk so, dass Traffic aus Ihrer Umgebung zugelassen wird:
- Unter Firewallregeln verwenden erfahren Sie, wie Sie Regeln für VPC-Netzwerke prüfen, hinzufügen und aktualisieren.
- Verwenden Sie das Konnektivitätstool, um die Konnektivität zwischen IP-Bereichen zu prüfen.
- Mit Netzwerk-Tags können Sie den Zugriff zu beschränken. Sie können diese Tags beim Erstellen einer Umgebung festlegen.
Beschreibung | Richtung | Aktion | Quelle oder Ziel | Protokolle | Ports |
---|---|---|---|---|---|
DNS | Ausgehender Traffic | Zulassen | Beliebiges Ziel (0.0.0.0/0 ) oder DNS-Server-IP-Adressen |
TCP, UDP | 53 |
Google APIs und Google-Dienste | Ausgehender Traffic | Zulassen | IP-Adressbereich der Domain, die Sie für Google APIs und Google-Dienste ausgewählt haben. Wenn Sie Standardwerte verwenden, lesen Sie den Hilfeartikel IP-Adressen für Standarddomains. | TCP | 443 |
Clusterknoten der Umgebung | Ausgehender Traffic | Zulassen | Primärer IP-Adressbereich des Subnetzes der Umgebung | TCP, UDP | Alle |
Cluster-Pods der Umgebung | Ausgehender Traffic | Zulassen | Sekundärer IP-Adressbereich für Pods im Subnetzwerk der Umgebung | TCP, UDP | Alle |
Steuerungsebene des Clusters der Umgebung | Ausgehender Traffic | Zulassen | IP-Bereich der GKE-Steuerungsebene | TCP, UDP | Alle |
Webserver | Ausgehender Traffic | Zulassen | IP-Bereich des Webservernetzwerks | TCP | 3306, 3307 |
So rufen Sie IP-Bereiche ab:
Pod-, Dienst- und Steuerungsebenen-Adressbereiche sind verfügbar in auf der Seite Cluster des Umgebungsclusters:
Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.
Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.
Rufen Sie den Tab Umgebungskonfiguration auf.
Klicken Sie auf den Link Clusterdetails aufrufen.
Sie finden den Webserver-IP-Bereich der Umgebung auf dem Tab Umgebungskonfiguration.
Die Netzwerk-ID der Umgebung finden Sie auf dem Tab Umgebungskonfiguration. Wenn Sie die IP-Bereiche für ein Subnetz abrufen möchten, rufen Sie die Seite VPC-Netzwerke auf und klicken Sie auf den Namen des Netzwerks, um Details zu sehen:
VPC-native Clusterkonfiguration
Cloud Composer unterstützt VPC-native GKE-Cluster in Ihrer Umgebung.
Beim Erstellen der Umgebung können Sie "VPC-nativ" aktivieren (mithilfe der Alias-IP) und Netzwerke konfigurieren, z. B. eine IP-Zuordnung, ohne die private IP-Umgebung zu aktivieren.
Da ein VPC-nativer Cluster für die Kommunikation von Airflow-Aufgaben mit anderen VMs erforderlich ist, die über private IPs erreichbar sind, müssen Sie beim Konfigurieren einer privaten IP-Umgebung auch "VPC-nativ" aktivieren.
Proxyserver-Einstellungen konfigurieren
Sie können die Umgebungsvariablen HTTP_PROXY
und HTTPS_PROXY
in Ihrer Umgebung festlegen. Diese Standard-Linux-Variablen werden von Webclients verwendet, die in Containern des Clusters Ihrer Umgebung ausgeführt werden, um Traffic über die angegebenen Proxys weiterzuleiten.
Die Variable NO_PROXY
ist standardmäßig auf eine Liste von Google-Domains festgelegt, sodass
sie von der Proxys ausgeschlossen sind:
.google.com,.googleapis.com,metadata.google.internal
. Mit dieser Konfiguration können Sie eine Umgebung mit den festgelegten Umgebungsvariablen HTTP_PROXY
und HTTPS_PROXY
erstellen, wenn der Proxy nicht für den Umgang mit Traffic zu Google-Diensten konfiguriert ist.