Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Auf dieser Seite finden Sie Informationen zum Konfigurieren Ihres Google Cloud-Projektnetzwerks für private IP-Umgebungen.
Bei privaten IP-Umgebungen weist Cloud Composer den verwalteten Google Kubernetes Engine- und Cloud SQL-VMs in der Umgebung nur private IP-Adressen (RFC 1918) zu.
Optional können Sie auch privat verwendete öffentliche IP-Adressen und den IP-Masquerade-Agent verwenden, um den IP-Adressbereich zu speichern und Adressen außerhalb von RFC 1918 zu verwenden.
Informationen zum Herstellen einer Verbindung zu Ressourcen in der Umgebung finden Sie unter Private IP-Umgebung in Cloud Composer.
Umgebungen mit Private Service Connect und VPC-Peerings
Standardmäßig verwendet Cloud Composer 2 Private Service Connect, sodass Ihre privaten IP-Umgebungen intern ohne VPC-Peerings kommunizieren, sofern Sie beim Erstellen der Umgebung nichts anderes angeben.
Wir empfehlen die Verwendung von Umgebungen mit Private Service Connect, wenn Sie keine besonderen Anforderungen an die Verwendung von Umgebungen mit VPC-Peerings haben.
Hinweise
Prüfen Sie, ob Sie über die entsprechenden Nutzer- und Dienstkonto-Berechtigungen zum Erstellen einer Umgebung haben.
Netzwerkanforderungen prüfen
Prüfen Sie, ob das VPC-Netzwerk Ihres Projekts die folgenden Anforderungen erfüllt:
Achten Sie darauf, dass es keine Konflikte bei privaten IP-Blöcken gibt. Wenn sich IP-Blöcke Ihres VPC-Netzwerks und der zugehörigen erstellten VPC-Peers mit IP-Blöcken im VPC-Netzwerk des von Google verwalteten Mandantenprojekts überschneiden, kann die Umgebung nicht von Cloud Composer erstellt werden. Die Standardeinstellungen für jede Region finden Sie in der Tabelle mit den Standard-IP-Bereichen.
Prüfen Sie, ob es genügend sekundäre IP-Bereiche für die GKE-Pods und -Dienste von Cloud Composer gibt. GKE sucht für das IP-Aliasing nach sekundären IP-Bereichen. Wenn GKE keinen Bereich findet, kann die Umgebung nicht von Cloud Composer erstellt werden.
Sorgen Sie dafür, dass nicht mehr als 30 sekundäre Bereiche in Ihrem Subnetzwerk vorhanden sind. Beachten Sie dabei Folgendes:
- Der GKE-Cluster der privaten IP-Umgebung erstellt zwei sekundäre Bereiche im Subnetzwerk. Sie können für dasselbe VPC-Netzwerk mehrere Subnetzwerke in derselben Region erstellen.
- Es werden maximal 30 sekundäre Bereiche unterstützt. Jede private IP-Umgebung erfordert zwei sekundäre Bereiche für die GKE-Pods und -Dienste von Cloud Composer.
Achten Sie darauf, dass das Netzwerk Ihres Projekts das Limit für die maximale Anzahl von Verbindungen zu einem einzelnen VPC-Netzwerk unterstützt. Die maximal erstellbare Zahl privater IP-Umgebungen hängt von der Anzahl der bereits vorhandenen VPC-Peering-Verbindungen in Ihrem VPC-Netzwerk ab.
Jede private IP-Umgebung mit PSC verwendet ein VPC-Peering pro Umgebung. Dieses VPC-Peering wird vom GKE-Cluster Ihrer Umgebung erstellt. GKE-Cluster können diese Verbindung wiederverwenden. In privaten IP-Umgebungen mit PSC kann jeder Standort maximal 75 private Cluster unterstützen.
Jede private IP-Umgebung mit VPC-Peerings verwendet höchstens zwei VPC-Peerings pro Umgebung. Cloud Composer erstellt ein VPC-Peering für das Netzwerk des Mandantenprojekts. Das zweite Peering wird vom GKE-Cluster Ihrer Umgebung erstellt. GKE-Cluster können diese Verbindung wiederverwenden.
Netzwerk, Subnetzwerk und Netzwerkbereiche wählen
Wählen Sie die Netzwerkbereiche für Ihre private IP-Umgebung aus oder verwenden Sie die Standardbereiche. Sie verwenden diese Netzwerkbereiche später, wenn Sie eine private IP-Umgebung erstellen.
Zum Erstellen einer Private-IP-Umgebung benötigen Sie folgende Informationen:
- Ihre VPC-Netzwerk-ID
- Ihre VPC-Subnetzwerk-ID
- Zwei sekundäre IP-Bereiche in Ihrem VPC-Subnetzwerk:
- Sekundärer IP-Bereich für Pods
- Sekundärer IP-Bereich für Dienste
IP-Bereiche für die Komponenten der Umgebung:
Wenn Ihre Umgebung Private Service Connect verwendet:
- IP-Bereich der GKE-Steuerungsebene. IP-Bereich für die GKE-Steuerungsebene.
- Subnetzwerk für Cloud Composer-Verbindung. IP-Bereich für das Subnetzwerk der Cloud Composer-Verbindung. Sie können einen Bereich mit nur einer IP-Adresse angeben. Dieser Bereich kann von mehreren Umgebungen in Ihrem Projekt verwendet werden.
Wenn Ihre Umgebung VPC-Peerings verwendet:
- IP-Bereich der GKE-Steuerungsebene. IP-Bereich für die GKE-Steuerungsebene.
- IP-Bereich für das Cloud Composer-Mandantennetzwerk IP-Bereich für das Mandantennetzwerk von Cloud Composer. In diesem Netzwerk wird die SQL-Proxy-Komponente Ihrer Umgebung gehostet.
Cloud SQL-IP-Bereich IP-Bereich für die Cloud SQL-Instanz.
Die Standardeinstellungen für die einzelnen Regionen finden Sie in der Tabelle mit den Standard-IP-Bereichen.
Standard-IP-Bereiche
Umgebungen mit Private Service Connect
Region | IP-Bereich der GKE-Steuerungsebene |
---|---|
africa-south1 | 172.16.64.0/23 |
asia-east1 | 172.16.42.0/23 |
asia-east2 | 172.16.0.0/23 |
asia-northeast1 | 172.16.2.0/23 |
asia-northeast2 | 172.16.32.0/23 |
asia-northeast3 | 172.16.30.0/23 |
asia-south1 | 172.16.4.0/23 |
asia-south2 | 172.16.50.0/23 |
asia-southeast1 | 172.16.40.0/23 |
asia-southeast2 | 172.16.44.0/23 |
australia-southeast1 | 172.16.6.0/23 |
australia-southeast2 | 172.16.56.0/23 |
europe-central2 | 172.16.36.0/23 |
europe-north1 | 172.16.48.0/23 |
europe-southwest1 | 172.16.58.0/23 |
europe-west1 | 172.16.8.0/23 |
europe-west10 | 172.16.62.0/23 |
europe-west12 | 172.16.62.0/23 |
europe-west2 | 172.16.10.0/23 |
europe-west3 | 172.16.12.0/23 |
europe-west4 | 172.16.42.0/23 |
europe-west6 | 172.16.14.0/23 |
europe-west8 | 172.16.60.0/23 |
europe-west9 | 172.16.46.0/23 |
me-central1 | 172.16.58.0/23 |
me-west1 | 172.16.54.0/23 |
northamerica-northeast1 | 172.16.16.0/23 |
northamerica-northeast2 | 172.16.46.0/23 |
southamerica-east1 | 172.16.18.0/23 |
southamerica-west1 | 172.16.58.0/23 |
us-central1 | 172.16.20.0/23 |
us-east1 | 172.16.22.0/23 |
us-east4 | 172.16.24.0/23 |
us-east5 | 172.16.52.0/23 |
us-south1 | 172.16.56.0/23 |
us-west1 | 172.16.38.0/23 |
us-west2 | 172.16.34.0/23 |
us-west3 | 172.16.26.0/23 |
us-west4 | 172.16.28.0/23 |
Umgebungen mit VPC-Peerings
Region | IP-Bereich der GKE-Steuerungsebene | IP-Bereich des Cloud Composer-Mandantennetzwerks | Cloud SQL-IP-Bereich |
---|---|---|---|
africa-south1 | 172.16.64.0/23 | 172.31.223.0/24 | 10.0.0.0/12 |
asia-east1 | 172.16.42.0/23 | 172.31.255.0/24 | 10.0.0.0/12 |
asia-east2 | 172.16.0.0/23 | 172.31.255.0/24 | 10.0.0.0/12 |
asia-northeast1 | 172.16.2.0/23 | 172.31.254.0/24 | 10.0.0.0/12 |
asia-northeast2 | 172.16.32.0/23 | 172.31.239.0/24 | 10.0.0.0/12 |
asia-northeast3 | 172.16.30.0/23 | 172.31.240.0/24 | 10.0.0.0/12 |
asia-south1 | 172.16.4.0/23 | 172.31.253.0/24 | 10.0.0.0/12 |
asia-south2 | 172.16.50.0/23 | 172.31.230.0/24 | 10.0.0.0/12 |
asia-southeast1 | 172.16.40.0/23 | 172.31.235.0/24 | 10.0.0.0/12 |
asia-southeast2 | 172.16.44.0/23 | 172.31.233.0/24 | 10.0.0.0/12 |
australia-southeast1 | 172.16.6.0/23 | 172.31.252.0/24 | 10.0.0.0/12 |
australia-southeast2 | 172.16.56.0/23 | 172.31.227.0/24 | 10.0.0.0/12 |
europe-central2 | 172.16.36.0/23 | 172.31.237.0/24 | 10.0.0.0/12 |
europe-north1 | 172.16.48.0/23 | 172.31.231.0/24 | 10.0.0.0/12 |
europe-southwest1 | 172.16.58.0/23 | 172.31.226.0/24 | 10.0.0.0/12 |
europe-west1 | 172.16.8.0/23 | 172.31.251.0/24 | 10.0.0.0/12 |
europe-west10 | 172.16.62.0/23 | 172.31.224.0/24 | 10.0.0.0/12 |
europe-west12 | 172.16.62.0/23 | 172.31.224.0/24 | 10.0.0.0/12 |
europe-west2 | 172.16.10.0/23 | 172.31.250.0/24 | 10.0.0.0/12 |
europe-west3 | 172.16.12.0/23 | 172.31.249.0/24 | 10.0.0.0/12 |
europe-west4 | 172.16.42.0/23 | 172.31.234.0/24 | 10.0.0.0/12 |
europe-west6 | 172.16.14.0/23 | 172.31.248.0/24 | 10.0.0.0/12 |
europe-west8 | 172.16.60.0/23 | 172.31.225.0/24 | 10.0.0.0/12 |
europe-west9 | 172.16.46.0/23 | 172.31.232.0/24 | 10.0.0.0/12 |
me-central1 | 172.16.58.0/23 | 172.31.226.0/24 | 10.0.0.0/12 |
me-west1 | 172.16.54.0/23 | 172.31.228.0/24 | 10.0.0.0/12 |
northamerica-northeast1 | 172.16.16.0/23 | 172.31.247.0/24 | 10.0.0.0/12 |
northamerica-northeast2 | 172.16.46.0/23 | 172.31.232.0/24 | 10.0.0.0/12 |
southamerica-east1 | 172.16.18.0/23 | 172.31.246.0/24 | 10.0.0.0/12 |
southamerica-west1 | 172.16.58.0/23 | 172.31.226.0/24 | 10.0.0.0/12 |
us-central1 | 172.16.20.0/23 | 172.31.245.0/24 | 10.0.0.0/12 |
us-east1 | 172.16.22.0/23 | 172.31.244.0/24 | 10.0.0.0/12 |
us-east4 | 172.16.24.0/23 | 172.31.243.0/24 | 10.0.0.0/12 |
us-east5 | 172.16.52.0/23 | 172.31.229.0/24 | 10.0.0.0/12 |
us-south1 | 172.16.56.0/23 | 172.31.227.0/24 | 10.0.0.0/12 |
us-west1 | 172.16.38.0/23 | 172.31.236.0/24 | 10.0.0.0/12 |
us-west2 | 172.16.34.0/23 | 172.31.238.0/24 | 10.0.0.0/12 |
us-west3 | 172.16.26.0/23 | 172.31.242.0/24 | 10.0.0.0/12 |
us-west4 | 172.16.28.0/23 | 172.31.241.0/24 | 10.0.0.0/12 |
(Optional) Verbindung zu Google APIs und Google-Diensten konfigurieren
Sie haben auch die Möglichkeit, den gesamten Traffic über mehrere IP-Adressen, die zur Domain private.googleapis.com
gehören, an Google APIs und Google-Dienste weiterzuleiten. In dieser Konfiguration greift Ihre Umgebung auf Google APIs und Google-Dienste über IP-Adressen zu, die nur von Google Cloud aus weitergeleitet werden können.
Wenn in Ihrer privaten IP-Umgebung auch VPC Service Controls verwendet wird, verwenden Sie stattdessen die Anleitung für Umgebungen mit VPC Service Controls.
Cloud Composer-Umgebungen verwenden die folgenden Domains:
*.googleapis.com
wird für den Zugriff auf andere Google-Dienste verwendet.*.composer.cloud.google.com
wird verwendet, um den Airflow-Webserver Ihrer Umgebung zugänglich zu machen. Diese Regel muss angewendet werden, bevor Sie eine Umgebung erstellen.- Alternativ können Sie eine Regel für eine bestimmte Region erstellen. Verwenden Sie dazu
REGION.composer.cloud.google.com
. Ersetzen SieREGION
durch die Region, in der sich die Umgebung befindet, z. B.us-central1
.
- Alternativ können Sie eine Regel für eine bestimmte Region erstellen. Verwenden Sie dazu
(Optional)
*.composer.googleusercontent.com
wird beim Zugriff auf den Airflow-Webserver Ihrer Umgebung verwendet. Diese Regel ist nur erforderlich, wenn Sie auf den Airflow-Webserver von einer Instanz zugreifen, die im VPC-Netzwerk ausgeführt wird. Andernfalls ist sie nicht erforderlich. Ein gängiges Szenario für diese Regel ist, wenn Sie die Airflow REST API aus dem VPC-Netzwerk aufrufen möchten.- Alternativ können Sie eine Regel für eine bestimmte Umgebung erstellen. Verwenden Sie dazu
ENVIRONMENT_WEB_SERVER_NAME.composer.googleusercontent.com
. Ersetzen SieENVIRONMENT_WEB_SERVER_NAME
durch den eindeutigen Teil der Airflow-UI-URL Ihrer Umgebung, z. B.bffe6ce6c4304c55acca0e57be23128c-dot-us-central1
.
- Alternativ können Sie eine Regel für eine bestimmte Umgebung erstellen. Verwenden Sie dazu
*.pkg.dev
wird zum Abrufen von Umgebungs-Images verwendet, z. B. beim Erstellen oder Aktualisieren einer Umgebung.*.gcr.io
GKE erfordert eine Verbindung zur Container Registry-Domain unabhängig von der Cloud Composer-Version.
Konfigurieren Sie die Verbindung zum private.googleapis.com
-Endpunkt.
Domain | DNS-Name | CNAME-Eintrag | A-Eintrag |
---|---|---|---|
*.googleapis.com
|
googleapis.com. |
DNS-Name: *.googleapis.com. Ressourceneintragstyp: CNAME Kanonischer Name: googleapis.com. |
Ressourceneintragstyp: A IPv4-Adressen: 199.36.153.8 , 199.36.153.9 , 199.36.153.10 , 199.36.153.11
|
*.composer.cloud.google.com
|
composer.cloud.google.com. |
DNS-Name: *.composer.cloud.google.com. Ressourceneintragstyp: CNAME Kanonischer Name: composer.cloud.google.com. |
Ressourceneintragstyp: A IPv4-Adressen: 199.36.153.8 , 199.36.153.9 , 199.36.153.10 , 199.36.153.11
|
*.composer.googleusercontent.com
(optional, siehe Beschreibung) |
composer.googleusercontent.com. |
DNS-Name: *.composer.googleusercontent.com. Ressourceneintragstyp: CNAME Kanonischer Name: composer.googleusercontent.com. |
Ressourceneintragstyp: A IPv4-Adressen: 199.36.153.8 , 199.36.153.9 , 199.36.153.10 , 199.36.153.11
|
*.pkg.dev
|
pkg.dev. |
DNS-Name: *.pkg.dev. Ressourceneintragstyp: CNAME Kanonischer Name: pkg.dev. |
Ressourceneintragstyp: A IPv4-Adressen: 199.36.153.8 , 199.36.153.9 , 199.36.153.10 , 199.36.153.11
|
*.gcr.io
|
gcr.io. |
DNS-Name: *.gcr.io. Ressourceneintragstyp: CNAME Kanonischer Name: gcr.io. |
Ressourceneintragstyp: A IPv4-Adressen: 199.36.153.8 , 199.36.153.9 , 199.36.153.10 , 199.36.153.11
|
So erstellen Sie eine DNS-Regel:
Erstellen Sie eine neue DNS-Zone und verwenden Sie DNS-Name als DNS-Namen für diese Zone.
Beispiel:
pkg.dev.
Fügen Sie einen Eintrag für den CNAME-Eintrag hinzu.
Beispiel:
- DNS-Name:
*.pkg.dev.
- Ressourceneintragstyp:
CNAME
- Kanonischer Name:
pkg.dev.
- DNS-Name:
Fügen Sie einen Eintrag für A-Eintrag hinzu:
Beispiel:
- Ressourceneintragstyp:
A
- IPv4-Adressen:
199.36.153.8
,199.36.153.9
,199.36.153.10
,199.36.153.11
- Ressourceneintragstyp:
Weitere Informationen finden Sie unter Private Verbindung zu Google APIs und Google-Diensten einrichten.
(Optional) Firewallregeln konfigurieren
Führen Sie diesen Schritt nur aus, wenn Ihr Projekt nicht standardmäßige Firewallregeln enthält, z. B. Regeln, die implizierte Firewallregeln überschreiben, oder vorkonfigurierte Regeln im Standardnetzwerk ändern.
Beispielsweise kann Cloud Composer keine Umgebung erstellen, wenn Sie eine Firewallregel haben, die den gesamten ausgehenden Traffic ablehnt. Definieren Sie zur Vermeidung von Problemen selektive allow
-Regeln, die der Liste folgen und eine höhere Priorität als die globale deny
-Regel haben.
Konfigurieren Sie Ihr VPC-Netzwerk so, dass Traffic aus Ihrer Umgebung zugelassen wird:
- Unter Firewallregeln verwenden erfahren Sie, wie Sie Regeln für Ihr VPC-Netzwerk prüfen, hinzufügen und aktualisieren.
- Überprüfen Sie die Konnektivität zwischen IP-Bereichen mit dem Verbindungstool.
- Sie können Netzwerk-Tags verwenden, um den Zugriff weiter einzuschränken. Sie können diese Tags beim Erstellen einer Umgebung festlegen.
Beschreibung | Richtung | Vorgang | Quelle oder Ziel | Protokolle | Ports |
---|---|---|---|---|---|
DNS | Ausgehender Traffic | Zulassen | Alle Ziel- (0.0.0.0/0 ) oder DNS-Server-IP-Adressen |
TCP, UDP | 53 |
Google APIs und Google-Dienste | Ausgehender Traffic | Zulassen | IP-Adressbereich der Domain, die Sie für Google APIs und Google-Dienste ausgewählt haben. Falls Sie Standardwerte verwenden, finden Sie weitere Informationen unter IP-Adressen für Standarddomains. | TCP | 443 |
Clusterknoten der Umgebung | Ausgehender Traffic | Zulassen | Primärer IP-Adressbereich des Subnetzwerks der Umgebung | TCP, UDP | alle |
Cluster-Pods der Umgebung | Ausgehender Traffic | Zulassen | Sekundärer IP-Adressbereich für Pods im Subnetzwerk der Umgebung | TCP, UDP | alle |
Steuerungsebene des Clusters der Umgebung | Ausgehender Traffic | Zulassen | IP-Bereich der GKE-Steuerungsebene | TCP, UDP | alle |
(Wenn Ihre Umgebung Private Service Connect verwendet) Verbindungssubnetzwerk | Ausgehender Traffic | Zulassen | Subnetzwerkbereich der Cloud Composer-Verbindung | TCP | 3306, 3307 |
(Wenn Ihre Umgebung VPC-Peerings verwendet) Mandantennetzwerk | Ausgehender Traffic | Zulassen | IP-Bereich des Cloud Composer-Mandantennetzwerks | TCP | 3306, 3307 |
So rufen Sie IP-Bereiche ab:
Pod-, Dienst- und Steuerungsebenen-Adressbereiche sind auf der Seite Cluster des Clusters Ihrer Umgebung verfügbar:
Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.
Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.
Rufen Sie den Tab Umgebungskonfiguration auf.
Klicken Sie auf den Link Clusterdetails ansehen.
Sie können den IP-Bereich des Cloud Composer-Mandantennetzwerks der Umgebung auf dem Tab Umgebungskonfiguration ansehen.
Die Subnetzwerk-ID der Umgebung und die Subnetzwerk-ID der Cloud Composer-Verbindung finden Sie auf dem Tab Umgebungskonfiguration. Rufen Sie zum Abrufen von IP-Bereichen für ein Subnetzwerk die Seite VPC-Netzwerke auf und klicken Sie auf den Namen des Netzwerks, um Details aufzurufen:
Proxyserver-Einstellungen konfigurieren
Sie können die Umgebungsvariablen HTTP_PROXY
und HTTPS_PROXY
in Ihrer Umgebung festlegen. Diese Linux-Standardvariablen werden von Webclients verwendet, die in Containern des Clusters Ihrer Umgebung ausgeführt werden, um Traffic über die angegebenen Proxys weiterzuleiten.
Die Variable NO_PROXY
ist standardmäßig auf eine Liste von Google-Domains festgelegt, damit sie vom Proxy ausgeschlossen werden: .google.com,.googleapis.com,metadata.google.internal
. Diese Konfiguration ermöglicht es, eine Umgebung mit festgelegten HTTP_PROXY
- und HTTPS_PROXY
-Umgebungsvariablen zu erstellen, wenn der Proxy nicht für die Verarbeitung von Traffic zu Google-Diensten konfiguriert ist.