Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Auf dieser Seite wird erläutert, wie Ihre Umgebung in Cloud Composer 3 auf ein VPC-Netzwerk zugreifen kann. Außerdem finden Sie eine Anleitung zum Verbinden einer Umgebung mit einem VPC-Netzwerk und zum Deaktivieren einer zuvor konfigurierten Verbindung.
Wenn Sie den Internetzugriff für Ihre Umgebung aktivieren oder deaktivieren möchten, Airflow-Komponenten, siehe Ändern Sie den Netzwerktyp der Umgebung (private oder öffentliche IP-Adresse).
Wenn Sie den Internetzugriff nur bei der Installation von PyPI-Paketen deaktivieren oder aktivieren möchten, lesen Sie den Hilfeartikel Internetzugriff bei der Installation von PyPI-Paketen konfigurieren.
Informationen zum Konfigurieren eines freigegebene VPC-Netzwerks finden Sie unter Unter Freigegebene VPC konfigurieren Projekten und Berechtigungen.
VPC-Netzwerkzugriff
In Cloud Composer 3 können Sie den Zugriff auf ein VPC-Netzwerk für eine Umgebung aktivieren.
Wenn Sie den Zugriff auf ein VPC-Netzwerk für eine Umgebung aktivieren:
Airflow-Komponenten Ihrer Umgebung können auf private Netzwerkendpunkte in Ihrem VPC-Netzwerk zugreifen. Beispiel: kann Ihr DAG-Code auf Ressourcen in Ihrem VPC-Netzwerk über eine konfigurierte Airflow-Verbindung.
Wenn in Ihrer Umgebung Private IP-Netzwerke verwendet werden, wird der gesamte interne Traffic mit Ausnahme des Traffics zur Google Services API an Ihr VPC-Netzwerk weitergeleitet.
Je nach Konfiguration Ihres VPC-Netzwerks kann eine Umgebung mit privaten IP-Adressen über Ihr VPC-Netzwerk auf das Internet zugreifen.
Unabhängig vom Status des VPC-Netzwerkzugriffs ist der Zugriff auf Google Services APIs immer möglich.
In Ihrem VPC-Netzwerk definierte private DNS-Zonen sind automatisch für die Airflow-Komponenten Ihrer Umgebung verfügbar.
Die Umgebung reserviert zwei IP-Adressen in Ihrem VPC-Subnetzwerk.
Cloud Composer verwendet eine Netzwerkanhang, um eine Verbindung mit einem VPC-Netzwerk zu verbinden:
Wenn Sie ein VPC-Netzwerk und ein Subnetz angeben, erstellt Cloud Composer eine neue Netzwerkverbindung in Ihrem Projekt. Dieser Anhang wurde gelöscht nach dem Löschen einer Umgebung die Verbindung zu einem VPC-Netzwerk deaktivieren oder die VPC überschreiben Verbindungsparameter.
Wenn Sie ein vorhandenen Netzwerkanhang, muss sie sich im selben Projekt wie die Umgebung befinden. Dieses Der Anhang wird nicht gelöscht, nachdem Sie eine Umgebung gelöscht, die Verbindung deaktiviert oder die VPC-Verbindungsparameter überschrieben haben.
Bei freigegebenen VPC-Netzwerken:
Achten Sie darauf, dass Sie ein freigegebenes freigegebene VPC-Netzwerk für Cloud Composer Weitere Informationen finden Sie unter Unter Freigegebene VPC konfigurieren Projekte und Berechtigungen für Cloud Composer.
Nachdem das freigegebene VPC-Netzwerk konfiguriert wurde, können Sie vom Hostprojekt in ein VPC-Netzwerk. Wenn Sie ein vorhandenen Netzwerkanhangs vorhanden ist, muss er im Dienstprojekt erstellt werden (in dem sich die Umgebung befindet) und an eine freigegebene VPC angehängt ist Netzwerk.
Informationen zum internen IP-Bereich der Umgebung
Cloud Composer 3-Umgebungen erfordern mehrere IP-Adressen für die Komponenten, die im Mandantenprojekt ausgeführt werden, z. B. den Cluster der Umgebung und den Cloud SQL-Proxy. Diese IP-Adressen stammen aus dem internen IP-Adressbereich der Umgebung.
Der Standard-interne IP-Bereich ist
100.64.128.0/20
.Sie können beim Erstellen einer zu verbessern. In diesem Bereich muss eine
/20
-Maske verwendet werden.Sie können den internen IP-Bereich einer vorhandenen Umgebung nicht ändern.
Der interne IP-Bereich interagiert auf folgende Weise mit Ihrem VPC-Netzwerk:
Der interne IP-Bereich darf nicht mit dem VPC-Subnetzwerk in Konflikt stehen, mit dem die Cloud Composer-Umgebung verbunden ist. Es ist nicht möglich, eine Verbindung mit einem VPC-Subnetz zu aktivieren, das sich mit dem internen IP-Bereich überschneidet.
Wenn sich der interne IP-Bereich einer Umgebung mit den Bereichen Ihres VPC-Netzwerks überschneidet, können Endpunkte aus Ihrem VPC-Netzwerk mit überschneidenden IP-Adressen nicht von der Umgebung aus erreicht werden.
Wenn der interne Bereich beispielsweise
100.64.128.0/20
ist, schlägt jede Anfrage an den100.64.128.1
-Endpunkt in Ihrem VPC-Netzwerk fehl, da die Anfrage das Mandantenprojekt nicht verlässt.Der interne IP-Bereich ist nicht reserviert. Sie können denselben internen IP-Bereich für mehrere Umgebungen ohne zusätzliche Einrichtung verwenden, da die internen VPC-Netzwerke, die von verschiedenen Umgebungen verwendet werden, getrennt sind.
Sie können die IP-Adressen des internen Bereichs für andere Zwecke verwenden, solange Von DAGs und Aufgaben in Ihrer Umgebung werden keine Anfragen gesendet.
Verbindung zu einem VPC-Netzwerk herstellen
Console
Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.
Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.
Rufen Sie den Tab Umgebungskonfiguration auf.
Suchen Sie im Abschnitt Netzwerkkonfiguration nach der Netzwerkanhang und klicken Sie auf Bearbeiten.
Gehen Sie im Dialogfeld Netzwerkanhang so vor:
Wenn Sie einen neuen Netzwerkanhang erstellen möchten, wählen Sie in der Liste Netzwerkanhang die Option Neuen Netzwerkanhang erstellen aus. Wählen Sie in den Listen Netzwerk und Subnetzwerk ein VPC-Netzwerk und ein Subnetzwerk aus.
Wenn Sie einen vorhandenen Netzwerkanhang verwenden möchten, wählen Sie in der Liste Netzwerkanhang einen entsprechenden Eintrag aus.
Klicken Sie auf Speichern.
gcloud
Mit den folgenden Google Cloud CLI-Argumenten werden VPC-Netzwerkverbindungsparameter angegeben:
--network
: VPC-Netzwerk-ID.--subnetwork
: VPC-Subnetzwerk-ID.--network-attachment
: Verwenden Sie stattdessen einen vorhandenen Netzwerkanhang.
Neuer Netzwerkanhang
So verbinden Sie Ihre Umgebung über ein neues Netzwerk mit einem VPC-Netzwerk: führen Sie den folgenden Google Cloud CLI-Befehl aus:
gcloud beta composer environments update ENVIRONMENT_NAME \
--location LOCATION \
--network NETWORK_ID \
--subnetwork SUBNETWORK_ID
Ersetzen Sie Folgendes:
ENVIRONMENT_NAME
: der Name der UmgebungLOCATION
: die Region, in der sich die Umgebung befindetNETWORK_ID
: VPC-Netzwerk-IDSUBNETWORK_ID
: VPC-Subnetzwerk-ID
Beispiel:
gcloud beta composer environments update example-environment \
--location us-central1 \
--network projects/example-project/global/networks/example-network \
--subnetwork projects/example-project/regions/us-central1/subnetworks/example-subnetwork
Vorhandener Netzwerkanhang
So verbinden Sie Ihre Umgebung über ein neues Netzwerk mit einem VPC-Netzwerk: führen Sie den folgenden Google Cloud CLI-Befehl aus:
gcloud beta composer environments update ENVIRONMENT_NAME \
--location LOCATION \
--network-attachment NETWORK_ATTACHMENT_ID
Ersetzen Sie Folgendes:
ENVIRONMENT_NAME
: der Name der UmgebungLOCATION
: Region, in der sich die Umgebung befindetNETWORK_ATTACHMENT_ID
: der Netzwerkanhang improjects/{project}/regions/{region}/networkAttachments/{networkAttachment}
-Format.
Beispiel:
gcloud beta composer environments update example-environment \
--location us-central1 \
--network-attachment projects/example-project/regions/us-central1/networkAttachments/example-network-attachment
API
Erstellen Sie eine
environments.patch
-API-Anfrage.In dieser Anfrage:
So erstellen Sie einen neuen Netzwerkanhang:
Geben Sie im Parameter
updateMask
die Maskeconfig.node_config.network,config.node_config.subnetwork
an.Geben Sie im Anfragetext in den Feldern
network
undsubnetwork
die IDs Ihres VPC-Netzwerks und Subnetzwerks an.
So verwenden Sie einen vorhandenen Netzwerkanhang:
Geben Sie im Parameter
updateMask
an, dieconfig.node_config.composer_network_attachment
Maske.Geben Sie im Anfragetext einen Wert für den vorhandenen Netzwerkanhang im Format
projects/{project}/regions/{region}/networkAttachments/{networkAttachment}
an.
Beispiel (neuer Netzwerkanhang):
// PATCH https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.node_config.network,config.node_config.subnetwork
"config": {
"nodeConfig": {
"network": "projects/example-project/global/networks/example-network",
"subnetwork": "projects/example-project/regions/us-central1/subnetworks/example-subnetwork"
}
}
Beispiel (vorhandener Netzwerkanhang):
// PATCH https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.node_config.composer_network_attachment
"config": {
"nodeConfig": {
"composerNetworkAttachment": "projects/example-project/regions/us-central1/networkAttachments/example-network-attachment"
}
}
Terraform
Die folgenden Felder im Block node_config
geben das VPC-Netzwerk an
Verbindungsparameter:
network
: VPC-Netzwerk-ID.subnetwork
: VPC-Subnetzwerk-ID.composer_network_attachment
: Verwenden Sie stattdessen einen vorhandenen Netzwerkanhang.
Neuer Netzwerkanhang
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
node_config {
network = NETWORK_ID
subnetwork = SUBNETWORK_ID
}
}
}
Ersetzen Sie Folgendes:
ENVIRONMENT_NAME
: der Name Ihrer UmgebungLOCATION
: die Region, in der sich die Umgebung befindet.NETWORK_ID
: VPC-Netzwerk-IDSUBNETWORK_ID
: VPC-Subnetzwerk-ID
Beispiel (neuer Netzwerkanhang):
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
node_config {
network = "projects/example-project/global/networks/example-network"
subnetwork = "projects/example-project/regions/us-central1/subnetworks/example-subnetwork"
}
... other configuration parameters
}
}
Vorhandener Netzwerkanhang
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
node_config {
composer_network_attachment = NETWORK_ATTACHMENT_ID
}
}
}
Ersetzen Sie Folgendes:
ENVIRONMENT_NAME
: der Name Ihrer UmgebungLOCATION
: die Region, in der sich die Umgebung befindet.NETWORK_ATTACHMENT_ID
: die ID des Netzwerkanhangs.
Beispiel (vorhandener Netzwerkanhang):
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
node_config {
composer_network_attachment = projects/example-project/regions/us-central1/networkAttachments/example-network-attachment
}
... other configuration parameters
}
}
Verbindung zu einem VPC-Netzwerk deaktivieren
Console
Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.
Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.
Rufen Sie den Tab Umgebungskonfiguration auf.
Suchen Sie im Bereich Netzwerkkonfiguration nach dem Element Netzwerkansatz und klicken Sie auf Bearbeiten.
Wählen Sie im Dialogfeld Netzwerkanhänge die Option Keine aus und klicken Sie auf Speichern.
gcloud
Mit den --disable-vpc-connectivity
-Argumenten wird die VPC-Netzwerkverbindung Ihrer Umgebung deaktiviert:
gcloud beta composer environments update ENVIRONMENT_NAME \
--location LOCATION \
--disable-vpc-connectivity
Ersetzen Sie Folgendes:
ENVIRONMENT_NAME
: der Name der UmgebungLOCATION
: die Region, in der sich die Umgebung befindet
Beispiel:
gcloud beta composer environments update example-environment \
--location us-central1 \
--disable-vpc-connectivity
API
Erstellen Sie eine
environments.patch
-API-Anfrage.In dieser Anfrage:
Geben Sie im Parameter
updateMask
die Maskeconfig.node_config.network,config.node_config.subnetwork
an.Geben Sie im Anfragetext in den Feldern
network
undsubnetwork
leere Werte an.
Beispiel:
// PATCH https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.node_config.network,config.node_config.subnetwork
"config": {
"nodeConfig": {
"network": "",
"subnetwork": ""
}
}
Terraform
Ein VPC-Netzwerk kann nicht mithilfe von Terraform getrennt werden. Stattdessen können Sie anstelle des VPC-Netzwerks ein anderes anhängen oder das Netzwerk mit anderen Tools wie der Google Cloud CLI trennen.
Nächste Schritte
- Netzwerktyp der Umgebung ändern (private oder öffentliche IP-Adresse)
- Internetzugriff bei der Installation von PyPI-Paketen konfigurieren