Umgebung mit einem VPC-Netzwerk verbinden

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Auf dieser Seite wird erläutert, wie Ihre Umgebung in Cloud Composer 3 auf ein VPC-Netzwerk zugreifen kann. Außerdem finden Sie eine Anleitung zum Verbinden einer Umgebung mit einem VPC-Netzwerk und zum Deaktivieren einer zuvor konfigurierten Verbindung.

VPC-Netzwerkzugriff

In Cloud Composer 3 können Sie den Zugriff auf ein VPC-Netzwerk für eine Umgebung aktivieren.

Wenn Sie den Zugriff auf ein VPC-Netzwerk für eine Umgebung aktivieren:

  • Airflow-Komponenten Ihrer Umgebung können auf private Netzwerkendpunkte in Ihrem VPC-Netzwerk zugreifen. Beispiel: kann Ihr DAG-Code auf Ressourcen in Ihrem VPC-Netzwerk über eine konfigurierte Airflow-Verbindung.

  • Wenn in Ihrer Umgebung Private IP-Netzwerke verwendet werden, wird der gesamte interne Traffic mit Ausnahme des Traffics zur Google Services API an Ihr VPC-Netzwerk weitergeleitet.

  • Je nach Konfiguration Ihres VPC-Netzwerks kann eine Umgebung mit privaten IP-Adressen über Ihr VPC-Netzwerk auf das Internet zugreifen.

  • Unabhängig vom Status des VPC-Netzwerkzugriffs ist der Zugriff auf Google Services APIs immer möglich.

  • In Ihrem VPC-Netzwerk definierte private DNS-Zonen sind automatisch für die Airflow-Komponenten Ihrer Umgebung verfügbar.

  • Die Umgebung reserviert zwei IP-Adressen in Ihrem VPC-Subnetzwerk.

Cloud Composer verwendet eine Netzwerkanhang, um eine Verbindung mit einem VPC-Netzwerk zu verbinden:

  • Wenn Sie ein VPC-Netzwerk und ein Subnetz angeben, erstellt Cloud Composer eine neue Netzwerkverbindung in Ihrem Projekt. Dieser Anhang wurde gelöscht nach dem Löschen einer Umgebung die Verbindung zu einem VPC-Netzwerk deaktivieren oder die VPC überschreiben Verbindungsparameter.

  • Wenn Sie ein vorhandenen Netzwerkanhang, muss sie sich im selben Projekt wie die Umgebung befinden. Dieses Der Anhang wird nicht gelöscht, nachdem Sie eine Umgebung gelöscht, die Verbindung deaktiviert oder die VPC-Verbindungsparameter überschrieben haben.

  • Bei freigegebenen VPC-Netzwerken:

    • Achten Sie darauf, dass Sie ein freigegebenes freigegebene VPC-Netzwerk für Cloud Composer Weitere Informationen finden Sie unter Unter Freigegebene VPC konfigurieren Projekte und Berechtigungen für Cloud Composer.

    • Nachdem das freigegebene VPC-Netzwerk konfiguriert wurde, können Sie vom Hostprojekt in ein VPC-Netzwerk. Wenn Sie ein vorhandenen Netzwerkanhangs vorhanden ist, muss er im Dienstprojekt erstellt werden (in dem sich die Umgebung befindet) und an eine freigegebene VPC angehängt ist Netzwerk.

Informationen zum internen IP-Bereich der Umgebung

Cloud Composer 3-Umgebungen erfordern mehrere IP-Adressen für die Komponenten, die im Mandantenprojekt ausgeführt werden, z. B. den Cluster der Umgebung und den Cloud SQL-Proxy. Diese IP-Adressen stammen aus dem internen IP-Adressbereich der Umgebung.

  • Der Standard-interne IP-Bereich ist 100.64.128.0/20.

  • Sie können beim Erstellen einer zu verbessern. In diesem Bereich muss eine /20-Maske verwendet werden.

  • Sie können den internen IP-Bereich einer vorhandenen Umgebung nicht ändern.

Der interne IP-Bereich interagiert auf folgende Weise mit Ihrem VPC-Netzwerk:

  • Der interne IP-Bereich darf nicht mit dem VPC-Subnetzwerk in Konflikt stehen, mit dem die Cloud Composer-Umgebung verbunden ist. Es ist nicht möglich, eine Verbindung mit einem VPC-Subnetz zu aktivieren, das sich mit dem internen IP-Bereich überschneidet.

  • Wenn sich der interne IP-Bereich einer Umgebung mit den Bereichen Ihres VPC-Netzwerks überschneidet, können Endpunkte aus Ihrem VPC-Netzwerk mit überschneidenden IP-Adressen nicht von der Umgebung aus erreicht werden.

    Wenn der interne Bereich beispielsweise 100.64.128.0/20 ist, schlägt jede Anfrage an den 100.64.128.1-Endpunkt in Ihrem VPC-Netzwerk fehl, da die Anfrage das Mandantenprojekt nicht verlässt.

  • Der interne IP-Bereich ist nicht reserviert. Sie können denselben internen IP-Bereich für mehrere Umgebungen ohne zusätzliche Einrichtung verwenden, da die internen VPC-Netzwerke, die von verschiedenen Umgebungen verwendet werden, getrennt sind.

  • Sie können die IP-Adressen des internen Bereichs für andere Zwecke verwenden, solange Von DAGs und Aufgaben in Ihrer Umgebung werden keine Anfragen gesendet.

Verbindung zu einem VPC-Netzwerk herstellen

Console

  1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

    Zur Seite Umgebungen

  2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

  3. Rufen Sie den Tab Umgebungskonfiguration auf.

  4. Suchen Sie im Abschnitt Netzwerkkonfiguration nach der Netzwerkanhang und klicken Sie auf Bearbeiten.

  5. Gehen Sie im Dialogfeld Netzwerkanhang so vor:

    • Wenn Sie einen neuen Netzwerkanhang erstellen möchten, wählen Sie in der Liste Netzwerkanhang die Option Neuen Netzwerkanhang erstellen aus. Wählen Sie in den Listen Netzwerk und Subnetzwerk ein VPC-Netzwerk und ein Subnetzwerk aus.

    • Wenn Sie einen vorhandenen Netzwerkanhang verwenden möchten, wählen Sie in der Liste Netzwerkanhang einen entsprechenden Eintrag aus.

  6. Klicken Sie auf Speichern.

gcloud

Mit den folgenden Google Cloud CLI-Argumenten werden VPC-Netzwerkverbindungsparameter angegeben:

  • --network: VPC-Netzwerk-ID.
  • --subnetwork: VPC-Subnetzwerk-ID.
  • --network-attachment: Verwenden Sie stattdessen einen vorhandenen Netzwerkanhang.

Neuer Netzwerkanhang

So verbinden Sie Ihre Umgebung über ein neues Netzwerk mit einem VPC-Netzwerk: führen Sie den folgenden Google Cloud CLI-Befehl aus:

gcloud beta composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --network NETWORK_ID \
  --subnetwork SUBNETWORK_ID

Ersetzen Sie Folgendes:

  • ENVIRONMENT_NAME: der Name der Umgebung
  • LOCATION: die Region, in der sich die Umgebung befindet
  • NETWORK_ID: VPC-Netzwerk-ID
  • SUBNETWORK_ID: VPC-Subnetzwerk-ID

Beispiel:

gcloud beta composer environments update example-environment \
  --location us-central1 \
  --network projects/example-project/global/networks/example-network \
  --subnetwork projects/example-project/regions/us-central1/subnetworks/example-subnetwork

Vorhandener Netzwerkanhang

So verbinden Sie Ihre Umgebung über ein neues Netzwerk mit einem VPC-Netzwerk: führen Sie den folgenden Google Cloud CLI-Befehl aus:

gcloud beta composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --network-attachment NETWORK_ATTACHMENT_ID

Ersetzen Sie Folgendes:

  • ENVIRONMENT_NAME: der Name der Umgebung
  • LOCATION: Region, in der sich die Umgebung befindet
  • NETWORK_ATTACHMENT_ID: der Netzwerkanhang im projects/{project}/regions/{region}/networkAttachments/{networkAttachment}-Format.

Beispiel:

gcloud beta composer environments update example-environment \
  --location us-central1 \
  --network-attachment projects/example-project/regions/us-central1/networkAttachments/example-network-attachment

API

  1. Erstellen Sie eine environments.patch-API-Anfrage.

  2. In dieser Anfrage:

    • So erstellen Sie einen neuen Netzwerkanhang:

      1. Geben Sie im Parameter updateMask die Maske config.node_config.network,config.node_config.subnetwork an.

      2. Geben Sie im Anfragetext in den Feldern network und subnetwork die IDs Ihres VPC-Netzwerks und Subnetzwerks an.

    • So verwenden Sie einen vorhandenen Netzwerkanhang:

      1. Geben Sie im Parameter updateMask an, die config.node_config.composer_network_attachment Maske.

      2. Geben Sie im Anfragetext einen Wert für den vorhandenen Netzwerkanhang im Format projects/{project}/regions/{region}/networkAttachments/{networkAttachment} an.

Beispiel (neuer Netzwerkanhang):

// PATCH https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.node_config.network,config.node_config.subnetwork

"config": {
  "nodeConfig": {
    "network": "projects/example-project/global/networks/example-network",
    "subnetwork": "projects/example-project/regions/us-central1/subnetworks/example-subnetwork"
  }
}

Beispiel (vorhandener Netzwerkanhang):

// PATCH https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.node_config.composer_network_attachment

"config": {
  "nodeConfig": {
    "composerNetworkAttachment": "projects/example-project/regions/us-central1/networkAttachments/example-network-attachment"
  }
}

Terraform

Die folgenden Felder im Block node_config geben das VPC-Netzwerk an Verbindungsparameter:

  • network: VPC-Netzwerk-ID.
  • subnetwork: VPC-Subnetzwerk-ID.
  • composer_network_attachment: Verwenden Sie stattdessen einen vorhandenen Netzwerkanhang.

Neuer Netzwerkanhang

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    node_config {
      network = NETWORK_ID
      subnetwork = SUBNETWORK_ID
    }

  }
}

Ersetzen Sie Folgendes:

  • ENVIRONMENT_NAME: der Name Ihrer Umgebung
  • LOCATION: die Region, in der sich die Umgebung befindet.
  • NETWORK_ID: VPC-Netzwerk-ID
  • SUBNETWORK_ID: VPC-Subnetzwerk-ID

Beispiel (neuer Netzwerkanhang):

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    node_config {
      network = "projects/example-project/global/networks/example-network"
      subnetwork = "projects/example-project/regions/us-central1/subnetworks/example-subnetwork"
    }

    ... other configuration parameters
  }
}

Vorhandener Netzwerkanhang

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    node_config {
      composer_network_attachment = NETWORK_ATTACHMENT_ID
    }

  }
}

Ersetzen Sie Folgendes:

  • ENVIRONMENT_NAME: der Name Ihrer Umgebung
  • LOCATION: die Region, in der sich die Umgebung befindet.
  • NETWORK_ATTACHMENT_ID: die ID des Netzwerkanhangs.

Beispiel (vorhandener Netzwerkanhang):

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    node_config {
      composer_network_attachment = projects/example-project/regions/us-central1/networkAttachments/example-network-attachment
    }

    ... other configuration parameters
  }
}

Verbindung zu einem VPC-Netzwerk deaktivieren

Console

  1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

    Zur Seite Umgebungen

  2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

  3. Rufen Sie den Tab Umgebungskonfiguration auf.

  4. Suchen Sie im Bereich Netzwerkkonfiguration nach dem Element Netzwerkansatz und klicken Sie auf Bearbeiten.

  5. Wählen Sie im Dialogfeld Netzwerkanhänge die Option Keine aus und klicken Sie auf Speichern.

gcloud

Mit den --disable-vpc-connectivity-Argumenten wird die VPC-Netzwerkverbindung Ihrer Umgebung deaktiviert:

gcloud beta composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --disable-vpc-connectivity

Ersetzen Sie Folgendes:

  • ENVIRONMENT_NAME: der Name der Umgebung
  • LOCATION: die Region, in der sich die Umgebung befindet

Beispiel:

gcloud beta composer environments update example-environment \
  --location us-central1 \
  --disable-vpc-connectivity

API

  1. Erstellen Sie eine environments.patch-API-Anfrage.

  2. In dieser Anfrage:

    1. Geben Sie im Parameter updateMask die Maske config.node_config.network,config.node_config.subnetwork an.

    2. Geben Sie im Anfragetext in den Feldern network und subnetwork leere Werte an.

Beispiel:

// PATCH https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.node_config.network,config.node_config.subnetwork

"config": {
  "nodeConfig": {
    "network": "",
    "subnetwork": ""
  }
}

Terraform

Ein VPC-Netzwerk kann nicht mithilfe von Terraform getrennt werden. Stattdessen können Sie anstelle des VPC-Netzwerks ein anderes anhängen oder das Netzwerk mit anderen Tools wie der Google Cloud CLI trennen.

Nächste Schritte