Umgebung mit einem VPC-Netzwerk verbinden

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Auf dieser Seite wird erläutert, wie Ihre Umgebung in Cloud Composer 3 auf ein VPC-Netzwerk zugreifen kann. Außerdem finden Sie eine Anleitung zum Verbinden einer Umgebung mit einem VPC-Netzwerk und zum Deaktivieren einer zuvor konfigurierten Verbindung.

VPC-Netzwerkzugriff

In Cloud Composer 3 können Sie den Zugriff auf ein VPC-Netzwerk für ein zu verbessern.

Wenn Sie den Zugriff auf ein VPC-Netzwerk für eine Umgebung aktivieren, gilt Folgendes:

  • Airflow-Komponenten Ihrer Umgebung können auf private Netzwerkendpunkte in Ihrem VPC-Netzwerk zugreifen. So kann Ihr DAG-Code beispielsweise über eine konfigurierte Airflow-Verbindung auf Ressourcen in Ihrem VPC-Netzwerk zugreifen.

  • Wenn Ihre Umgebung ein privates IP-Netzwerk verwendet: Der gesamte interne Traffic wird an Ihr VPC-Netzwerk weitergeleitet, mit Ausnahme des Traffics auf Google APIs, Google-Dienste und -Domains, sind in privaten IP-Umgebungen verfügbar über den privater Google-Zugriff.

  • Je nach Konfiguration Ihres VPC-Netzwerk kann eine private IP-Adresse Umgebung über Ihr VPC-Netzwerk Zugriff auf das Internet erhalten.

  • Private DNS-Zonen, die in Ihrer VPC definiert sind automatisch für den Airflow Ihrer Umgebung verfügbar, Komponenten.

  • Für die Umgebung werden zwei IP-Adressen in Ihrem VPC-Subnetzwerk reserviert.

Cloud Composer verwendet eine Netzwerkanhang, um eine Verbindung mit einem VPC-Netzwerk zu verbinden:

  • Wenn Sie ein VPC-Netzwerk und ein Subnetzwerk angeben, erstellt einen neuen Netzwerkanhang in Ihrem Projekt. Dieser Anhang wird gelöscht, nachdem Sie eine Umgebung gelöscht, die Verbindung zu einem VPC-Netzwerk deaktiviert oder die VPC-Verbindungsparameter überschrieben haben.

  • Wenn Sie ein vorhandenen Netzwerkanhang, muss sie sich im selben Projekt wie die Umgebung befinden. Dieses Der Anhang wird nicht gelöscht, nachdem Sie eine Umgebung gelöscht, die Verbindung deaktiviert oder die VPC-Verbindungsparameter überschrieben haben.

  • Bei freigegebenen VPC-Netzwerken:

    • Achten Sie darauf, dass Sie ein freigegebenes freigegebene VPC-Netzwerk für Cloud Composer Informationen zum Konfigurieren von Projekten und Berechtigungen für Cloud Composer finden Sie unter Freigegebene VPC konfigurieren.

    • Nachdem das freigegebene VPC-Netzwerk konfiguriert wurde, können Sie vom Hostprojekt in ein VPC-Netzwerk. Wenn Sie ein vorhandenen Netzwerkanhangs vorhanden ist, muss er im Dienstprojekt erstellt werden (in dem sich die Umgebung befindet) und an eine freigegebene VPC angehängt ist Netzwerk.

Informationen zum internen IP-Bereich der Umgebung

Für Cloud Composer 3-Umgebungen sind mehrere IP-Adressen erforderlich, Komponenten, die im Mandantenprojekt ausgeführt werden, z. B. Ihre den Cluster der Umgebung und den Cloud SQL-Proxy. Diese IP-Adressen sind die aus dem internen IP-Bereich der Umgebung stammen.

  • Der standardmäßige interne IP-Bereich ist 100.64.128.0/20.

  • Sie können beim Erstellen einer zu verbessern. In diesem Bereich muss eine /20-Maske verwendet werden.

  • Sie können den internen IP-Bereich einer vorhandenen Umgebung nicht ändern.

Der interne IP-Bereich interagiert auf folgende Weise mit Ihrem VPC-Netzwerk:

  • Der interne IP-Bereich darf nicht mit dem VPC-Subnetzwerk in Konflikt stehen, Cloud Composer-Umgebung ist verbunden. Es ist nicht möglich, um eine Verbindung mit einem VPC-Subnetzwerk zu ermöglichen, das sich mit dem internen IP-Bereich.

  • Wenn sich der interne IP-Bereich einer Umgebung mit den Bereichen Ihres VPC-Netzwerks überschneidet, können Endpunkte aus Ihrem VPC-Netzwerk mit überschneidenden IP-Adressen nicht von der Umgebung aus erreicht werden.

    Wenn der interne Bereich beispielsweise 100.64.128.0/20 ist, kann jede Anfrage zum Endpunkt 100.64.128.1 in Ihrem VPC-Netzwerk schlägt fehl, -Anfrage verlässt das Mandantenprojekt nicht.

  • Der interne IP-Bereich ist nicht reserviert. Sie können denselben internen IP-Bereich für mehrere Umgebungen ohne zusätzliche Einrichtung verwenden, da die internen VPC-Netzwerke, die von verschiedenen Umgebungen verwendet werden, getrennt sind.

  • Sie können die IP-Adressen des internen Bereichs für andere Zwecke verwenden, solange DAGs und Aufgaben in Ihrer Umgebung keine Anfragen an sie senden.

Verbindung zu einem VPC-Netzwerk herstellen

Console

  1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

    Zur Seite Umgebungen

  2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

  3. Rufen Sie den Tab Umgebungskonfiguration auf.

  4. Suchen Sie im Bereich Netzwerkkonfiguration nach dem Element Netzwerkansatz und klicken Sie auf Bearbeiten.

  5. Gehen Sie im Dialogfeld Netzwerkanhang so vor:

    • So erstellen Sie einen neuen Netzwerkanhang im Feld Netzwerkanhang die Option Neuen Netzwerkanhang erstellen aus. Wählen Sie in den Listen Netzwerk und Subnetzwerk ein VPC-Netzwerk und ein Subnetzwerk aus.

    • Wenn Sie einen vorhandenen Netzwerkanhang verwenden möchten, geben Sie im Feld Netzwerkanhang wählen Sie einen Anhang aus.

  6. Klicken Sie auf Speichern.

gcloud

Die folgenden Argumente der Google Cloud CLI geben die VPC-Netzwerkverbindung an Parameter:

  • --network: VPC-Netzwerk-ID.
  • --subnetwork: VPC-Subnetz-ID.
  • --network-attachment: Verwenden Sie stattdessen einen vorhandenen Netzwerkanhang.

Neuer Netzwerkanhang

Führen Sie den folgenden Google Cloud CLI-Befehl aus, um Ihre Umgebung über eine neue Netzwerkverbindung mit einem VPC-Netzwerk zu verbinden:

gcloud beta composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --network NETWORK_ID \
  --subnetwork SUBNETWORK_ID

Ersetzen Sie Folgendes:

  • ENVIRONMENT_NAME: der Name der Umgebung
  • LOCATION: die Region, in der sich die Umgebung befindet
  • NETWORK_ID: VPC-Netzwerk-ID
  • SUBNETWORK_ID: VPC-Subnetzwerk-ID

Beispiel:

gcloud beta composer environments update example-environment \
  --location us-central1 \
  --network projects/example-project/global/networks/example-network \
  --subnetwork projects/example-project/regions/us-central1/subnetworks/example-subnetwork

Vorhandener Netzwerkanhang

Führen Sie den folgenden Google Cloud CLI-Befehl aus, um Ihre Umgebung über eine neue Netzwerkverbindung mit einem VPC-Netzwerk zu verbinden:

gcloud beta composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --network-attachment NETWORK_ATTACHMENT_ID

Ersetzen Sie Folgendes:

  • ENVIRONMENT_NAME: der Name der Umgebung
  • LOCATION: die Region, in der sich die Umgebung befindet
  • NETWORK_ATTACHMENT_ID: der Netzwerkanhang im projects/{project}/regions/{region}/networkAttachments/{networkAttachment} Format.

Beispiel:

gcloud beta composer environments update example-environment \
  --location us-central1 \
  --network-attachment projects/example-project/regions/us-central1/networkAttachments/example-network-attachment

API

  1. Erstellen Sie eine environments.patch-API-Anfrage.

  2. In dieser Anfrage:

    • So erstellen Sie einen neuen Netzwerkanhang:

      1. Geben Sie im Parameter updateMask die Maske config.node_config.network,config.node_config.subnetwork an.

      2. Im Anfragetext, in network und subnetwork geben Sie die IDs Ihres VPC-Netzwerk und des Subnetzwerks an.

    • So verwenden Sie einen vorhandenen Netzwerkansatz:

      1. Geben Sie im Parameter updateMask an, die config.node_config.composer_network_attachment Maske.

      2. Geben Sie im Anfragetext einen Wert für den vorhandenen Netzwerk-Anhang im Format projects/{project}/regions/{region}/networkAttachments/{networkAttachment} an.

Beispiel (neuer Netzwerkanhang):

// PATCH https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.node_config.network,config.node_config.subnetwork

"config": {
  "nodeConfig": {
    "network": "projects/example-project/global/networks/example-network",
    "subnetwork": "projects/example-project/regions/us-central1/subnetworks/example-subnetwork"
  }
}

Beispiel (vorhandener Netzwerkanhang):

// PATCH https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.node_config.composer_network_attachment

"config": {
  "nodeConfig": {
    "composerNetworkAttachment": "projects/example-project/regions/us-central1/networkAttachments/example-network-attachment"
  }
}

Terraform

Die folgenden Felder im Block node_config geben das VPC-Netzwerk an Verbindungsparameter:

  • network: VPC-Netzwerk-ID.
  • subnetwork: VPC-Subnetzwerk-ID.
  • composer_network_attachment: Verwenden Sie stattdessen einen vorhandenen Netzwerkanhang.

Neuer Netzwerkanhang

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    node_config {
      network = NETWORK_ID
      subnetwork = SUBNETWORK_ID
    }

  }
}

Ersetzen Sie Folgendes:

  • ENVIRONMENT_NAME: der Name Ihrer Umgebung
  • LOCATION: Region, in der sich die Umgebung befindet.
  • NETWORK_ID: VPC-Netzwerk-ID
  • SUBNETWORK_ID: VPC-Subnetzwerk-ID

Beispiel (neuer Netzwerkanhang):

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    node_config {
      network = "projects/example-project/global/networks/example-network"
      subnetwork = "projects/example-project/regions/us-central1/subnetworks/example-subnetwork"
    }

    ... other configuration parameters
  }
}

Vorhandener Netzwerkanhang

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    node_config {
      composer_network_attachment = NETWORK_ATTACHMENT_ID
    }

  }
}

Ersetzen Sie Folgendes:

  • ENVIRONMENT_NAME: der Name Ihrer Umgebung
  • LOCATION: die Region, in der sich die Umgebung befindet.
  • NETWORK_ATTACHMENT_ID: die ID des Netzwerkanhangs.

Beispiel (vorhandener Netzwerkanhang):

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    node_config {
      composer_network_attachment = projects/example-project/regions/us-central1/networkAttachments/example-network-attachment
    }

    ... other configuration parameters
  }
}

Verbindung zu einem VPC-Netzwerk deaktivieren

Console

  1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

    Zur Seite Umgebungen

  2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

  3. Rufen Sie den Tab Umgebungskonfiguration auf.

  4. Suchen Sie im Abschnitt Netzwerkkonfiguration nach der Netzwerkanhang und klicken Sie auf Bearbeiten.

  5. Wählen Sie im Dialogfeld Netzwerkanhänge die Option Keine aus und klicken Sie auf Speichern.

gcloud

Mit den --disable-vpc-connectivity-Argumenten wird die VPC-Netzwerkverbindung Ihrer Umgebung deaktiviert:

gcloud beta composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --disable-vpc-connectivity

Ersetzen Sie Folgendes:

  • ENVIRONMENT_NAME: der Name der Umgebung
  • LOCATION: Region, in der sich die Umgebung befindet

Beispiel:

gcloud beta composer environments update example-environment \
  --location us-central1 \
  --disable-vpc-connectivity

API

  1. Erstellen Sie eine environments.patch-API-Anfrage.

  2. In dieser Anfrage:

    1. Geben Sie im Parameter updateMask an, die config.node_config.network,config.node_config.subnetwork Maske.

    2. Geben Sie im Anfragetext in den Feldern network und subnetwork leere Werte an.

Beispiel:

// PATCH https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.node_config.network,config.node_config.subnetwork

"config": {
  "nodeConfig": {
    "network": "",
    "subnetwork": ""
  }
}

Terraform

Ein VPC-Netzwerk kann nicht mithilfe von Terraform getrennt werden. Stattdessen können Sie anstelle des VPC-Netzwerks ein anderes anhängen oder das Netzwerk mit anderen Tools wie der Google Cloud CLI trennen.

Nächste Schritte