Netzwerktyp der Umgebung ändern (private oder öffentliche IP)

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Auf dieser Seite wird der Unterschied zwischen den Netzwerktypen „Private IP“ und „Public IP“ in Cloud Composer 3 erläutert. Außerdem finden Sie hier eine Anleitung zum Wechseln des Netzwerktyps Ihrer Umgebung.

Wenn Sie den Internetzugriff nur bei der Installation von PyPI-Paketen deaktivieren oder aktivieren möchten, lesen Sie den Abschnitt Internetzugriff bei der Installation von PyPI-Paketen konfigurieren.

Wenn Sie den Zugriff auf Ihr VPC-Netzwerk von Ihrer Umgebung aus aktivieren möchten, lesen Sie den Abschnitt Umgebung mit einem VPC-Netzwerk verbinden.

Netzwerktypen für Umgebungen

Cloud Composer 3 verwendet zwei Arten von Umgebungsnetzwerken:

  • Öffentliche IP-Netzwerke:

    • Airflow-Komponenten der Umgebung können auf das Internet zugreifen. Dies ist der Standard-Netzwerktyp.

    • Airflow-Komponenten in Umgebungen mit öffentlichen IP-Adressen stellen ausgehende Verbindungen über automatisch zugewiesene öffentliche IP-Adressen und Ports her. Wenn Sie möchten, dass Ihre Umgebungen mit öffentlicher IP-Adresse bestimmte IP-Adressen und Ports verwenden, können Sie dies tun, indem Sie ein VPC-Netzwerk mit Ihrer Umgebung verbinden und auf private IP-Adresse umstellen. In diesem Fall leitet Cloud Composer den gesamten Traffic mit Ausnahme des Traffics zu Google-Diensten über dieses Netzwerk weiter.

  • Private IP-Netzwerke:

    • Die Airflow-Komponenten der Umgebung haben keinen Zugriff auf das Internet.

    • In Umgebungen mit privaten IP-Adressen wird der privater Google-Zugriff über den Bereich private.googleapis.com konfiguriert. Dadurch wird der Zugriff auf Google APIs, Dienste und Domains ermöglicht, die von diesem Bereich unterstützt werden.

      Weitere Informationen und eine Liste der Dienste und Domains, die über private.googleapis.com verfügbar sind, finden Sie in der Virtual Private Cloud-Dokumentation unter Netzwerkkonfiguration.

    • In Umgebungen mit privaten IP-Adressen und VPC Service Controls wird der privater Google-Zugriff über den Bereich restricted.googleapis.com konfiguriert. Dadurch wird der Zugriff auf Google APIs, Dienste und Domains ermöglicht, die von diesem Bereich unterstützt werden.

      Weitere Informationen und eine Liste der Dienste und Domains, die über restricted.googleapis.com verfügbar sind, finden Sie in der Virtual Private Cloud-Dokumentation unter Netzwerkkonfiguration.

Neben den beiden Netzwerktypen können Sie den Zugriff auf ein benutzerdefiniertes VPC-Netzwerk für jede Art von Umgebung aktivieren oder deaktivieren. Je nachdem, wie Sie Ihr VPC-Netzwerk konfigurieren, kann eine Umgebung mit privaten IP-Adressen über Ihr VPC-Netzwerk auf das Internet zugreifen.

Cloud Composer 2-Netzwerk im Vergleich zu Cloud Composer 3

In Cloud Composer 3 sind keine Konfigurationen für private IP-Umgebungen erforderlich.

Die folgenden Cloud Composer 2-Netzwerkfunktionen sind in Cloud Composer 3 nicht mehr relevant:

  • Private IP-Netzwerke konfigurieren Sie müssen keine IP-Bereiche oder Netzwerke angeben und keine Konnektivitäts- und Firewallregeln konfigurieren.

  • Private Service Connect konfigurieren In Cloud Composer 3 müssen Sie keine Bereiche für Private Service Connect festlegen.

  • Privat verwendete öffentliche IP-Bereiche verwenden. Mit dieser Funktion konnte man die verfügbaren IP-Bereiche erweitern, was in Cloud Composer 3 nicht erforderlich ist.

  • IP-Masquerade-Agent verwenden In Cloud Composer 3 müssen Sie die Clusterverbindung nicht konfigurieren.

  • Autorisierte Netzwerke konfigurieren In Cloud Composer 3 ist es nicht möglich, auf den Cluster der Umgebung zuzugreifen.

Netzwerktyp der Umgebung ändern

Console

  1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

    Zur Seite Umgebungen

  2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

  3. Rufen Sie den Tab Umgebungskonfiguration auf.

  4. Suchen Sie im Bereich Netzwerkkonfiguration nach dem Element Netzwerktyp und klicken Sie auf Bearbeiten.

  5. Wählen Sie im Dialogfeld Netzwerktyp Folgendes aus:

    • Umgebung mit öffentlicher IP (Standardeinstellung) für die Vernetzung über öffentliche IP-Adressen.
    • Umgebung mit privater IP für die private IP-Vernetzung.

  6. Klicken Sie auf Speichern.

gcloud

Mit den folgenden Google Cloud CLI-Argumenten wird der Netzwerktyp der Umgebung geändert:

  • --enable-private-environment: Änderungen an privaten IP-Netzwerken.
  • --disable-private-environment: Änderungen an öffentlichen IP-Netzwerken (Standard).

Auf privates IP-Netzwerk umstellen:

gcloud beta composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --enable-private-environment

So wechseln Sie zu einem öffentlichen IP-Netzwerk:

gcloud beta composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --disable-private-environment

Ersetzen Sie Folgendes:

  • ENVIRONMENT_NAME: der Name der Umgebung.
  • LOCATION: die Region, in der sich die Umgebung befindet.

Beispiel (private IP):

gcloud beta composer environments update example-environment \
  --location us-central1 \
  --enable-private-environment

Beispiel (öffentliche IP-Adresse):

gcloud beta composer environments update example-environment \
  --location us-central1 \
  --disable-private-environment

API

  1. Erstellen Sie eine environments.patch-API-Anfrage.

  2. In dieser Anfrage:

    1. Geben Sie im updateMask-Parameter die config.private_environment_config.enable_private_environment-Maske an.

    2. Geben Sie im Anfragetext im Feld enablePrivateEnvironment Folgendes an:

      • Geben Sie true an, um zum privaten IP-Netzwerk zu wechseln.
      • Geben Sie false an, um zum Netzwerk mit öffentlicher IP-Adresse (Standard) zu wechseln.

Beispiel (private IP):

// PATCH https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.private_environment_config.enable_private_environment

"config": {
  "privateEnvironmentConfig": {
    "enablePrivateEnvironment": true
  }
}

Terraform

Das Feld enable_private_environment im Block config gibt den Netzwerktyp der Umgebung an:

  • true: Private IP-Netzwerke.
  • false oder weggelassen: Öffentliches IP-Netzwerk (Standard).
resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    enable_private_environment = PRIVATE_IP_STATUS

  }
}

Ersetzen Sie Folgendes:

  • ENVIRONMENT_NAME: der Name Ihrer Umgebung
  • LOCATION: die Region, in der sich die Umgebung befindet.
  • PRIVATE_IP_STATUS: true für private IP-Adresse, false für öffentliche IP-Adresse

Beispiel (private IP):

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    enable_private_environment = true

    ... other configuration parameters
  }
}

Proxyservervariablen konfigurieren

Sie können http_proxy- und https_proxy-Umgebungsvariablen in Ihrer Umgebung festlegen. Diese Standard-Linux-Variablen werden von Webclients verwendet, die in Containern des Clusters Ihrer Umgebung ausgeführt werden, um den Traffic über die angegebenen Proxys weiterzuleiten.

Die Variable NO_PROXY ist standardmäßig auf eine Liste von Google-Domains und localhost festgelegt, damit sie vom Proxying ausgeschlossen werden: .google.com,.googleapis.com,metadata.google.internal,localhost. Diese Konfiguration ermöglicht es, eine Umgebung mit festgelegten Umgebungsvariablen http_proxy und https_proxy zu erstellen, wenn der Proxy nicht für die Verarbeitung von Traffic zu Google-Diensten konfiguriert ist.

Nächste Schritte