Private IP-Umgebung in Cloud Composer

Diese Seite enthält Informationen zum Verwenden einer privaten IP-Umgebung in Cloud Composer.

Wenn Sie private IP-Adressen aktivieren, weist Cloud Composer den verwalteten Google Kubernetes Engine- und Cloud SQL-VMs in der Umgebung nur private IP-Adressen (RFC 1918) zu. Entsprechend ist kein Zugriff auf diese verwalteten VMs aus dem öffentlichen Internet möglich.

Standardmäßig verfügen Cloud Composer-Workflows über keinen ausgehenden Internetzugriff. Der Zugriff auf Google Cloud APIs und -Dienste wird durch das Routing über das private Netzwerk von Google nicht beeinflusst. In den folgenden Abschnitten werden die Funktionen, die eine private IP-Umgebung in Cloud Composer ermöglichen, und die Konfigurationsoptionen beschrieben.

VPC-nativer GKE-Cluster

Beim Erstellen einer Umgebung werden die Umgebungsressourcen von Cloud Composer auf ein von Google verwaltetes Mandantenprojekt und Ihr Kundenprojekt verteilt.

Wenn Sie eine private IP-Umgebung in Cloud Composer aktivieren, erstellt Cloud Composer einen VPC-nativen GKE-Cluster für die Umgebung in Ihrem Kundenprojekt. VPC-native Cluster verwenden in das VPC-Netzwerk integriertes Alias-IP-Routing und ermöglichen die Routing-Verwaltung von Pods über die VPC. Wenn Sie VPC-native Cluster verwenden, wird von GKE automatisch ein sekundärer Bereich ausgewählt. Für bestimmte Netzwerkanforderungen können Sie beim Erstellen der Umgebung für Ihre GKE-Pods und GKE-Dienste auch die sekundären Bereiche konfigurieren.

Private IP-Umgebung in Cloud Composer

Sie können eine private IP-Umgebung in Cloud Composer beim Erstellen einer Umgebung aktivieren. Die Verwendung privater IP-Adressen bedeutet, dass den GKE- und Cloud SQL-VMs in der Umgebung keine öffentlichen IP-Adressen zugewiesen werden und sie nur über das interne Google-Netzwerk kommunizieren.

Wenn Sie eine private IP-Umgebung in Cloud Composer erstellen, wird der GKE-Cluster für die Umgebung als privater Cluster konfiguriert, während für die Cloud SQL-Instanz private IP-Adressen konfiguriert werden. Cloud Composer erstellt außerdem eine Peering-Verbindung zwischen dem Netzwerk des Kundenprojekts und dem VPC-Netzwerk des Mandantenprojekts.

Bei aktiviertem VPC-Peering und privaten IP-Adressen in der Umgebung ist der IP-Traffic zwischen dem GKE-Cluster und der Cloud SQL-Datenbank (über die VPC-Peering-Verbindung) privat, sodass die Workflows vom öffentlichen Internet isoliert werden.

Diese zusätzliche Sicherheitsebene wirkt sich darauf aus, wie Sie sich mit diesen Ressourcen verbinden und wie in Ihrer Umgebung auf externe Ressourcen zugegriffen wird. Die Verwendung privater IP-Adressen hat keinen Einfluss darauf, wie Sie über öffentliche IP-Adressen auf Cloud Storage oder den Airflow-Webserver zugreifen.

GKE-Cluster

Bei einem privaten GKE-Cluster können Sie den Zugriff auf den Master-Endpunkt des Clusters steuern. (Clusterknoten haben keine öffentlichen IP-Adressen.)

Wenn Sie eine private IP-Umgebung in Cloud Composer erstellen, geben Sie an, ob der Zugriff auf den Master-Endpunkt öffentlich ist, und legen den IP-Bereich fest. Der Master-IP-Bereich darf nicht mit einem Subnetzwerk im VPC-Netzwerk überlappen.

Option Beschreibung
Zugriff auf öffentlichen Endpunkt deaktiviert Sie müssen die Verbindung zum Cluster über eine VM herstellen, die sich in derselben Region und im selben VPC-Netzwerk wie die private IP-Umgebung in Cloud Composer befindet.

Die VM-Instanz, über die Sie die Verbindung herstellen, benötigt den Zugriffsbereich Uneingeschränkten Zugriff auf alle Cloud-APIs zulassen.

Von dieser VM aus haben Sie die Möglichkeit, Airflow-Befehle mit dem Befehl gcloud composer environments run auszuführen.
Zugriff auf öffentliche Endpunkte aktiviert, autorisierte Master-Netzwerke aktiviert In dieser Konfiguration kommunizieren Clusterknoten über das private Google-Netzwerk mit dem Master. Knoten können auf Ressourcen in der Cloud Composer-Umgebung und in autorisierten Netzwerken zugreifen. Sie können autorisierte Netzwerke in GKE hinzufügen.

In autorisierten Netzwerken können Sie Folgendes:
  • Airflow-Befehle mit dem Befehl gcloud composer environments run ausführen
  • SSH-Verbindung mit dem Master herstellen
  • kubectl-Befehle ausführen

Cloud SQL

Da die Cloud SQL-Instanz keine öffentliche IP-Adresse hat, ist Cloud SQL-Traffic in der privaten IP-Umgebung in Cloud Composer nicht im öffentlichen Internet verfügbar. Cloud Composer konfiguriert Cloud SQL, um eingehende Verbindungen über den privaten Dienstzugriff zu akzeptieren. Sie können über die private IP-Adresse der Cloud SQL-Instanz im VPC-Netzwerk auf diese zugreifen.

Öffentlicher Internetzugriff für Ihre Workflows

Operatoren und Vorgänge, für die Zugriff auf Ressourcen in nicht autorisierten Netzwerken oder im öffentlichen Internet benötigt wird, können fehlschlagen. Beispielsweise ist für den Dataflow Python-Vorgang eine öffentliche Internetverbindung erforderlich, um Apache Beam von pip herunterzuladen.

Damit VMs ohne externe IP-Adressen und private GKE-Cluster eine Verbindung mit dem Internet herstellen können, ist Cloud NAT erforderlich.

Sie müssen für das VPC-Netzwerk und die Region, in der sich die private IP-Umgebung in Cloud Composer befindet, eine NAT-Konfiguration über Cloud Router erstellen, um Cloud NAT verwenden zu können.

Nächste Schritte