Private IP-Umgebungen

Cloud Composer 1 Cloud Composer 2

Diese Seite enthält Informationen zu Private IP-Umgebungen für Cloud Composer.

Wenn Sie private IP-Adressen aktivieren, weist Cloud Composer den verwalteten Google Kubernetes Engine- und Cloud SQL-VMs in der Umgebung nur private IP-Adressen (RFC 1918) zu. Entsprechend ist kein Zugriff auf diese verwalteten VMs aus dem öffentlichen Internet möglich. Optional können Sie auch privat verwendete öffentliche IP-Adressen verwenden.

In einer privaten IP-Umgebung haben Cloud Composer-Workflows standardmäßig keinen ausgehenden Internetzugriff. Der Zugriff auf Google Cloud APIs und -Dienste wird durch das Routing über das private Netzwerk von Google nicht beeinflusst.

VPC-nativer GKE-Cluster

Beim Erstellen einer Umgebung werden die Umgebungsressourcen von Cloud Composer auf ein von Google verwaltetes Mandantenprojekt und Ihr Kundenprojekt verteilt.

Für eine private IP-Umgebung erstellt Cloud Composer einen VPC-nativen GKE-Cluster für die Umgebung in Ihrem Kundenprojekt.

VPC-native Cluster verwenden das in das VPC-Netzwerk eingebundene Alias-IP-Routing und ermöglichen die Routing-Verwaltung von Pods über die VPC. Wenn Sie VPC-native Cluster verwenden, wird von GKE automatisch ein sekundärer Bereich ausgewählt. Für bestimmte Netzwerkanforderungen können Sie beim Erstellen einer Umgebung auch die sekundären Bereiche für Ihre GKE-Pods und GKE-Dienste konfigurieren.

Private-IP-Umgebung in Cloud Composer

Sie können eine private IP-Umgebung auswählen, wenn Sie eine Umgebung erstellen. Das Verwenden privater IP-Adressen bedeutet, dass den GKE- und Cloud SQL-VMs in der Umgebung keine öffentlichen IP-Adressen zugewiesen werden und sie nur über das interne Google-Netzwerk kommunizieren können.

Wenn Sie eine private IP-Umgebung erstellen, wird der GKE-Cluster für die Umgebung als privater Cluster konfiguriert, während für die Cloud SQL-Instanz private IP-Adressen konfiguriert werden. Cloud Composer erstellt auch eine Peering-Verbindung zwischen dem VPC-Netzwerk des Kundenprojekts und dem VPC-Netzwerk des Mandantenprojekts.

Bei aktiviertem VPC-Peering und privaten IP-Adressen in der Umgebung ist der IP-Traffic zwischen dem GKE-Cluster und der Cloud SQL-Datenbank (über die VPC-Peering-Verbindung) privat, sodass die Workflows vom öffentlichen Internet isoliert werden.

Diese zusätzliche Sicherheitsebene wirkt sich darauf aus, wie Sie sich mit diesen Ressourcen verbinden und wie in Ihrer Umgebung auf externe Ressourcen zugegriffen wird. Die Verwendung privater IP-Adressen hat keinen Einfluss darauf, wie Sie über öffentliche IP-Adressen auf Cloud Storage oder den Airflow-Webserver zugreifen.

GKE-Cluster

Bei einem privaten GKE-Cluster können Sie den Zugriff auf der Steuerungsebene des Clusters steuern. Clusterknoten haben keine öffentlichen IP-Adressen.

Wenn Sie eine private IP-Umgebung in Cloud Composer erstellen, müssen Sie festlegen, ob der Zugriff auf die Steuerungsebene öffentlich sein soll, und wie sein IP-Bereich lautet. Der IP-Bereich der Steuerungsebene darf sich nicht mit einem Subnetzwerk im VPC-Netzwerk überschneiden.

Option Beschreibung
Zugriff auf öffentliche Endpunkte deaktiviert Sie müssen die Verbindung zum Cluster über eine VM herstellen, die sich in derselben Region und im selben VPC-Netzwerk wie die private IP-Umgebung befindet. Die VM-Instanz, über die Sie die Verbindung herstellen, benötigt den Zugriffsbereich Uneingeschränkten Zugriff auf alle Cloud-APIs zulassen.
Von dieser VM aus haben Sie die Möglichkeit, Airflow-Befehle mit dem Befehl gcloud composer environments run auszuführen.
Zugriff auf öffentliche Endpunkte aktiviert, autorisierte Master-Netzwerke aktiviert In dieser Konfiguration kommunizieren Clusterknoten über das private Google-Netzwerk mit der Steuerungsebene. Knoten können auf Ressourcen in der Umgebung und in autorisierten Netzwerken zugreifen. Sie haben die Möglichkeit, autorisierte Netzwerke in GKE hinzuzufügen.
In autorisierten Netzwerken können Sie die Befehle kubectl und gcloud composer environments run ausführen.

Cloud SQL

Da die Cloud SQL-Instanz keine öffentliche IP-Adresse hat, ist Cloud SQL-Traffic in der privaten IP-Umgebung nicht im öffentlichen Internet verfügbar.

Cloud Composer konfiguriert Cloud SQL so, dass eingehende Verbindungen über den privaten Dienstzugriff akzeptiert werden. Sie können über die private IP-Adresse der Cloud SQL-Instanz im VPC-Netzwerk auf diese Instanz zugreifen.

Öffentlicher Internetzugriff für Ihre Workflows

Operatoren und Vorgänge, für die Zugriff auf Ressourcen in nicht autorisierten Netzwerken oder im öffentlichen Internet benötigt wird, können fehlschlagen. Beispielsweise ist für den Dataflow Python-Vorgang eine öffentliche Internetverbindung erforderlich, um Apache Beam von pip herunterzuladen.

Damit VMs ohne externe IP-Adressen und private GKE-Cluster eine Verbindung mit dem Internet herstellen können, ist Cloud NAT erforderlich.

Wenn Sie Cloud NAT verwenden möchten, erstellen Sie eine NAT-Konfiguration mit Cloud Router für das VPC-Netzwerk und die Region, in der sich Ihre private IP-Umgebung in Cloud Composer befindet.

Nächste Schritte