VPC Service Controls konfigurieren

Cloud Composer 1 Cloud Composer 2

Mit VPC Service Controls können Organisationen Perimeter für Google Cloud-Ressourcen definieren, um das Risiko einer Daten-Exfiltration zu minimieren.

Cloud Composer-Umgebungen können innerhalb eines Dienstperimeters bereitgestellt werden. Durch die Konfiguration Ihrer Umgebung mit VPC Service Controls können Sie vertrauliche Daten schützen und gleichzeitig die vollständig verwalteten Workflow-Orchestrierungsfunktionen von Cloud Composer nutzen.

Die VPC Service Controls-Unterstützung für Cloud Composer bedeutet:

• Cloud Composer kann jetzt als sicherer Dienst innerhalb von VPC Service Controls-Perimetern ausgewählt werden.
• Alle von Cloud Composer verwendeten unterliegenden Ressourcen sind so konfiguriert, dass sie die VPC Service Controls-Architektur unterstützen und den relevanten Regeln entsprechen.

Ihre Vorteile bei der Bereitstellung von Cloud Composer-Umgebungen mit VPC Service Controls sind:

• Geringeres Risiko der Daten-Exfiltration.
• Schutz vor Datenweitergabe aufgrund falsch konfigurierter Zugriffskontrollen.
• Reduziertes Risiko, dass böswillige Nutzer Daten in nicht autorisierte Google Cloud-Ressourcen kopieren oder dass externe Angreifer über das Internet auf Google Cloud-Ressourcen zugreifen.

Hinweis: Ist Cloud Composer durch einen Perimeter geschützt, so kann er nicht direkt mit Ressourcen kommunizieren, die außerhalb des Perimeters gehostet sind. Dies verhindert weiter den direkten Zugriff auf öffentliche PyPI-Repositories, die für bestimmte Python-Abhängigkeiten erforderlich sind. Weitere Informationen finden sich unter PyPI-Pakete installieren.

Airflow-Webserver im VPC Service Controls-Modus

Im VPC Service Controls-Modus wird der Zugriff auf den Webserver durch den Perimeter geschützt und der Zugriff von außerhalb des Perimeters wird blockiert.

Konfigurieren Sie die Zugriffsebene entsprechend, um den Zugriff von außerhalb des Dienstperimeters zuzulassen.

Dienstperimeter erstellen

Informationen zum Erstellen und Konfigurieren von Dienstperimetern finden sich unter Dienstperimeter erstellen. Wählen Sie Cloud Composer als einen der im Perimeter gesicherten Dienste aus.

Umgebungen in einem Perimeter erstellen

Es sind zusätzliche Schritte erforderlich, um Cloud Composer in einem Perimeter bereitzustellen. Beim Erstellen einer Cloud Composer-Umgebung gilt Folgendes:

1. Aktivieren Sie die Access Context Manager API und die Cloud Composer API für Ihr Projekt. Weitere Informationen finden sich unter APIs aktivieren.

2. Achten Sie darauf, dass Ihr Dienstperimeter die folgenden über VPC zugänglichen Dienste enthält. Andernfalls kann Ihre Umgebung möglicherweise nicht erstellt werden:

   • Cloud Composer API (composer.googleapis.com)
   • Compute Engine API (compute.googleapis.com)
   • Kubernetes Engine API (container.googleapis.com)
   • Container Registry API (containerRegistry.googleapis.com)
   • Artifact Registry API (ArtifactRegistry.googleapis.com)
   • Cloud Storage API (storage.googleapis.com)
   • Cloud SQL Admin API (sqladmin.googleapis.com)
   • Cloud Build API (cloudbuild.googleapis.com)
   • Cloud Logging API (logging.googleapis.com)
   • Cloud Monitoring API (monitoring.googleapis.com)
   • Cloud Pub/Sub API (pubsub.googleapis.com)
   • Security Token Service API (sts.googleapis.com)
   • Cloud Resource Manager API (cloudresourcemanager.googleapis.com)
   • Service Directory API (servicedirectory.googleapis.com)
   • Cloud Key Management Service API (cloudkms.googleapis.com), wenn Sie Cloud KMS- oder CMEK-Schlüssel verwenden
   • Secret Manager API (secretmanager.googleapis.com), wenn Sie Secret Manager als Secret-Back-End verwenden
   Warnung: Wenn Sie in Cloud Composer Version 2.0.* die Cloud Identity-Aware Proxy API (iap.googleapis.com) oder die Identity-Aware Proxy TCP API (iaptunnel.googleapis.com) in Ihrem Perimeter verwenden, können keine Cloud Composer-Umgebungen erstellt werden. Informationen zur Behebung dieses Problems finden Sie unter Umgebungserstellung schlägt in Projekten fehl, bei denen dem VPC Service Controls-Perimeter Identity-Aware Proxy APIs hinzugefügt wurden.

3. Verwenden Sie die Version composer-1.10.4 oder höher.

4. Erstellen Sie eine neue Cloud Composer-Umgebung mit aktivierter privater IP. Beachten Sie, dass diese Einstellung während der Erstellung der Umgebung konfiguriert werden muss.

5. Standardmäßig ist der Zugriff auf die Airflow-UI und -API nur innerhalb des Sicherheitsperimeters erlaubt. Wenn Sie sie außerhalb des Sicherheitsperimeters verfügbar machen möchten, konfigurieren Sie die Zugriffsebene entsprechend, wie unter Zugriff auf geschützte Ressourcen von außerhalb eines Perimeters erlauben beschrieben.

Vorhandene Umgebungen mit VPC Service Controls konfigurieren

Sie können das Projekt, das Ihre Umgebung enthält, in den Perimeter einfügen, wenn:

• Sie haben den Perimeter wie im vorherigen Abschnitt beschrieben erstellt.

• Ihre Umgebungen sind private IP-Umgebungen.

PyPI-Pakete installieren

In der standardmäßigen VPC Service Controls-Konfiguration unterstützt Cloud Composer nur die Installation von PyPI-Paketen aus privaten Repositories, die über den privaten IP-Adressbereich des VPC-Netzwerks erreichbar sind. Die empfohlene Konfiguration für diesen Prozess besteht darin, ein privates PyPI-Repository einzurichten, es mit geprüften Paketen zu versehen, die von Ihrer Organisation verwendet werden und anschließend Cloud Composer zu konfigurieren, um Python-Abhängigkeiten aus einem privaten Repository zu installieren.

Es ist auch möglich, PyPI-Pakete aus Repositories außerhalb des privaten IP-Bereichs zu installieren. Gehen Sie so vor:

1. Konfigurieren Sie Cloud NAT so, dass Cloud Composer im privaten IP-Bereich eine Verbindung zu externen PyPI-Repositories herstellen kann.
2. Konfigurieren Sie Ihre Firewallregeln so, dass ausgehende Verbindungen vom Composer-Cluster zum Repository zugelassen werden.

Wenn Sie diese Einrichtung verwenden, stellen Sie sicher, dass Sie die Risiken der Verwendung externer Repositories verstehen. Vergewissern Sie sich, dass Sie dem Inhalt und der Integrität aller externen Repositories vertrauen, da diese Verbindungen möglicherweise als Exfiltrationsvektor verwendet werden können.

Hinweis: Das für die Cloud Composer-Datenebene verwendete Dienstkonto muss die folgenden Berechtigungsrollen haben: Composer.Worker und iam.serviceAccountUser.

Verbindung zu Google APIs und Google-Diensten konfigurieren

Konfigurieren Sie in einer VPC Service Controls-Konfiguration den Zugriff auf Google APIs und Google-Dienste über die restricted.googleapis.com, um den Netzwerktraffic zu steuern. Diese Domain blockiert den Zugriff auf Google APIs und Google-Dienste, die VPC Service Controls nicht unterstützen.

Cloud Composer-Umgebungen verwenden die folgenden Domains:

• *.googleapis.com wird für den Zugriff auf andere Google-Dienste verwendet.
• *.composer.cloud.google.com wird für den Zugriff auf die Airflow-UI und die DAG-UI Ihrer Umgebung verwendet.
• *.pkg.dev wird zum Abrufen von Umgebungs-Images verwendet, z. B. beim Erstellen oder Aktualisieren einer Umgebung.
• *.gcr.io GKE erfordert unabhängig von der Cloud Composer-Version eine Verbindung zur Container Registry-Domain.

Hinweis: Wenn Sie keine DNS-Regeln für Google APIs und Google-Dienste konfigurieren, werden sie mit der Domainoption für Standarddomains aufgelöst.

Konfigurieren Sie die Verbindung zum restricted.googleapis.com-Endpunkt.

Domain	DNS-Name	CNAME-Eintrag	A-Eintrag
*.googleapis.com	googleapis.com.	DNS-Name: *.googleapis.com. Ressourceneintragstyp: CNAME Kanonischer Name: googleapis.com.	Typ des Ressourceneintrags: A IPv4-Adressen: 199.36.153.4, 199.36.153.5, 199.36.153.6, 199.36.153.7
*.composer.cloud.google.com	composer.cloud.google.com.	DNS-Name: *.composer.cloud.google.com. Ressourceneintragstyp: CNAME Kanonischer Name: composer.cloud.google.com.	Typ des Ressourceneintrags: A IPv4-Adressen: 199.36.153.4, 199.36.153.5, 199.36.153.6, 199.36.153.7
*.pkg.dev	pkg.dev.	DNS-Name: *.pkg.dev. Ressourceneintragstyp: CNAME Kanonischer Name: pkg.dev.	Typ des Ressourceneintrags: A IPv4-Adressen: 199.36.153.4, 199.36.153.5, 199.36.153.6, 199.36.153.7
*.gcr.io	gcr.io.	DNS-Name: *.gcr.io. Ressourceneintragstyp: CNAME Kanonischer Name: gcr.io.	Typ des Ressourceneintrags: A IPv4-Adressen: 199.36.153.4, 199.36.153.5, 199.36.153.6, 199.36.153.7

So erstellen Sie eine DNS-Regel:

1. Erstellen Sie eine neue DNS-Zone und verwenden Sie den DNS-Namen als DNS-Namen dieser Zone.

   Beispiel: pkg.dev.

2. Fügen Sie einen Datensatz für CNAME Record (Eintrag hinzufügen) hinzu.

   Beispiel:

   • DNS-Name: *.pkg.dev.
   • Ressourceneintragstyp: CNAME
   • Kanonischer Name: pkg.dev.

3. Fügen Sie einen Datensatz für A Record (A-Eintrag) hinzu:

   Beispiel:

   • Ressourceneintragstyp: A
   • IPv4-Adressen: 199.36.153.4, 199.36.153.5, 199.36.153.6, 199.36.153.7

Weitere Informationen finden Sie unter Private Verbindung zu Google APIs und Google-Diensten einrichten.

Firewallregeln konfigurieren

Wenn Ihr Projekt nicht standardmäßige Firewallregeln enthält, z. B. solche, die implizierte Firewallregeln überschreiben, oder vorkonfigurierte Regeln im Standardnetzwerk ändern, prüfen Sie, ob die folgenden Firewallregeln konfiguriert sind.

Cloud Composer kann beispielsweise keine Umgebung erstellen, wenn Sie eine Firewallregel haben, die den gesamten ausgehenden Traffic ablehnt. Definieren Sie selektive allow-Regeln, die der Liste folgen und eine höhere Priorität als die globale deny-Regel haben, um Probleme zu vermeiden.

Wichtig: Je nachdem, wie Firewallregeln in Ihrem Projekt konfiguriert sind, kann die folgende Liste mit Regeln redundant sein. Wenn Ihre Firewallregeln beispielsweise nur eingehenden Traffic blockieren, benötigen Sie die aufgeführten Regeln für ausgehenden Traffic nicht.

Konfigurieren Sie Ihr VPC-Netzwerk so, dass Traffic von Ihrer Umgebung zugelassen wird:

• Unter Firewallregeln verwenden erfahren Sie, wie Sie Regeln für Ihr VPC-Netzwerk prüfen, hinzufügen und aktualisieren.
• Verwenden Sie das Verbindungstool, um die Konnektivität zwischen IP-Bereichen zu prüfen.
• Sie können Netzwerk-Tags verwenden, um den Zugriff weiter einzuschränken. Sie können diese Tags beim Erstellen einer Umgebung festlegen.

Beschreibung	Richtung	Aktion	Quelle oder Ziel	Protokolle	Ports
DNS Konfigurieren Sie die Konfiguration wie unter VPC Service Controls-Unterstützung für Cloud DNS beschrieben	-	-	-	-	-
Google APIs und Google-Dienste	Ausgehender Traffic	Zulassen	IPv4-Adressen von restricted.googleapis.com, die Sie für Google APIs und Google-Dienste verwenden.	TCP	443
Clusterknoten der Umgebung	Ausgehender Traffic	Zulassen	Primärer IP-Adressbereich des Subnetzwerks der Umgebung	TCP, UDP	Alle
Cluster-Pods der Umgebung	Ausgehender Traffic	Zulassen	Sekundärer IP-Adressbereich für Pods im Subnetzwerk der Umgebung	TCP, UDP	Alle
Cluster-Steuerungsebene der Umgebung	Ausgehender Traffic	Zulassen	IP-Bereich der GKE-Steuerungsebene	TCP, UDP	Alle
(Wenn Ihre Umgebung Private Service Connect verwendet) Verbindungssubnetzwerk	Ausgehender Traffic	Zulassen	Subnetzwerkbereich der Cloud Composer-Verbindung	TCP	3306, 3307
(Wenn Ihre Umgebung VPC-Peerings verwendet) Mandantennetzwerk	Ausgehender Traffic	Zulassen	IP-Bereich des Cloud Composer-Mandantennetzwerks	TCP	3306, 3307

Achtung: Der GKE-Dienst erstellt automatisch eine Reihe von Firewallregeln für eingehenden und ausgehenden Traffic, damit der Cluster Ihrer Umgebung ordnungsgemäß funktioniert (z. B. Regeln für eingehenden und ausgehenden Traffic für Google Cloud-Systemdiagnosen). Weitere Informationen finden Sie auf der Seite GKE-Firewallregeln. Von GKE-Diensten erstellte Firewallregeln dürfen nicht gelöscht oder blockiert werden.

So rufen Sie IP-Bereiche ab:

• Adressbereiche für Pods, Dienste und Steuerungsebenen sind auf der Seite Cluster des Clusters Ihrer Umgebung verfügbar:

  1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

     Zur Seite Umgebungen“

  2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

  3. Rufen Sie den Tab Umgebungskonfiguration auf.

  4. Klicken Sie auf den Link Clusterdetails ansehen.

• Sie können den IP-Bereich des Cloud Composer-Mandantennetzwerks der Umgebung auf dem Tab Umgebungskonfiguration sehen.

• Die Subnetzwerk-ID der Umgebung und die Subnetzwerk-ID der Cloud Composer-Verbindung finden Sie auf dem Tab Umgebungskonfiguration. Wenn Sie IP-Bereiche für ein Subnetzwerk abrufen möchten, rufen Sie die Seite VPC-Netzwerke auf und klicken Sie auf den Namen des Netzwerks, um Details aufzurufen:

  Zur Seite VPC-Netzwerke

VPC Service Controls-Logs

Beim Beheben von Problemen beim Erstellen von Umgebungen können Sie Audit-Logs analysieren, die von VPC Service Controls generiert wurden.

Zusätzlich zu anderen Lognachrichten können Sie Logs auf Informationen zu [e-mail]- und [e-mail]-Dienstkonten überprüfen, die Komponenten Ihrer Umgebungen konfigurieren.

Der Cloud Composer-Dienst verwendet das Dienstkonto [e-mail] zum Verwalten von Mandantenprojektkomponenten Ihrer Umgebungen.

Das [e-mail]-Dienstkonto, auch als Composer Service Agent Service Account bezeichnet, verwaltet Umgebungskomponenten in Dienst- und Hostprojekten.

Beschränkungen

• Alle Netzwerkeinschränkungen der VPC Service Controls gelten auch für Ihre Cloud Composer-Umgebungen. Weitere Informationen finden sich in der Dokumentation zu VPC Service Controls.

• Wenn Cloud Composer in einem Perimeter ausgeführt wird, ist der Zugriff auf öffentliche PyPI-Repositories eingeschränkt. Informationen zum Installieren von PyPi-Modulen im privaten IP-Modus finden sich unter Python-Abhängigkeiten installieren.