Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Mit VPC Service Controls können Organisationen Perimeter für Google Cloud-Ressourcen definieren, um das Risiko einer Daten-Exfiltration zu minimieren.
Cloud Composer-Umgebungen können innerhalb eines Dienstperimeters bereitgestellt werden. Durch die Konfiguration Ihrer Umgebung mit VPC Service Controls können Sie vertrauliche Daten schützen und gleichzeitig die vollständig verwalteten Workflow-Orchestrierungsfunktionen von Cloud Composer nutzen.
Die VPC Service Controls-Unterstützung für Cloud Composer bedeutet:
- Cloud Composer kann jetzt als sicherer Dienst innerhalb von VPC Service Controls-Perimetern ausgewählt werden.
- Alle von Cloud Composer verwendeten unterliegenden Ressourcen sind so konfiguriert, dass sie die VPC Service Controls-Architektur unterstützen und den relevanten Regeln entsprechen.
Ihre Vorteile bei der Bereitstellung von Cloud Composer-Umgebungen mit VPC Service Controls sind:
- Geringeres Risiko der Daten-Exfiltration.
- Schutz vor Datenweitergabe aufgrund falsch konfigurierter Zugriffskontrollen.
- Reduziertes Risiko, dass böswillige Nutzer Daten in nicht autorisierte Google Cloud-Ressourcen kopieren oder dass externe Angreifer über das Internet auf Google Cloud-Ressourcen zugreifen.
Airflow-Webserver im VPC Service Controls-Modus
Im VPC Service Controls-Modus wird der Zugriff auf den Webserver durch die Der Perimeter und der Zugang von außerhalb des Perimeters ist blockiert.
Wenn Sie den Zugriff von außerhalb des Dienstperimeters zulassen möchten, konfigurieren Sie die Zugriffsebene entsprechend.
Dienstperimeter erstellen
Informationen zum Erstellen und Konfigurieren von Dienstperimetern finden sich unter Dienstperimeter erstellen. Wählen Sie Cloud Composer als einen der im Perimeter gesicherten Dienste aus.
Umgebungen in einem Perimeter erstellen
Es sind zusätzliche Schritte erforderlich, um Cloud Composer in einem Perimeter bereitzustellen. Beim Erstellen einer Cloud Composer-Umgebung gilt Folgendes:
Aktivieren Sie die Access Context Manager API und die Cloud Composer API für Ihr Projekt. Weitere Informationen finden sich unter APIs aktivieren.
Achten Sie darauf, dass Ihr Dienstperimeter die folgenden über VPC zugänglichen Dienste hat: Andernfalls kann Ihre Umgebung Folgendes nicht erstellen:
- Cloud Composer API (composer.googleapis.com)
- Compute Engine API (compute.googleapis.com)
- Kubernetes Engine API (container.googleapis.com)
- Container Registry API (containerRegistry.googleapis.com)
- Artifact Registry API (artifactregistry.googleapis.com)
- Cloud Storage API (storage.googleapis.com)
- Cloud SQL Admin API (sqladmin.googleapis.com)
- Cloud Logging API (logging.googleapis.com)
- Cloud Monitoring API (monitoring.googleapis.com)
- Cloud Pub/Sub API (pubsub.googleapis.com)
- Security Token Service API (sts.googleapis.com)
- Cloud Resource Manager API (cloudresourcemanager.googleapis.com)
- Service Directory API (servicedirectory.googleapis.com)
- Cloud Key Management Service API (cloudkms.googleapis.com), wenn Sie Cloud KMS- oder CMEK-Schlüssel verwenden
- Secret Manager API (secretmanager.googleapis.com), wenn Sie Secret Manager als Secret-Backend verwenden
Erstellen Sie eine neue Cloud Composer-Umgebung mit aktivierter privater IP. Beachten Sie, dass diese Einstellung während der Erstellung der Umgebung konfiguriert werden muss.
Standardmäßig ist der Zugriff auf die Airflow-UI und -API nur innerhalb der Sicherheitsbereich. Wenn Sie sie außerhalb des Sicherheitsperimeters verfügbar machen möchten, konfigurieren Sie die Zugriffsebene wie unter Zugriff auf geschützte Ressourcen von außerhalb eines Perimeters zulassen beschrieben.
Vorhandene Umgebungen mit VPC Service Controls konfigurieren
Sie können das Projekt, das Ihre Umgebung enthält, in den Perimeter einfügen, wenn:
Sie haben den Perimeter wie im vorherigen Abschnitt beschrieben erstellt.
Ihre Umgebungen sind private IP-Umgebungen.
PyPI-Pakete installieren
In der standardmäßigen VPC Service Controls-Konfiguration unterstützt Cloud Composer nur die Installation von PyPI-Paketen aus privaten Repositories, die über den internen IP-Adressbereich des VPC-Netzwerks erreichbar sind.
Aus einem privaten Repository installieren
Die empfohlene Konfiguration besteht darin, ein privates PyPI-Repository einzurichten, es mit geprüften Paketen zu versehen, die von Ihrer Organisation verwendet werden, und anschließend Cloud Composer zu konfigurieren, um Python-Abhängigkeiten aus einem privaten Repository zu installieren.
Aus einem öffentlichen Repository installieren
Remote-Repository
Dies ist die empfohlene Methode zum Installieren von Paketen aus einem öffentlichen Repository.
Um PyPI-Pakete aus Repositories außerhalb des privaten IP-Bereichs zu installieren, führen Sie folgende Schritte aus:
- Erstellen: Artifact Registry-Remote-Repository.
- Dieses Repository gewähren Zugriff auf vorgelagerte Quellen.
- Konfigurieren Sie Airflow so, dass Pakete aus einem Artifact Registry-Repository installiert werden.
Externe Verbindungen
Um PyPI-Pakete aus Repositories außerhalb des privaten IP-Bereichs zu installieren, führen Sie folgende Schritte aus:
Konfigurieren Sie Cloud NAT so, dass Cloud Composer im privaten IP-Bereich eine Verbindung zu externen PyPI-Repositories herstellen kann.
Konfigurieren Sie Ihre Firewallregeln so, dass ausgehende Verbindungen vom Composer-Cluster zum Repository zugelassen werden.
Das für die Cloud Composer-Datenebene verwendete Dienstkonto muss folgende Berechtigungsrollen haben: Composer.Worker
und iam.serviceAccountUser
.
Verbindungen zu Google APIs und Google-Diensten konfigurieren
In einer VPC Service Controls-Konfiguration
steuern Sie den Netzwerktraffic,
den Zugriff auf Google APIs und Google-Dienste über die
restricted.googleapis.com
Diese Domain blockiert den Zugriff auf Google APIs und Google-Dienste, die VPC Service Controls nicht unterstützen.
Cloud Composer-Umgebungen verwenden die folgenden Domains:
*.googleapis.com
wird zum Zugriff auf andere Google-Dienste verwendet.*.composer.cloud.google.com
wird verwendet, um den Airflow-Webserver Ihrer Umgebung zugänglich zu machen. Diese Regel muss angewendet werden, bevor Sie eine Umgebung erstellen.- Alternativ können Sie eine Regel für eine bestimmte Region erstellen. Verwenden Sie dazu
REGION.composer.cloud.google.com
. Ersetzen SieREGION
durch die Region, in der sich die Umgebung befindet. Beispiel:us-central1
.
- Alternativ können Sie eine Regel für eine bestimmte Region erstellen. Verwenden Sie dazu
Optional:
*.composer.googleusercontent.com
wird beim Zugriff auf den Airflow-Webserver Ihrer Umgebung verwendet. Diese Regel ist nur erforderlich, wenn Sie von einer Instanz aus, die im VPC-Netzwerk ausgeführt wird, auf den Airflow-Webserver zugreifen. Andernfalls ist sie nicht erforderlich. Ein häufiges Szenario für diese Regel ist, wenn Sie die Airflow REST API innerhalb des VPC-Netzwerks aufrufen möchten.- Alternativ können Sie eine Regel für eine bestimmte Umgebung erstellen. Bis
verwenden Sie
ENVIRONMENT_WEB_SERVER_NAME.composer.googleusercontent.com
. Ersetzen SieENVIRONMENT_WEB_SERVER_NAME
durch den eindeutigen Teil von die Airflow-UI-URL Ihrer Umgebung, z. B.bffe6ce6c4304c55acca0e57be23128c-dot-us-central1
.
- Alternativ können Sie eine Regel für eine bestimmte Umgebung erstellen. Bis
verwenden Sie
*.pkg.dev
wird verwendet, um Umgebungs-Images abzurufen, z. B. beim Erstellen oder Aktualisieren einer Umgebung.*.gcr.io
Für GKE ist unabhängig von der Cloud Composer-Version eine Verbindung zur Container Registry-Domain erforderlich.
Konfigurieren Sie die Verbindung zum restricted.googleapis.com
-Endpunkt.
Domain | DNS-Name | CNAME-Eintrag | A-Eintrag |
---|---|---|---|
*.googleapis.com
|
googleapis.com. |
DNS-Name: *.googleapis.com. Ressourceneintragstyp: CNAME Kanonischer Name: googleapis.com. |
Ressourceneintragstyp: A IPv4-Adressen: 199.36.153.4 , 199.36.153.5 , 199.36.153.6 , 199.36.153.7
|
*.composer.cloud.google.com
|
composer.cloud.google.com. |
DNS-Name: *.composer.cloud.google.com. Ressourceneintragstyp: CNAME Kanonischer Name: composer.cloud.google.com. |
Ressourceneintragstyp: A IPv4-Adressen: 199.36.153.4 , 199.36.153.5 , 199.36.153.6 , 199.36.153.7
|
*.composer.googleusercontent.com
(optional, siehe Beschreibung) |
composer.googleusercontent.com. |
DNS-Name: *.composer.googleusercontent.com. Ressourceneintragstyp: CNAME Kanonischer Name: composer.googleusercontent.com. |
Ressourceneintragstyp: A IPv4-Adressen: 199.36.153.4 , 199.36.153.5 , 199.36.153.6 , 199.36.153.7
|
*.pkg.dev
|
pkg.dev. |
DNS-Name: *.pkg.dev. Ressourceneintragstyp: CNAME Kanonischer Name: pkg.dev. |
Ressourceneintragstyp: A IPv4-Adressen: 199.36.153.4 , 199.36.153.5 , 199.36.153.6 , 199.36.153.7
|
*.gcr.io
|
gcr.io. |
DNS-Name: *.gcr.io. Ressourceneintragstyp: CNAME Kanonischer Name: gcr.io. |
Ressourceneintragstyp: A IPv4-Adressen: 199.36.153.4 , 199.36.153.5 , 199.36.153.6 , 199.36.153.7
|
So erstellen Sie eine DNS-Regel:
Erstellen Sie eine neue DNS-Zone und verwenden Sie DNS-Name als DNS-Namen dieser Zone.
Beispiel:
pkg.dev.
Fügen Sie einen Datensatz für CNAME-Eintrag hinzu.
Beispiel:
- DNS-Name:
*.pkg.dev.
- Ressourceneintragstyp:
CNAME
- Kanonischer Name:
pkg.dev.
- DNS-Name:
Fügen Sie einen Eintrag für A-Eintrag hinzu:
Beispiel:
- Ressourceneintragstyp:
A
- IPv4-Adressen:
199.36.153.4
,199.36.153.5
,199.36.153.6
,199.36.153.7
- Ressourceneintragstyp:
Weitere Informationen finden Sie unter Private Verbindung zu Google APIs und Google-Diensten einrichten.
Firewallregeln konfigurieren
Wenn Ihr Projekt nicht standardmäßige Firewallregeln wie Regeln, die die Implizierte Firewallregeln oder vorkonfigurierte Regeln ändern in und überprüfen Sie, ob die folgenden Firewallregeln konfiguriert.
Beispielsweise kann Cloud Composer keine Umgebung erstellen, wenn Sie eine Firewallregel haben, die den gesamten ausgehenden Traffic ablehnt. Um Probleme zu vermeiden,
Definieren Sie selektive allow
-Regeln, die der Liste entsprechen und eine höhere Priorität haben
als die globale deny
-Regel.
Konfigurieren Sie Ihr VPC-Netzwerk so, dass Traffic aus Ihrer Umgebung zugelassen wird:
- Unter Firewallregeln verwenden erfahren Sie, wie Sie Regeln für VPC-Netzwerke prüfen, hinzufügen und aktualisieren.
- Verwenden Sie Verbindungstool um die Konnektivität zwischen IP-Bereichen zu prüfen.
- Mit Netzwerk-Tags können Sie den Zugriff zu beschränken. Sie können diese Tags beim Erstellen einer Umgebung festlegen.
Beschreibung | Richtung | Aktion | Quelle oder Ziel | Protokolle | Ports |
---|---|---|---|---|---|
DNS Konfigurieren Sie die Konfiguration wie unter Unterstützung von VPC Service Controls für Cloud DNS beschrieben. |
- | – | – | – | - |
Google APIs und Google-Dienste | Ausgehender Traffic | Zulassen | IPv4-Adressen von restricted.googleapis.com , die Sie für Google APIs und ‑Dienste verwenden |
TCP | 443 |
Clusterknoten der Umgebung | Ausgehender Traffic | Zulassen | Primärer IP-Adressbereich des Subnetzes der Umgebung | TCP, UDP | Alle |
Cluster-Pods der Umgebung | Ausgehender Traffic | Zulassen | Sekundärer IP-Adressbereich für Pods im Subnetzwerk der Umgebung | TCP, UDP | Alle |
Steuerungsebene des Clusters der Umgebung | Ausgehender Traffic | Zulassen | IP-Bereich der GKE-Steuerungsebene | TCP, UDP | Alle |
(Wenn in Ihrer Umgebung Private Service Connect verwendet wird) Verbindungssubnetz | Ausgehender Traffic | Zulassen | Bereich des Subnetzwerks für Cloud Composer-Verbindungen | TCP | 3306, 3307 |
(Wenn Ihre Umgebung VPC-Peerings verwendet) Mandantennetzwerk | Ausgehender Traffic | Zulassen | IP-Bereich des Cloud Composer-Mandantennetzwerks | TCP | 3306, 3307 |
So rufen Sie IP-Bereiche ab:
Pod-, Dienst- und Steuerungsebenen-Adressbereiche sind verfügbar in auf der Seite Cluster des Umgebungsclusters:
Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.
Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.
Rufen Sie den Tab Umgebungskonfiguration auf.
Klicken Sie auf den Link Clusterdetails ansehen.
Sie können die Umgebungstemperatur IP-Bereich des Cloud Composer-Mandantennetzwerks auf dem Tab Umgebungskonfiguration
Sie können die Umgebungstemperatur Subnetzwerk-ID und Subnetzwerk-ID der Cloud Composer-Verbindung auf dem Tab Umgebungskonfiguration. IP-Adresse erhalten für ein Subnetzwerk festlegen möchten, rufen Sie die Seite VPC-Netzwerke auf und klicken Sie auf Netzwerknamen ein, um Details anzuzeigen:
VPC Service Controls-Logs
Wenn Sie Probleme bei der Erstellung der Umgebung beheben, können Sie Audit-Logs analysieren die von VPC Service Controls generiert werden.
Neben anderen Protokollmeldungen können Sie in den Protokollen Informationen zu cloud-airflow-prod@system.gserviceaccount.com
- und service-PROJECT_ID@cloudcomposer-accounts.iam.gserviceaccount.com
-Dienstkonten finden, mit denen Komponenten Ihrer Umgebungen konfiguriert werden.
Der Cloud Composer-Dienst verwendet die
cloud-airflow-prod@system.gserviceaccount.com
zu verwaltendes Dienstkonto
Mandantenprojektkomponenten der Umgebungen.
Das Dienstkonto service-PROJECT_ID@cloudcomposer-accounts.iam.gserviceaccount.com
, auch Composer Service Agent Service Account
genannt, verwaltet Umgebungskomponenten in Dienst- und Hostprojekten.
Beschränkungen
- Alle Netzwerkeinschränkungen der VPC Service Controls gelten auch für Ihre Cloud Composer-Umgebungen. Weitere Informationen finden sich in der Dokumentation zu VPC Service Controls.
- Wenn Cloud Composer in einem Perimeter ausgeführt wird, ist der Zugriff auf öffentliche PyPI-Repositories eingeschränkt. Informationen zum Installieren von PyPi-Modulen im privaten IP-Modus finden sich unter Python-Abhängigkeiten installieren.