Features von Cloud Composer

Cloud Composer 1 | Cloud Composer 2

Diese Seite bietet einen Überblick über die Features und Merkmale von Cloud Composer.

Cloud Composer ist ein verwalteter Apache Airflow-Dienst, mit dem Sie Workflows erstellen, planen, überwachen und verwalten können.

Airflow-Umgebungen

Eine Cloud Composer-Umgebung ist ein Wrapper um Apache Airflow. Cloud Composer erstellt die folgenden Komponenten für jede Umgebung:

  • GKE-Cluster: Die Airflow-Planer, -Worker und die Redis-Warteschlange werden als GKE-Arbeitslasten auf einem einzelnen Cluster ausgeführt. Sie sind für die Verarbeitung und Ausführung von DAGs verantwortlich. Der Cluster hostet auch andere Cloud Composer-Komponenten wie Composer-Agent und Airflow-Monitoring, die bei der Verwaltung der Cloud Composer-Umgebung helfen, Logs zum Speichern in Cloud Logging und Messwerte zum Hochladen in Cloud Monitoring erfassen.
  • Webserver: Der Webserver führt die Apache Airflow-Weboberfläche aus und Identity-Aware Proxy schützt diese Oberfläche. Weitere Informationen finden Sie unter Airflow-Weboberfläche.
  • Datenbank: Die Datenbank enthält die Apache Airflow-Metadaten.
  • Cloud Storage-Bucket: Cloud Composer verknüpft der Umgebung einen Cloud Storage-Bucket. Der zugehörige Bucket speichert die DAGs, Logs, benutzerdefinierten Plug-ins und Daten für die Umgebung. Weitere Informationen zum Storage-Bucket für Cloud Composer finden Sie unter In Cloud Storage gespeicherte Daten.

Airflow-Verwaltung

Für den Zugriff und die Verwaltung Ihrer Airflow-Umgebungen können Sie die folgenden nativen Airflow-Tools verwenden:

  • Weboberfläche: Sie können die Airflow-Weboberfläche in der Google Cloud Console oder über die direkte URL mit den entsprechenden Berechtigungen aufrufen. Weitere Informationen finden Sie unter Airflow-Weboberfläche.
  • Befehlszeilentools: Nach der Installation des Cloud SDK können Sie die gcloud composer environments-Befehle ausführen, um Airflow-Befehlszeilenbefehle an Cloud Composer-Umgebungen auszugeben. Weitere Informationen finden Sie unter [Airflow-Befehlszeile][cc-access-airflow-cli].

Neben nativen Tools bieten die Cloud Composer REST und RPC APIs programmatischen Zugriff auf Ihre Airflow-Umgebungen. Weitere Informationen finden Sie unter APIs und Referenzen.

Airflow-Konfiguration

Im Allgemeinen stimmen die Konfigurationen, die Cloud Composer für Apache Airflow bereitstellt, mit den Konfigurationen für ein lokal gehostetes Airflow-Deployment überein. Einige Airflow-Konfigurationen sind in Cloud Composer vorkonfiguriert. Die Konfigurationsattribute können nicht geändert werden. Andere Konfigurationen, die Sie beim Erstellen oder Aktualisieren Ihrer Umgebung angeben. Weitere Informationen finden Sie unter Blockierte Airflow-Konfigurationen.

Airflow-DAGs (Workflows)

Ein Apache Airflow-DAG ist ein Workflow, also eine Sammlung von Aufgaben mit zusätzlichen Aufgabenabhängigkeiten. Cloud Composer verwendet Cloud Storage zum Speichern von DAGs. Zum Hinzufügen oder Entfernen von DAGs aus Ihrer Cloud Composer-Umgebung fügen Sie die DAGs dem Bucket der Umgebung hinzu oder entfernen ihn, der der Umgebung zugeordnet ist. Nachdem Sie DAGs in den Storage-Bucket verschoben haben, werden DAGs automatisch in Ihrer Umgebung hinzugefügt und geplant.

Zusätzlich zur Planung von DAGs können Sie DAGs auch manuell oder als Reaktion auf Ereignisse auslösen, z. B. Änderungen, die im zugehörigen Cloud Storage-Bucket auftreten. Weitere Informationen finden Sie unter DAGs auslösen.

Plug-ins

Sie können benutzerdefinierte Plug-ins, wie z. B. benutzerdefinierte interne Apache Airflow-Operatoren, Hooks, Sensoren oder Oberflächen, in Ihrer Cloud Composer-Umgebung installieren. Weitere Informationen finden Sie unter Benutzerdefinierte Plug-ins installieren.

Python-Abhängigkeiten

Sie können Python-Abhängigkeiten aus dem Python-Paketindex in Ihrer Umgebung oder aus einem privaten Paket-Repository installieren. Weitere Informationen finden Sie unter Python-Abhängigkeiten installieren.

Wenn die Abhängigkeiten nicht im Paketindex enthalten sind, können Sie auch das Plug-in-Feature verwenden.

Zugriffssteuerung

Sie verwalten die Sicherheit auf Google Cloud-Projektebene und können IAM-Rollen (Identity and Access Management) zuweisen, die einzelne Nutzer daran hindern, Umgebungen zu ändern oder zu erstellen. Wenn jemand keinen Zugriff auf Ihr Projekt oder keine entsprechende Cloud Composer-IAM-Rolle hat, kann diese Person nicht auf Ihre Umgebungen zugreifen. Weitere Informationen finden Sie unter Zugriffssteuerung.

Logging und Monitoring

Sie können Airflow-Logs, die mit einzelnen DAG-Aufgaben verknüpft sind, in der Airflow-Weboberfläche und im Ordner logs im Cloud Storage-Bucket der Umgebung aufrufen. aus.

Streaming-Logs sind für Cloud Composer verfügbar. Weitere Informationen finden Sie unter Cloud Composer-Umgebungen überwachen.

Cloud Composer bietet für Ihre Google Cloud-Projekte auch Audit-Logs, z. B. zu Administratoraktivitäten. Weitere Informationen finden Sie unter Audit-Logs aufrufen.

Netzwerk und Sicherheit

Standardmäßig stellt Cloud Composer einen VPC-nativen Google Kubernetes Engine-Cluster im Autopilot-Modus bereit.

Für zusätzliche Sicherheit und mehr Flexibilität im Netzwerk unterstützt Cloud Composer auch die im Folgenden aufgeführten Features.

Shared VPC

Eine freigegebene VPC ermöglicht das Verwalten freigegebener Netzwerkressourcen über ein zentrales Hostprojekt, um projektübergreifend einheitliche Netzwerkrichtlinien zu erzwingen.

Wenn Cloud Composer an einer freigegebenen VPC beteiligt ist, befindet sich die Cloud Composer-Umgebung in einem Dienstprojekt und kann Dienste aufrufen, die in anderen Google Cloud-Projekten gehostet werden. Ressourcen innerhalb Ihrer Dienstprojekte kommunizieren sicher über Projektgrenzen hinweg über interne IP-Adressen. Informationen zu Netzwerk- und Hostprojektanforderungen finden Sie unter Freigegebene VPC konfigurieren.

VPC-native Umgebung in Cloud Composer

Bei VPC-nativ sind Pod- und Dienst-IP-Adressen im GKE-Cluster nativ im Google Cloud-Netzwerk routingfähig, auch über VPC-Netzwerk-Peering.

In dieser Konfiguration stellt Cloud Composer mithilfe von Alias-IP-Adressen in Ihrer Umgebung einen VPC-nativen GKE-Cluster bereit. Wenn Sie VPC-native Cluster verwenden, wird von GKE automatisch ein sekundärer Bereich ausgewählt. Für bestimmte Netzwerkanforderungen können Sie bei der Konfiguration Ihrer Cloud Composer-Umgebung für Ihre GKE-Pods und GKE-Dienste auch die sekundären Bereiche konfigurieren.

Private-IP-Umgebung in Cloud Composer

Mit privaten IP-Adressen sind Cloud Composer-Workflows vollständig vom öffentlichen Internet isoliert.

In dieser Konfiguration stellt Cloud Composer im Kundenprojekt einen VPC-nativen GKE-Cluster mit Alias-IP-Adressen bereit. Der GKE-Cluster für Ihre Umgebung ist als privater Cluster konfiguriert und die Cloud SQL-Instanz für private IP-Adressen konfiguriert.

Cloud Composer erstellt außerdem eine Peering-Verbindung zwischen dem VPC-Netzwerk Ihres Kundenprojekts und dem VPC-Netzwerk Ihres Mandantenprojekts.

Das ist neu