Cloud Composer-Funktionen

Auf dieser Seite erhalten Sie einen Überblick über die Features und das Leistungsspektrum von Cloud Composer.

Cloud Composer ist ein verwalteter Apache Airflow-Dienst, mit dem Sie Workflows erstellen, planen, überwachen und verwalten können.

Airflow-Umgebungen

Eine Cloud Composer-Umgebung ist ein Wrapper um Apache Airflow. Cloud Composer erstellt die folgenden Komponenten für jede Umgebung:

  • Webserver: Der Webserver führt die Apache Airflow-Weboberfläche aus und Identity-Aware Proxy schützt diese Oberfläche. Weitere Informationen finden Sie unter Airflow-Weboberfläche.
  • Datenbank: Die Datenbank enthält die Apache Airflow-Metadaten.
  • Cloud Storage-Bucket: Cloud Composer ordnet der Umgebung einen Cloud Storage-Bucket zu. In diesem Bucket werden die DAGs, Logs, benutzerdefinierten Plug-ins und Daten für die Umgebung gespeichert. Weitere Informationen zum Storage-Bucket für Cloud Composer finden Sie unter In Cloud Storage gespeicherte Daten.

Airflow-Verwaltung

Für den Zugriff und die Verwaltung Ihrer Airflow-Umgebungen können Sie die folgenden nativen Airflow-Tools verwenden:

  • Weboberfläche: Sie können die Airflow-Weboberfläche in der Google Cloud Console oder über die direkte URL mit den entsprechenden Berechtigungen aufrufen. Weitere Informationen finden Sie unter Airflow-Weboberfläche.
  • Befehlszeilentools: Nach der Installation des Cloud SDK können Sie gcloud composer environments-Befehle ausführen, um Befehle der Airflow-Befehlszeilen an Cloud Composer-Umgebungen auszugeben. Informationen dazu finden Sie unter Airflow-Befehlszeile.

Zusätzlich zu nativen Tools bieten die REST API und die RPC API von Cloud Composer programmatischen Zugriff auf Ihre Airflow-Umgebungen. Weitere Informationen finden Sie unter APIs und Referenzen.

Airflow-Konfiguration

Im Allgemeinen entsprechen die Konfigurationen, die Cloud Composer für Apache Airflow bereitstellt, den Konfigurationen für ein lokal gehostetes Airflow-Deployment. Einige Airflow-Konfigurationen sind in Cloud Composer vorkonfiguriert. Die Konfigurationsattribute können dann nicht geändert werden. Andere Konfigurationen werden beim Erstellen oder Aktualisieren der Umgebung eingegeben. Weitere Informationen finden Sie unter Blockierte Airflow-Konfigurationen.

Airflow-DAGs (Workflows)

Ein Apache Airflow-DAG ist ein Workflow, also eine Sammlung von Aufgaben mit zusätzlichen Aufgabenabhängigkeiten. Cloud Composer verwendet Cloud Storage zum Speichern von DAGs. Wenn Sie DAGs zu Ihrer Cloud Composer-Umgebung hinzufügen oder daraus entfernen möchten, müssen Sie die DAGs dem zugeordneten Cloud Storage-Bucket hinzufügen bzw. daraus entfernen. Nachdem Sie DAGs in den Storage-Bucket verschoben haben, werden DAGs automatisch in Ihrer Umgebung hinzugefügt und geplant.

DAGs können nicht nur geplant, sondern auch manuell oder ereignisgesteuert ausgelöst werden, beispielsweise bei Änderungen am zugeordneten Bucket. Weitere Informationen finden Sie unter DAGs auslösen.

Plug-ins

Sie können benutzerdefinierte Plug-ins, wie z. B. benutzerdefinierte interne Apache Airflow-Operatoren, Hooks, Sensoren oder Oberflächen, in Ihrer Cloud Composer-Umgebung installieren. Weitere Informationen finden Sie unter Benutzerdefinierte Plug-ins installieren.

Python-Abhängigkeiten

Sie können Python-Abhängigkeiten aus dem Python-Paketindex in Ihrer Umgebung oder aus einem privaten Paket-Repository installieren. Weitere Informationen finden Sie unter Python-Abhängigkeiten installieren.

Wenn die Abhängigkeiten nicht im Paketindex enthalten sind, können Sie auch das Plug-in-Feature verwenden.

Zugriffsteuerung

Sie verwalten die Sicherheit auf der Google Cloud-Projektebene und können dafür mit Cloud Identity and Access Management Rollen zuweisen, die verhindern, dass einzelne Nutzer Umgebungen ändern oder erstellen. Nutzer ohne Zugriff auf Ihr Projekt und ohne entsprechende IAM-Rolle für Cloud Composer können nicht auf Ihre Umgebungen zugreifen. Weitere Informationen finden Sie unter Cloud Composer-Zugriffssteuerung.

Logging und Monitoring

Sie können Airflow-Logs, die einzelnen DAG-Aufgaben zugeordnet sind, in der Airflow-Weboberfläche und im Ordner logs des zugeordneten Cloud Storage-Buckets aufrufen.

Streaming-Logs sind für Cloud Composer verfügbar. Sie können auf die Streaming-Logs in der Log-Anzeige der Google Cloud Console und mithilfe der Operations Suite von Google Cloud zugreifen. Informationen zur Verwendung der Operations Suite von Google Cloud finden Sie unter Umgebungen in Stackdriver überwachen.

Cloud Composer bietet für Ihre Google Cloud-Projekte auch Audit-Logs, z. B. zu Administratoraktivitäten. Weitere Informationen finden Sie unter Audit-Logs aufrufen.

Netzwerk und Sicherheit

Für das Erstellen der Umgebung bietet Cloud Composer die folgenden Konfigurationsoptionen:

Noch nicht verfügbare Features

VPC Service Controls

VPC Service Controls ermöglicht das Konfigurieren von Dienstperimetern für VPC-Ressourcen und für Ihre von Google verwalteten Dienste, um das Übertragen von Daten in und aus dem Perimeter steuern.

Derzeit wird Cloud Composer nicht von VPC Service Controls unterstützt.