Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Auf dieser Seite wird beschrieben, wie Sie DAGs in Cloud Composer verwalten zu verbessern.
Cloud Composer verwendet einen Cloud Storage-Bucket zum Speichern von DAGs Ihrer Cloud Composer-Umgebung. Ihre Umgebung wird synchronisiert DAGs von diesem Bucket zu Airflow-Komponenten wie Airflow-Workern und Planer.
Hinweise
- Da Apache Airflow keine strikte DAG-Isolation bietet, empfehlen wir, separate Produktions- und Testumgebungen einzurichten, um DAG-Interferenzen zu vermeiden. Weitere Informationen finden Sie unter DAGs testen.
- Stellen Sie sicher, dass Ihr Konto ausreichend Berechtigungen hat, DAGs verwalten können.
- Änderungen am DAG werden innerhalb von 3–5 Minuten an Airflow weitergegeben. Aufgabe wird angezeigt Airflow-Weboberfläche.
Auf den Bucket Ihrer Umgebung zugreifen
So greifen Sie auf den mit Ihrer Umgebung verknüpften Bucket zu:
Console
Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.
Suchen Sie in der Liste der Umgebungen nach einer Zeile mit dem Namen Ihrer Umgebung. Klicken Sie in der Spalte DAGs-Ordner auf den Link DAGs. Die Die Seite Bucket-Details wird geöffnet. Hier wird der Inhalt des Ordners
/dags
im Bucket Ihrer Umgebung angezeigt.
gcloud
Die gcloud CLI hat separate Befehle, DAGs zum Bucket Ihrer Umgebung hinzufügen und löschen
Wenn Sie mit dem Bucket Ihrer Umgebung interagieren möchten, können Sie auch Folgendes verwenden: die Google Cloud CLI Um die Adresse zu erhalten des Buckets Ihrer Umgebung führen Sie die folgende gcloud CLI aus Befehl:
gcloud composer environments describe ENVIRONMENT_NAME \
--location LOCATION \
--format="get(config.dagGcsPrefix)"
Ersetzen Sie:
ENVIRONMENT_NAME
durch den Namen der Umgebung.LOCATION
durch die Region, in der sich die Umgebung befindet.
Beispiel:
gcloud beta composer environments describe example-environment \
--location us-central1 \
--format="get(config.dagGcsPrefix)"
API
Erstellen Sie eine API-Anfrage environments.get
. In
der Ressource Environment im
EnvironmentConfig-Ressource in
Die Ressource dagGcsPrefix
ist die Adresse des Buckets Ihrer Umgebung.
Beispiel:
GET https://composer.googleapis.com/v1/projects/example-project/
locations/us-central1/environments/example-environment
Python
Verwenden Sie die Bibliothek google-auth für folgende Aktionen: Anmeldedaten abrufen und mithilfe der requests-Bibliothek die REST API aufrufen.
DAG hinzufügen oder aktualisieren
Wenn Sie einen DAG hinzufügen oder aktualisieren möchten, verschieben Sie die Python-Datei .py
für den DAG nach
Ordner /dags
im Bucket der Umgebung
Console
Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.
Suchen Sie in der Liste der Umgebungen nach einer Zeile mit dem Namen Ihrer Umgebung. Klicken Sie in der Spalte DAGs-Ordner auf den Link DAGs. Die Die Seite Bucket-Details wird geöffnet. Hier wird der Inhalt des Ordners
/dags
im Bucket Ihrer Umgebung angezeigt.Klicken Sie auf Dateien hochladen. Wählen Sie dann die Python-Datei
.py
für den DAG aus. im Dialogfeld des Browsers und bestätigen Sie die Auswahl.
gcloud
gcloud composer environments storage dags import \
--environment ENVIRONMENT_NAME \
--location LOCATION \
--source="LOCAL_FILE_TO_UPLOAD"
Ersetzen Sie:
ENVIRONMENT_NAME
durch den Namen der Umgebung.LOCATION
durch die Region, in der sich die Umgebung befindet.LOCAL_FILE_TO_UPLOAD
ist die Python-Datei.py
für den DAG.
Beispiel:
gcloud composer environments storage dags import \
--environment example-environment \
--location us-central1 \
--source="example_dag.py"
DAG mit aktiven DAG-Ausführungen aktualisieren
Wenn Sie einen DAG aktualisieren, der aktive DAGs ausführt, gilt Folgendes:
- Alle aktuell ausgeführten Aufgaben werden mit der ursprünglichen DAG-Datei abgeschlossen.
- Alle Aufgaben, die geplant sind, aber derzeit nicht ausgeführt werden, verwenden die aktualisierte DAG-Datei.
- Alle Aufgaben, die nicht mehr in der aktualisierten DAG-Datei vorhanden sind, werden als entfernt.
DAGs aktualisieren, die regelmäßig ausgeführt werden
Nachdem Sie eine DAG-Datei hochgeladen haben, dauert es einige Zeit, bis Airflow diese Datei geladen hat und aktualisieren Sie den DAG. Wenn Ihr DAG regelmäßig ausgeführt wird, Der DAG muss die aktualisierte Version der DAG-Datei verwenden. Anleitung:
Pausieren Sie den DAG in der Airflow-UI.
Laden Sie eine aktualisierte DAG-Datei hoch.
Warten Sie, bis die Aktualisierungen in der Airflow-UI angezeigt werden. Das bedeutet, dass der DAG vom Planer korrekt geparst und in der Airflow-Datenbank aktualisiert wurde.
Wenn die Airflow-UI die aktualisierten DAGs anzeigt, ist dadurch nicht garantiert, dass Airflow-Worker die aktualisierte Version der DAG-Datei haben. Das liegt daran, dass DAG-Dateien unabhängig für Planer und Worker synchronisiert werden.
Sie können die Wartezeit verlängern, damit die DAG-Datei mit allen Workern in Ihrer Umgebung synchronisiert wird. Die Synchronisierung erfolgt mehrmals pro Minute. In einer fehlerfreien Umgebung reicht es, wenn 20 bis 30 Sekunden gewartet werden, bis alle Worker synchronisiert wurden.
(Optional) Wenn Sie absolut sicher sein möchten, dass alle Worker die neue Version der DAG-Datei haben, prüfen Sie die Logs jedes einzelnen Workers. Anleitung:
Öffnen Sie in der Google Cloud Console den Tab Logs für Ihre Umgebung.
Gehen Sie zu Composer-Logs > Infrastruktur > Cloud Storage synchronisieren und die Logs für jeden Worker im für Ihre Umgebung. Nach dem neuesten
Syncing dags directory
-Log suchen Element mit einem Zeitstempel nach dem Hochladen der neuen DAG-Datei. Wenn SieFinished syncing
-Element folgt, dann sind die DAGs auf diesem Worker synchronisiert.
Heben Sie die Pausierung des DAG auf.
DAG in der Umgebung löschen
Zum Löschen eines DAG entfernen Sie die Python-Datei .py
für den DAG aus dem
Ordner /dags
der Umgebung im Bucket Ihrer Umgebung.
Console
Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.
Suchen Sie in der Liste der Umgebungen nach einer Zeile mit dem Namen Ihrer Umgebung. Klicken Sie in der Spalte DAGs-Ordner auf den Link DAGs. Die Die Seite Bucket-Details wird geöffnet. Dort wird der Inhalt des Ordners
/dags
angezeigt in im Bucket Ihrer Umgebung.Wählen Sie die DAG-Datei aus, klicken Sie auf Löschen und bestätigen Sie den Vorgang.
gcloud
gcloud composer environments storage dags delete \
--environment ENVIRONMENT_NAME \
--location LOCATION \
DAG_FILE
Ersetzen Sie:
ENVIRONMENT_NAME
durch den Namen der Umgebung.LOCATION
durch die Region, in der sich die Umgebung befindet.DAG_FILE
durch die Python-Datei.py
für den DAG.
Beispiel:
gcloud composer environments storage dags delete \
--environment example-environment \
--location us-central1 \
example_dag.py
DAG aus der Airflow-UI entfernen
So entfernen Sie die Metadaten für einen DAG aus der Airflow-Weboberfläche:
Airflow-UI
- Rufen Sie die Airflow-UI für Ihre Umgebung auf.
- Klicken Sie für den DAG auf Delete DAG (DAG löschen).
gcloud
Führen Sie in der gcloud CLI den folgenden Befehl aus:
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
dags delete -- DAG_NAME
Ersetzen Sie:
ENVIRONMENT_NAME
durch den Namen der Umgebung.LOCATION
durch die Region, in der sich die Umgebung befindet.DAG_NAME
ist der Name des zu löschenden DAG.